Machine Learning Engineer (m/w/d) - Foundation Models

WeSort ist ein Hightech-Start-up aus Würzburg, das KI-basierte Recyclinglösungen entwickelt und damit einen wichtigen Beitrag zur Kreislaufwirtschaft kritischer Rohstoffe (Critical Raw Materials) leistet. Unsere Systeme sind bereits im industriellen Einsatz, unter anderem bei Schwarz/Lidl bzw. deren Umweltdienstleister PreZero. Unsere Technologie wurde mehrfach ausgezeichnet, unter anderem mit dem Deutschen Gründerpreis (verliehen von Porsche und ZDF), und WeSort ist Teil des SprinD-Programms (Agentur für Sprunginnovationen). Darüber hinaus war unser Team mit seiner Arbeit bereits in Formaten wie Galileo, ZDF WISO, der WirtschaftsWoche und der Süddeutschen Zeitung vertreten. Für den nächsten großen Schritt suchen wir einen talentierten Machine Learning Engineer (m/w/d) mit Schwerpunkt Computer Vision und Foundation Models, der/die mit uns ein eigenes „Waste Foundation Model" auf Basis modernster Architekturen wie DINOv2, SigLIP oder EVA-02 aufbaut – die technologische Grundlage, auf der alle unsere zukünftigen Computer-Vision-Anwendungen aufsetzen werden. Wir betreiben heute eine der größten kontinuierlich wachsenden Datenbasen gelabelter Abfallbilder weltweit – aus realen Sortieranlagen, über mehrere Stoffströme, Lichtverhältnisse und Verschmutzungsgrade hinweg. Diese Daten sind unser strategischer Vorteil. Daraus wollen wir ein domänen-adaptiertes Vision Foundation Model entwickeln, das als Backbone für sämtliche Downstream-Tasks (Detection, Klassifikation, Anomalie-Erkennung, Few-Shot-Learning) dient. KI-Trainings entwickeln wir in Python (PyTorch), unsere Backend-Plattform in Rust. Bereich: Software, Data & Artificial Intelligence Arbeitsort: Office-based in Würzburg Vertragsart: Festanstellung in Vollzeit Start: ab sofort Aufgaben Das ist deine neue Leidenschaft: Du entwickelst und trainierst unser eigenes „Waste Foundation Model" – auf Basis von State-of-the-Art-Architekturen wie DINOv2, SigLIP oder EVA-02 – durch Continued Pretraining (Self-Supervised) auf unserer Abfallbild-Datenbasis Du gestaltest unsere komplette ML-Trainings-Pipeline: von der Datenaufbereitung (WebDataset, FFCV) über verteiltes Training (PyTorch FSDP/DDP, Mixed Precision) bis zur Modell-Versionierung Du baust und pflegst unsere Eval Suite – die zentrale Infrastruktur, die misst, ob unsere Foundation Models wirklich besser werden: Linear Probing, k-NN-Probing, Few-Shot-Detection, Cross-Domain-Generalization, Anomalie-Detection Du finetunst und destillierst unsere Modelle für konkrete Downstream-Tasks und Edge-Hardware (Sortieranlagen, GPU-Inferenz) Du analysierst Trainings-Runs systematisch, identifizierst Probleme wie Feature Collapse oder Domain Shift und entwickelst nachhaltige Lösungen statt kurzfristiger Workarounds Du arbeitest eng mit dem Cloud-Backend-Team zusammen, um Modelle effizient ins Deployment zu bringen (ONNX, TensorRT, OpenVINO) Du verfolgst aktiv die Forschungsentwicklung im Bereich Vision Foundation Models und übersetzt relevante Paper in produktive Lösungen Du denkst über das Modell hinaus und hast im Blick, wie deine Arbeit im realen Betrieb wirkt – für Sortieranlagen, Kunden und das Gesamtsystem Qualifikation Damit begeisterst du uns: Du bringst mehrjährige Erfahrung in der Entwicklung und im Training von Computer-Vision-Modellen mit, idealerweise mit Vision Transformers (ViT) und Self-Supervised-Learning-Methoden (DINO, MAE, iBOT, CLIP) Du beherrschst PyTorch sicher – inklusive verteiltem Training (DDP, FSDP), gemischter Präzision (bf16/fp16) und Performance-Optimierung (torch.compile, Profiling) Du verstehst nicht nur, wie man ein Modell trainiert, sondern auch wie man evaluiert. Du weißt, dass eine schwache Eval Suite jedes Pretraining wertlos macht Du hast Erfahrung mit modernen ML-Tooling-Stacks: Hydra für Configs, Weights & Biases oder MLflow für Tracking, DVC für Daten-Versionierung, timm für Backbones Du nutzt moderne KI-Tools (z.B. Claude, Copilot), um Routine-Coding zu beschleunigen und dich auf die wirklich harten Forschungs- und Architekturfragen zu konzentrieren Du hast ein gutes Verständnis für Datenpipelines bei großen Datenmengen (Millionen Bilder): Tar-Sharding, GPU-Augmentations (DALI), I/O-Bottlenecks Erfahrung mit Detection-/Segmentation-Frameworks (MMDetection, MMSegmentation) sowie Anomalie-Detection (anomalib) ist von Vorteil Du kennst dich mit Inferenz-Optimierung und Modell-Distillation aus (z.B. ViT-L → ViT-S) und hast idealerweise schon Modelle auf Edge-Hardware deployed Ausgeprägte Problemlösefähigkeit, analytisches Denken und wissenschaftliche Sorgfalt – du arbeitest hypothesengetrieben und nicht nach dem Try-and-Error-Prinzip Sicherer Umgang mit Cloud-GPU-Infrastruktur (AWS, Azure, GCP oder On-Premise H100/A100-Cluster) Fließende Deutsch- sowie gute Englischkenntnisse werden vorausgesetzt Idealerweise hast du eigene Forschungserfahrung (Paper, Open-Source-Beiträge, Konferenz-Talks) oder bist promoviert – kein Muss, aber ein Plus Benefits Darauf kannst du dich freuen: Arbeit auf der „grünen Wiese" – Aufbau einer eigenen Foundation-Model-Strategie ohne Altlasten oder technische Schulden Zugang zu einer einzigartigen, wachsenden Datenbasis aus realen Sortieranlagen – ein strategischer Vorteil, den keine Universität und kaum ein Wettbewerber hat Einsatz aktueller Frameworks und eines top-modernen Tech-Stacks (PyTorch 2.x, FSDP, Hydra, W&B, DVC, timm) Substanzielle Compute-Ressourcen für Pretraining-Runs – wir wissen, dass ernsthaftes Foundation-Model-Training kein Hobby-Projekt ist Enge Zusammenarbeit mit Forschungspartnern (u.a. THWS Würzburg im Rahmen von Green-INNO) und die Möglichkeit, eigene Forschungsergebnisse zu publizieren Arbeiten in einem dynamischen und interdisziplinären Start-Up-Team mit viel Verantwortung und Gestaltungsspielraum von Anfang an Kurze Entscheidungswege und eine Kommunikation ohne Umwege Technologie mit Sinn: Du arbeitest an den größten Hebeln unserer Zeit – KI, Recycling und Circular Economy Haben wir dein Interesse geweckt? Dann freuen wir uns auf deine Bewerbung! Ein formelles Anschreiben ist nicht unbedingt notwendig, aber gib bitte deine Gehaltsvorstellung in Jahresbrutto an. Find Jobs in Germany on Arbeitnow

WeSort ist ein Hightech-Start-up aus Würzburg, das KI-basierte Recyclinglösungen entwickelt und damit einen wichtigen Beitrag zur Kreislaufwirtschaft kritischer Rohstoffe (Critical Raw Materials) leistet. Unsere Systeme sind bereits im industriellen Einsatz, unter anderem bei Schwarz/Lidl bzw. deren Umweltdienstleister PreZero. Unsere Technologie wurde mehrfach ausgezeichnet, unter anderem mit dem Deutschen Gründerpreis (verliehen von Porsche und ZDF), und WeSort ist Teil des SprinD-Programms (Agentur für Sprunginnovationen). Darüber hinaus war unser Team mit seiner Arbeit bereits in Formaten wie Galileo, ZDF WISO, der WirtschaftsWoche und der Süddeutschen Zeitung vertreten. Für den nächsten großen Schritt suchen wir einen talentierten Machine Learning Engineer (m/w/d) mit Schwerpunkt Computer Vision und Foundation Models, der/die mit uns ein eigenes „Waste Foundation Model" auf Basis modernster Architekturen wie DINOv2, SigLIP oder EVA-02 aufbaut – die technologische Grundlage, auf der alle unsere zukünftigen Computer-Vision-Anwendungen aufsetzen werden. Wir betreiben heute eine der größten kontinuierlich wachsenden Datenbasen gelabelter Abfallbilder weltweit – aus realen Sortieranlagen, über mehrere Stoffströme, Lichtverhältnisse und Verschmutzungsgrade hinweg. Diese Daten sind unser strategischer Vorteil. Daraus wollen wir ein domänen-adaptiertes Vision Foundation Model entwickeln, das als Backbone für sämtliche Downstream-Tasks (Detection, Klassifikation, Anomalie-Erkennung, Few-Shot-Learning) dient. KI-Trainings entwickeln wir in Python (PyTorch), unsere Backend-Plattform in Rust. Bereich: Software, Data & Artificial Intelligence Arbeitsort: Office-based in Würzburg Vertragsart: Festanstellung in Vollzeit Start: ab sofort Aufgaben Das ist deine neue Leidenschaft: Du entwickelst und trainierst unser eigenes „Waste Foundation Model" – auf Basis von State-of-the-Art-Architekturen wie DINOv2, SigLIP oder EVA-02 – durch Continued Pretraining (Self-Supervised) auf unserer Abfallbild-Datenbasis Du gestaltest unsere komplette ML-Trainings-Pipeline: von der Datenaufbereitung (WebDataset, FFCV) über verteiltes Training (PyTorch FSDP/DDP, Mixed Precision) bis zur Modell-Versionierung Du baust und pflegst unsere Eval Suite – die zentrale Infrastruktur, die misst, ob unsere Foundation Models wirklich besser werden: Linear Probing, k-NN-Probing, Few-Shot-Detection, Cross-Domain-Generalization, Anomalie-Detection Du finetunst und destillierst unsere Modelle für konkrete Downstream-Tasks und Edge-Hardware (Sortieranlagen, GPU-Inferenz) Du analysierst Trainings-Runs systematisch, identifizierst Probleme wie Feature Collapse oder Domain Shift und entwickelst nachhaltige Lösungen statt kurzfristiger Workarounds Du arbeitest eng mit dem Cloud-Backend-Team zusammen, um Modelle effizient ins Deployment zu bringen (ONNX, TensorRT, OpenVINO) Du verfolgst aktiv die Forschungsentwicklung im Bereich Vision Foundation Models und übersetzt relevante Paper in produktive Lösungen Du denkst über das Modell hinaus und hast im Blick, wie deine Arbeit im realen Betrieb wirkt – für Sortieranlagen, Kunden und das Gesamtsystem Qualifikation Damit begeisterst du uns: Du bringst mehrjährige Erfahrung in der Entwicklung und im Training von Computer-Vision-Modellen mit, idealerweise mit Vision Transformers (ViT) und Self-Supervised-Learning-Methoden (DINO, MAE, iBOT, CLIP) Du beherrschst PyTorch sicher – inklusive verteiltem Training (DDP, FSDP), gemischter Präzision (bf16/fp16) und Performance-Optimierung (torch.compile, Profiling) Du verstehst nicht nur, wie man ein Modell trainiert, sondern auch wie man evaluiert. Du weißt, dass eine schwache Eval Suite jedes Pretraining wertlos macht Du hast Erfahrung mit modernen ML-Tooling-Stacks: Hydra für Configs, Weights & Biases oder MLflow für Tracking, DVC für Daten-Versionierung, timm für Backbones Du nutzt moderne KI-Tools (z.B. Claude, Copilot), um Routine-Coding zu beschleunigen und dich auf die wirklich harten Forschungs- und Architekturfragen zu konzentrieren Du hast ein gutes Verständnis für Datenpipelines bei großen Datenmengen (Millionen Bilder): Tar-Sharding, GPU-Augmentations (DALI), I/O-Bottlenecks Erfahrung mit Detection-/Segmentation-Frameworks (MMDetection, MMSegmentation) sowie Anomalie-Detection (anomalib) ist von Vorteil Du kennst dich mit Inferenz-Optimierung und Modell-Distillation aus (z.B. ViT-L → ViT-S) und hast idealerweise schon Modelle auf Edge-Hardware deployed Ausgeprägte Problemlösefähigkeit, analytisches Denken und wissenschaftliche Sorgfalt – du arbeitest hypothesengetrieben und nicht nach dem Try-and-Error-Prinzip Sicherer Umgang mit Cloud-GPU-Infrastruktur (AWS, Azure, GCP oder On-Premise H100/A100-Cluster) Fließende Deutsch- sowie gute Englischkenntnisse werden vorausgesetzt Idealerweise hast du eigene Forschungserfahrung (Paper, Open-Source-Beiträge, Konferenz-Talks) oder bist promoviert – kein Muss, aber ein Plus Benefits Darauf kannst du dich freuen: Arbeit auf der „grünen Wiese" – Aufbau einer eigenen Foundation-Model-Strategie ohne Altlasten oder technische Schulden Zugang zu einer einzigartigen, wachsenden Datenbasis aus realen Sortieranlagen – ein strategischer Vorteil, den keine Universität und kaum ein Wettbewerber hat Einsatz aktueller Frameworks und eines top-modernen Tech-Stacks (PyTorch 2.x, FSDP, Hydra, W&B, DVC, timm) Substanzielle Compute-Ressourcen für Pretraining-Runs – wir wissen, dass ernsthaftes Foundation-Model-Training kein Hobby-Projekt ist Enge Zusammenarbeit mit Forschungspartnern (u.a. THWS Würzburg im Rahmen von Green-INNO) und die Möglichkeit, eigene Forschungsergebnisse zu publizieren Arbeiten in einem dynamischen und interdisziplinären Start-Up-Team mit viel Verantwortung und Gestaltungsspielraum von Anfang an Kurze Entscheidungswege und eine Kommunikation ohne Umwege Technologie mit Sinn: Du arbeitest an den größten Hebeln unserer Zeit – KI, Recycling und Circular Economy Haben wir dein Interesse geweckt? Dann freuen wir uns auf deine Bewerbung! Ein formelles Anschreiben ist nicht unbedingt notwendig, aber gib bitte deine Gehaltsvorstellung in Jahresbrutto an. Find Jobs in Germany on Arbeitnow