Junior Data Engineer mit DevOps Anteil Apache Nifi Pulsar AirFlow Grafana JupyterLab Python Linux S

Description de la mission

Für unser Projekt IT_1697 suchen wir folgenden Spezialisten (m/w/d):

Einsatzort: Frankfurt

Start: 01.10.2024

Dauer: 31.12.2024 + VL Option

Vertragsart: Vor Ort & remote

63 PT davon 5 PT onsite

Mit dem Förderprojekt „Automatische Schaderkennung am Güterwagen“ (ASaG) soll geprüft werden ob mittels Künstlicher Intelligenz (KI) die Bilddaten von Güterwagen hinsichtlich Schäden geprüft werden können und diese KI betrieblich nutzbar ist. Ob und wie Arbeitsprozesse der Produktion angepasst werden müssten und könnten wird im Projekt geprüft. Täglich werden pro Kamerabrücke 1400 Wagen mit jeweils etwa 40 Bildern erfasst. Die wichtigste Kamerabrücke für ASaG ist München Nord, wo weitere Sensorik verwendet werden soll. Die KI muss im Testbetrieb Produktionsnah mit diesen Datenquellen ihre Eignung zeigen.

Die Aufgaben sind:

• Mitwirkung bei Migration von MLOps-Pipelines auf Azure/BuildIT-Plattformen
• Umsetzung, Konzepte
• Entwickeln von ETL-Prozessen im Big Data Umfeld gemäß den Anforderungen von Partnern in einem agilen Team
• Use Case spezifisch und gesamtheitlich
• Betriebsführung, Trouble Shooting, Workarounds und Begleitung von KI-Use-Case-Betriebs-Tests im bestehenden Open-Source MLOps AIC-Stack

Grundvoraussetzung – wenn dieser Teil nicht läuft ist der Rest automatisch zurückgestellt (Aufwand in der Regel gering, aber oberste Priorität) MUSS Anforderung:

• Big Data Tool Stack (min. Basiskenntnisse, Nachvollziehbar anhand von Arbeitserfahrung und Projektreferenzen,Indikation zum Kenntnisstand (Grundkenntnisse, umfangreiche Erfahrung, ausgewiesener Experte) Apache Nifi, Apache Pulsar, Apache AirFlow, Grafana, JupyterLab
• Fortgeschrittene Kenntnisse Python (Praktische Erfahrung aus Projekten Nachvollziehbar anhand der Projekthistorie)
• Fortgeschrittene Kenntnisse Linux (Praktische Erfahrung aus Projekten Nachvollziehbar anhand der Projekthistorie)
• Kenntnisse mit Datenbank (SQL-)Technologien (Praktische Erfahrung aus Projekten. Nachvollziehbar anhand der Projekthistorie.)
• Azure (min. Basiskenntnisse) Nachvollziehbar anhand der Projektreferenzen.

SOLL Anforderungen:

• Big Data Tool Stack (min. Basiskenntnisse): Apache Hadoop / HDFS , Apache Drill (Nachvollziehbar anhand von Arbeitserfahrung und Projektreferenzen, Indikation zum Kenntnisstand, Grundkenntnisse, umfangreiche Erfahrung, ausgewiesener Experte)
• AWS Cloud (Nachvollziehbar anhand der Projektreferenzen)
• Fähigkeit des Agierens und Kommunizierens in einem agilen Projektumfeld (Einschätzung von Teamleiter und vergangenen Kunden)
• Verantwortungsbereitschaft (Einschätzung von Teamleiter und vergangenen Kunden)
• Flexibilität & Anpassungsbereitschaft (Einschätzung von Teamleiter und vergangenen Kunden)
• Kritikfähigkeit (offene direkte Kommunikation) (Einschätzung von Teamleiter und vergangenen Kunden)
• Interesse an neuen Projekterfahrungen (Einschätzung von Teamleiter und vergangenen Kunden)
• Schienengüterverkehr praktisch kennenlernen