36902 Python Developer Data Engeneering, Data Migration

Description de la mission

Phyton Entwicklung zur Zusammenführung von Daten aus mehreren Quellsystemen in ein vorgefertigtes Standard Datenmodell

Gewünschtes Eintrittsdatum: 01.10.2023
End-Datum: 30.06.2024

Onsite Stunden: 40
Offsite Stunden: 1400
Stunden Reisezeit für projektbedingte Reisen: 15
Konditionen: 89,00 € / h max

Achtung: zur Berücksichtigung Ihrer Bewerbung benötigen wir von Ihnen zwingend:
• CV im Wordformat inkl. Geburtsdatum
• Angaben zur Verfügbarkeit und Kapazität
• Bestätigung der Konditionen Remote €/h

Für die kommunale Wärmeplanung werden vom Netzbetreiber Daten zur Gasinfrastruktur abgefragt.
Diese sollen in einem Standard Datenmodell zur Verfügung gestellt werden.
Dabei handelt es sich sowohl um Leitungsdaten als auch um Kundenanschlüsse und weitere technische Objekte.
Ferner werden Zeitreihen benötigt (sämtliche Daten liegen bereits in verschiedenen Quellsystemen).
Parallel dazu besteht eine Datenplattform, in der gegenwärtig ausschließlich Stromdaten aus den genannten Quellsystemen liegen.
Aufgabe ist es nun die Gas Asset- und Zeitreihendaten in diese Datenplattform aus den Quelldaten zu überführen.
Die Datenplattform besteht aus einer Graphdatenbank. Deshalb ist eine im Allgemeinen recht komplexe python Datenverbeitung erforderlich, um aus einfachen Daten eine Graphstruktur zu erstellen.
Die entsprechende Programmierung wird in ein bestehendes git repository mit CI CD Flow eingearbeitet.
Für die Umsetzung werden insbesondere die python Bibliotheken pandas, networkX und ggfs. polars sowie spark benötigt.
Die Pipelines werden in der Azure Plattform umgesetzt, Kenntnisse darüber sind aber nicht zwingend notwendig (wenn auch von Vorteil).
Für diese Aufgabe wird ein data engineer mit python Schwerpunkt benötigt.

Stand:

Die NEMO Datenbank ist mit Stromdaten gefüllt, es bestehen bereits Code und Pipeline zur wöchentlichen Beladung.
Der Code für die Beladung und Transformation von Gasdaten ist ausstehend.

Ziel:

Ziel ist es, die Datenbank mit einem konsistenten Graphdatenmodell unserer Gas Assetsbase zu befüllen.
Es sollen im Projekt alle relevanten Gasdaten eingearbeitet werden, nicht nur die, die für die kommunale Wärmeplanung unbedingt erforderlich sind.
Dafür soll eine Extraktions- und Transformationspipeline der bereits existierende Strompipeline hinzu programmiert werden.