Текст заказа
O projekcie
Poszukujemy doświadczonego specjalisty do zespołu Data Platform dla jednego z naszych klientów z sektora finansowego. Projekt skupia się na budowie i utrzymaniu warstw danych w architekturze Data Lakehouse. Obejmuje to pełen proces przetwarzania, od surowych zbiorów po warstwy prezentacyjne (curated, silver, gold). Rozwiązania opierają się na nowoczesnym stosie technologicznym, w tym na Apache Iceberg oraz MongoDB w warstwie ODS (Operational Data Store).
Praca zdalna, wizyta w biurze we Wrocławiu 1 dzień w miesiącu.
Twój zakres obowiązków
Projektowanie i implementacja rozwiązań rekoncyliacji danych w warstwie ODS opartej o MongoDB.
Synchronizacja danych z systemami źródłowymi.
Budowa i utrzymanie warstw danych w architekturze Data Lakehouse (Delta Lake, Apache Iceberg, Hudi).
Zarządzanie tabelami wersjonowanymi oraz optymalizacja zapisów (upserts, merge) w Apache Iceberg.
Automatyzacja procesów budowy, testowania i wdrażania aplikacji Spark przy użyciu Jenkins.
Monitorowanie rozwiązań z wykorzystaniem narzędzi Prometheus i Grafana.
Czego oczekujemy
Minimum 4 lata praktycznego doświadczenia z Apache Spark w środowiskach produkcyjnych.
Biegła znajomość PySpark, Spark SQL, DataFrames oraz Structured Streaming.
Doświadczenie w pracy z MongoDB, w tym odczyt i zapis danych przez Spark Connector, modelowanie dokumentowe oraz indeksowanie.
Praktyczna znajomość architektury Data Lakehouse i narzędzi takich jak Apache Iceberg.
Umiejętność tworzenia procesów CI/CD z wykorzystaniem Jenkins.
Biegłość w programowaniu w języku Python.
Znajomość zagadnień związanych z monitorowaniem systemów (Prometheus, Grafana).
Doświadczenie w pracy w metodykach zwinnych (Scrum lub Kanban) oraz znajomość Jira i Confluence.