Текст заказа
Poszukujemy doświadczonego Data Engineer/Spark / Data Lakehouse Developera, który dołączy do zespołu Data Platform i będzie uczestniczył w rozwoju nowoczesnych rozwiązań przetwarzania oraz zarządzania danymi.
Osoba na tym stanowisku będzie odpowiedzialna za projektowanie i implementację mechanizmów rekoncyliacji danych w warstwie ODS (Operational Data Store), opartej na MongoDB, a także za synchronizację danych z systemami źródłowymi. Ważnym elementem projektu będzie również budowa i rozwój architektury Data Lakehouse, obejmującej przetwarzanie danych od warstwy surowej po warstwy prezentacyjne (Raw, Bronze, Silver, Gold).
Zakres obowiązków
Rekoncyliacja i jakość danych
Projektowanie oraz implementacja procesów rekoncyliacji danych z wykorzystaniem Apache Spark, PySpark i Spark SQL.
Porównywanie danych przechowywanych w MongoDB z danymi w systemach źródłowych.
Tworzenie reguł walidacji i jakości danych oraz wykrywanie duplikatów, braków i anomalii.
Generowanie raportów i alertów dotyczących niezgodności danych.
Integracja z MongoDB
Integracja Apache Spark z MongoDB przy użyciu MongoDB Spark Connector.
Implementacja procesów odczytu i zapisu danych.
Optymalizacja operacji odczytu, m.in. poprzez partitioning, predicate push-down i schema-aware reads.
Rozwój architektury Data Lakehouse
Projektowanie i rozwój warstw danych Raw, Bronze, Silver i Gold.
Implementacja rozwiązań opartych na Apache Iceberg, Delta Lake lub Apache Hudi.
Zarządzanie tabelami wersjonowanymi oraz optymalizacja operacji zapisu i aktualizacji danych (upsert/merge).
Wdrażanie CI/CD dla schematów tabel, migracji i wersjonowania.
Optymalizacja wydajności
Tuning procesów Apache Spark, w tym partitioning, caching, broadcast joins i Adaptive Query Execution.
Optymalizacja zapytań oraz kosztów przetwarzania danych w środowisku Data Lakehouse.
Monitoring i observability
Konfiguracja monitoringu i metryk z wykorzystaniem Prometheus i Grafana.
Integracja logowania i distributed tracing z wykorzystaniem OpenTelemetry lub Dynatrace.
Definiowanie SLA/SLO oraz alertów dotyczących świeżości danych i poprawności realizacji zadań.
DevOps i wsparcie operacyjne
Automatyzacja wdrożeń aplikacji Spark z wykorzystaniem Docker, Kubernetes i Spark Operator.
Diagnozowanie problemów związanych z jakością danych, opóźnieniami i niezgodnościami.
Tworzenie i utrzymywanie dokumentacji technicznej, runbooków oraz diagramów przepływu danych.
Współpraca zespołowa
Współpraca z Data Engineerami, Business Analystami, testerami i zespołem DevOps.
Udział w pracach prowadzonych w metodykach Scrum/Kanban.
Prowadzenie code review oraz warsztatów technicznych.
Wymagania
Must-have:
Minimum 6 lata doświadczenia komercyjnego w pracy z Apache Spark oraz środowiskach produkcyjnych. Mile widziane doświadczenie bankowe.
Bardzo dobra znajomość PySpark, Spark SQL, DataFrames oraz Structured Streaming.
Praktyczne doświadczenie w integracji Apache Spark z MongoDB przy użyciu MongoDB Spark Connector.
Znajomość modelowania dokumentowego oraz indeksowania w MongoDB.
Doświadczenie z Apache Iceberg, w szczególności w zakresie zarządzania tabelami, wersjonowania danych oraz operacji upsert/merge.
Praktyczna znajomość języka Python.
Doświadczenie w budowaniu i utrzymywaniu procesów CI/CD z wykorzystaniem Jenkins.
Znajomość narzędzi Prometheus i Grafana.
Doświadczenie w pracy w metodykach Agile (Scrum/Kanban).
Znajomość Jira i Confluence.
Mile widziane
Doświadczenie z Delta Lake lub Apache Hudi.
Znajomość Docker i Kubernetes oraz Spark Operator.
Praktyczna znajomość OpenTelemetry lub Dynatrace.
Doświadczenie w projektowaniu rozwiązań monitorowania procesów batch i streaming.
Znajomość zagadnień Data Quality, Data Observability i zarządzania cyklem życia danych.
Dołącz do projektu!
Jeśli masz doświadczenie w budowaniu wydajnych rozwiązań Big Data, dobrze znasz Apache Spark i chcesz rozwijać nowoczesną architekturę Data Lakehouse, zapraszamy do aplikowania!