Текст заказа
Spark / Data Lakehouse Developer
Компания: ALGOTEQUE SERVICES
Город: Wrocław
ALGOTEQUE to firma doradcza IT, która wspiera startupy, średnie i duże przedsiębiorstwa w tworzeniu i wdrażaniu innowacyjnych technologii. Nasz zespół ma udokumentowane sukcesy w projektowaniu, rozwijaniu, wdrażaniu i integracji rozwiązań programistycznych (AI, ML, BI, Web, Automatyzacja) dla branż takich jak telekomunikacja, energetyka, bankowość, ubezpieczenia, farmacja, motoryzacja, przemysł oraz e-commerce. Świadczymy nasze usługi zarówno w modelu fixed-price, jak i time-and-materials, pomagając naszym klientom w osiąganiu ich celów biznesowych i strategii IT. Dla naszego Klienta poszukujemy doświadczonego Spark / Data Lakehouse Developera do projektu związanego z budową i rozwojem rozwiązań Data Lakehouse oraz rekonsyliacją danych w warstwie ODS. Zakres współpracy - Projektowanie i implementacja procesów rekonsyliacji danych z wykorzystaniem Spark-SQL / PySpark. - Porównywanie danych z MongoDB z systemami źródłowymi oraz budowanie reguł jakości danych. - Integracja Spark z MongoDB i optymalizacja procesów odczytu/zapisu. - Budowa i rozwój warstw Raw/Bronze/Silver/Gold w architekturze Data Lakehouse. - Praca z Apache Iceberg oraz wersjonowaniem i migracją danych. - Optymalizacja wydajności i kosztów przetwarzania danych w Spark. - Konfiguracja monitoringu i observability procesów danych. - Automatyzacja deploymentów Spark oraz wsparcie procesów CI/CD. - Diagnozowanie problemów z danymi i utrzymanie dokumentacji technicznej. - Współpraca z zespołami Data Engineering, Business Analysis, QA i DevOps oraz udział w code review i warsztatach. Wymagania - Minimum 4 lata praktycznego doświadczenia z Apache Spark w środowisku produkcyjnym. - Bardzo dobra znajomość PySpark, Spark SQL, DataFrames i Structured Streaming. - Doświadczenie z MongoDB oraz MongoDB Spark Connector. - Praktyczna znajomość Apache Iceberg. - Znajomość Python i Spark SQL. - Doświadczenie z Jenkins i procesami CI/CD dla aplikacji Spark. - Znajomość Prometheus i Grafana. - Doświadczenie w pracy w Scrum lub Kanban oraz znajomość Jira/Confluence. Warunki współpracy - Forma współpracy: B2B - Lokalizacja: Wrocław / zdalnie (przewidziane są spotkania projektowe w biurze raz w miesiącu).