Текст заказа
Senior Data Engineer
Компания: GS Services
Город: Warszawa
Удалённо
Dla naszego klienta poszukujemy doświadczonego Data Engineera, który dołączy do projektu z obszaru R&D i będzie pracować przy rozwoju oraz utrzymaniu procesów przetwarzania danych. Szukamy osoby z minimum 7-letnim doświadczeniem w Data Engineering, ETL oraz Data Warehouse development i modeling, bardzo dobrą znajomością SQL oraz praktycznym doświadczeniem z AWS, dbt, Airflow i Pythonem. Tryb pracy: 100% zdalnie Forma współpracy: B2B Doświadczenie: min. 7 lat Wymagania: Minimum 7 lat doświadczenia w Data Engineering, ETL oraz Data Warehouse development i modeling Bardzo dobra znajomość SQL, w tym transformacja i walidacja danych, reconciliation, troubleshooting oraz optymalizacja zapytań Doświadczenie w dimensional data modeling, w tym Star Schema, Snowflake Schema, Fact and Dimension Modeling oraz Slowly Changing Dimensions Praktyczne doświadczenie z Pythonem w obszarze Data Engineering lub automatyzacji workflow Doświadczenie z dbt Doświadczenie z AWS, w szczególności S3, Glue, Lambda i Redshift Doświadczenie z Apache Airflow, w tym tworzeniem DAG-ów i orkiestracją workflow Doświadczenie w budowie i utrzymaniu produkcyjnych pipeline’ów ETL/ELT Znajomość zagadnień data quality, error handling i production support Doświadczenie w tworzeniu diagramów architektury i dokumentacji technicznej Znajomość Git lub podobnych narzędzi kontroli wersji Zakres obowiązków: Rozwój i utrzymanie pipeline’ów danych R&D Analiza plików źródłowych, wymagań biznesowych, mappingów i istniejących konfiguracji pipeline’ów Tworzenie i utrzymanie diagramów architektury oraz conceptual, logical i physical data models Projektowanie modeli danych w oparciu o Star Schema i Snowflake Schema Budowa i optymalizacja transformacji danych z wykorzystaniem dbt Rozwój logiki ingestion, transformation i publish z wykorzystaniem YAML, AWS S3, Airflow, SQL i Redshift Wsparcie architektury Medallion Implementacja data quality checks i exception handling Obsługa zmian w schematach danych, nowych kolumn, typach danych, brakujących polach i formatach plików Walidacja i reconciliation danych source-to-target przed wdrożeniem produkcyjnym Troubleshooting pipeline’ów, brakujących lub opóźnionych plików oraz problemów z danymi na produkcji Udział w code review, testach, deploymentach i aktualizacji dokumentacji Współpraca z biznesem, vendorami i zespołami technicznymi przy doprecyzowaniu wymagań i rozwiązywaniu problemów Chcesz dowiedzieć się więcej lub od razu aplikować na to stanowisko? Po więcej informacji zapraszam do wiadomości pod adresem