Azure Data Engineer

Zakres obowiązków:• Projektowanie i rozwój pipeline’ów danych oraz rozwiązań przetwarzania danych w oparciu o Azure Databricks i Python • Budowa i utrzymanie rozwiązań na platformie Azure Data (Data Lake, Data Factory, Synapse) • Tworzenie i rozwój Data Products oraz zarządzanie nimi (Unity Catalog) • Współpraca z biznesem — zbieranie wymagań i przekładanie ich na rozwiązania techniczne • Dbanie o jakość danych, bezpieczeństwo oraz zgodność z wymaganiami • Integracja rozwiązań danych z innymi systemami w organizacji • Usprawnianie wydajności, skalowalności i kosztów rozwiązań Wymagania:• Bardzo dobra znajomość: • Azure Databricks • Python • Apache Spark • Doświadczenie z usługami Azure: • Data Lake (ADLS Gen2) • Data Factory / Synapse • Znajomość API (REST lub podobne) • Doświadczenie w projektowaniu ETL oraz modelowaniu danych • Podstawowa znajomość architektury danych • Doświadczenie z CI/CD i Git • Umiejętność rozwiązywania problemów i pracy w metodykach Agile • Dobre umiejętności komunikacyjne (współpraca z biznesem i zespołami technicznymi) Mile widziane:• Doświadczenie z przetwarzaniem dużych zbiorów danych (big data, streaming) • Znajomość Unity Catalog oraz zasad data governance • Doświadczenie z narzędziami wizualizacji danych (np.