Текст заказа
Junior Data Engineer (Airflow / Snowflake)
Компания: TQLO SP. Z O.O.
Город: Warszawa
Удалённо
Nasz Klient to firma technologiczna realizująca projekty z obszaru Data Engineering i rozwiązań chmurowych. Projekt koncentruje się na rozwoju i utrzymaniu procesów przetwarzania danych, integracji różnych źródeł oraz zapewnieniu wysokiej jakości i wydajności danych. Szukamy osoby na stanowisko Junior Data Engineer, która ma praktyczną znajomość Apache Airflow, Python, Snowflake i dbt oraz potrafi samodzielnie realizować zadania i komunikować się z biznesem. Tryb współpracy: 100% zdalnie (z Polski) Start współpracy: asap do 2 tygodni CZYM BĘDZIESZ SIĘ ZAJMOWAĆ? Tworzeniem, rozwijaniem i utrzymywaniem procesów przetwarzania danych (DAG) w Apache Airflow z wykorzystaniem Python, zasilających Data Lake w AWS S3 oraz hurtownię danych Snowflake. Budowaniem pipeline'ów danych (ETL/ELT), integrujących informacje z różnych źródeł, takich jak API, bazy danych i pliki. Modelowaniem i transformacją danych z wykorzystaniem dbt oraz optymalizacją zapytań SQL i wydajności Snowflake. Zapewnianiem jakości danych poprzez testowanie, walidację, monitoring i obsługę błędów w procesach przetwarzania. Współpracą z analitykami, zespołami technicznymi i przedstawicielami biznesu. Tworzeniem i aktualizacją dokumentacji technicznej. CZEGO OD CIEBIE OCZEKUJEMY? Must-have: Około 2 lat komercyjnego doświadczenia w obszarze Data Engineering oraz praktycznej znajomości Apache Airflow (operators, sensors, hooks, TaskFlow API, XCom, backfills). Dobrej znajomości Python, umiejętności pisania czytelnego i testowalnego kodu oraz doświadczenia z pytest. Bardzo dobrej znajomości SQL (CTE, funkcje okna, optymalizacja zapytań) oraz praktycznego doświadczenia z Snowflake. Doświadczenia z dbt (models, tests, macros, snapshots, incremental models) oraz AWS S3 (Data Lake, partycjonowanie, formaty Parquet/JSON/CSV). Znajomości Git oraz podstaw procesów CI/CD (Continuous Integration / Continuous Delivery). Samodzielności, komunikatywności i znajomości języka angielskiego na poziomie C1, umożliwiającej swobodną współpracę z biznesem. Nice-to-have: Znajomość Docker, Kubernetes oraz formatów tabel Apache Iceberg lub Delta Lake. Doświadczenie z narzędziami do kontroli jakości danych, np. Great Expectations lub Soda. Znajomość modelowania wymiarowego danych (Kimball). DLACZEGO WARTO? Możliwość świadczenia usług w 100% zdalnych z dowolnego miejsca w Polsce. Udział w projekcie Data Engineering opartym na nowoczesnych technologiach i rozwiązaniach chmurowych. Możliwość zdobywania doświadczenia w projektowaniu i optymalizacji procesów przetwarzania danych. Samodzielność w realizacji zadań i bezpośrednia współpraca z zespołami technicznymi oraz biznesem. Dziękujemy za wszystkie zgłoszenia! Skontaktujemy się z wybranymi osobami. TQLO Sp. z o.o. – Agencja Zatrudnienia (nr KRAZ 33580)