Текст заказа
Data Engineer (AWS)
Компания: RITS
Город: Warszawa
Удалённо
RITS Group to firma informatyczna, która oferuje najwyższej jakości usługi programistyczne zarówno dla rynku polskiego, jak i międzynarodowego. Jesteśmy dumni, że należymy do grona najszybciej rozwijających się spółek technologicznych. Naszym priorytetem jest jakość oraz innowacyjność dostarczanych rozwiązań, a nasza kultura organizacyjna opiera się na zaufaniu, współpracy i ciągłym doskonaleniu. Tryb usługi: 100% zdalnie Model współpracy: B2B Stawka: 140–165 PLN netto + VAT / h Poziom: Senior / Mid+ O projekcie Dołączysz do międzynarodowego zespołu rozwijającego nowoczesną platformę danych opartą na AWS, która wspiera produkty cyfrowe i obszary takie jak analityka produktowa, customer engagement, attribution, reporting oraz dane subskrypcyjne i płatnicze. Platforma wykorzystuje m.in. AWS S3, Redshift, EMR, Glue, Lambda, Step Functions, PySpark, dbt oraz Airflow. Dane są wykorzystywane przez narzędzia takie jak Looker, Segment, Braze, Amplitude i AppsFlyer. Poszukujemy osoby, która wesprze bieżący rozwój i utrzymanie platformy, a jednocześnie pomoże zwiększyć jej niezawodność, wydajność i efektywność kosztową. Zakres współpracy Rozwijanie i utrzymywanie pipeline'ów danych oraz reagowanie na problemy związane z ich działaniem. Projektowanie i rozwój procesów ingestii danych, w tym integracji z bazami Aurora PostgreSQL oraz SQS. Budowanie i optymalizacja transformacji danych z wykorzystaniem PySpark i dbt. Rozwijanie mechanizmów kontroli jakości danych, monitorowania ich aktualności i niezawodności pipeline'ów. Zarządzanie konfiguracją Segment, projektowanie schematów zdarzeń oraz współpraca z zespołami Product i Engineering. Zapewnienie spójności danych pomiędzy Redshift a narzędziami Braze, Amplitude, AppsFlyer i Looker. Przygotowywanie i udostępnianie danych dla narzędzi zewnętrznych, partnerów oraz zespołów wewnętrznych. Rozwijanie istniejących modeli ML, przygotowywanie feature pipelines i zbiorów treningowych oraz wdrażanie modeli z wykorzystaniem AWS SageMaker. Wsparcie inicjatyw AI, w tym rozwiązań opartych na LLM, przygotowywania zbiorów ewaluacyjnych i optymalizacji kosztów. Optymalizacja wydajności i kosztów Amazon Redshift. Rozwijanie infrastruktury jako kodu z wykorzystaniem AWS SAM, CloudFormation lub podobnych rozwiązań oraz CI/CD. Modernizacja istniejącej architektury i stopniowe przenoszenie starszych rozwiązań na aktualny stack technologiczny. Współpraca z zespołami Analytics, Finance i Product przy definiowaniu oraz standaryzacji metryk biznesowych. Rozwijanie projektu dbt, w tym modeli incremental, testów i kontroli jakości danych. Code review oraz wsparcie merytoryczne mniej doświadczonych członków zespołu. Wymagania techniczne Minimum 4 lata doświadczenia w obszarze Data Engineering, w tym doświadczenie w samodzielnym rozwijaniu i utrzymywaniu produkcyjnego data warehouse. Bardzo dobra znajomość SQL i Python, w tym PySpark. Praktyczne doświadczenie z Amazon Redshift lub podobnym rozwiązaniem MPP, w szczególności w zakresie optymalizacji wydajności, distribution keys, sort keys i workload management. Znajomość modelowania danych, w tym dimensional modeling oraz Slowly Changing Dimensions. Doświadczenie z dbt: incremental models, tests i sources. Praktyczna znajomość Segment lub podobnej platformy Customer Data Platform (CDP) oraz projektowania event schemas. Doświadczenie w środowisku AWS: S3, IAM, Glue, Lambda, Step Functions, Spark on EMR oraz RDS/Aurora. Znajomość Infrastructure as Code, np. CloudFormation, AWS SAM lub Terraform. Doświadczenie w pracy z CI/CD. Umiejętność projektowania idempotentnych pipeline'ów oraz procesów umożliwiających ponowne przetwarzanie danych (backfilling). Praktyczne doświadczenie w przygotowywaniu danych pod rozwiązania ML/AI, np. feature engineering, training datasets lub model serving. Nie jest wymagane kompleksowe zarządzanie całym cyklem życia modeli ML. Dodatkowe informacje Bardzo dobra znajomość języka angielskiego – poziom B2, C1 lub C2. Samodzielność w rozwiązywaniu problemów technicznych. Umiejętność pracy z produkcyjnymi systemami danych i podejmowania decyzji dotyczących architektury