Текст заказа
Data Engineer – Data Contracts & Quality (GCP)
Компания: P&P Solutions
Город: Warszawa
Dla naszego Klienta poszukujemy osoby, która ma doświadczenie w obszarze Data Engineering i Data Governance oraz chce rozwijać rozwiązania związane z jakością i standaryzacją danych. Szukamy specjalisty, który będzie odpowiedzialny za implementację i utrzymanie kontraktów danych (Data Contracts) w środowisku Google Cloud Platform. Lokalizacja: Warszawa (hybrydowo, model współpracy do indywidualnego ustalenia; możliwa praca w pełni zdalna) Model współpracy: B2B Język angielski: B1 Technologie: GCP, BigQuery, SQL, Python, Spark, Kubernetes, Terraform, Vertex AI, Looker, Oracle. Wymagania: Praktyczne doświadczenie w pracy z Google Cloud Platform (GCP). Znajomość zagadnień Data Contracts, w tym definiowania kontraktów danych i wymagań jakościowych. Doświadczenie w korzystaniu z narzędzi wspierających automatyzację kontraktów danych, np. OpenAPI, JSON Schema, CI/CD lub narzędzi do testowania jakości danych. Doświadczenie w analizie, przetwarzaniu i modelowaniu danych. Znajomość architektury hurtowni danych oraz rozwiązań Big Data. Zaawansowana znajomość SQL poparta praktycznym doświadczeniem zawodowym. Mile widziane: Kilkuletnie doświadczenie w obszarze Data Engineering, Data Governance, Data Quality lub analizy danych. Doświadczenie w projektowaniu modeli danych i budowaniu warstw danych. Praktyczna znajomość testowania, monitorowania i alertowania jakości danych. Znajomość standardu ODCS. Doświadczenie z narzędziami takimi jak dbt, Dataform, Knowledge Catalog (dawniej Dataplex) lub Data Catalog. Znajomość zagadnień Data Governance i Data Quality. Doświadczenie w dokumentacji technicznej oraz code review. Umiejętność samodzielnego prowadzenia tematów wymagających współpracy wielu zespołów. Obowiązki: Implementacja, wdrażanie i utrzymywanie kontraktów danych (Data Contracts) w środowisku GCP. Definiowanie i aktualizacja schematów danych oraz reguł walidacji zgodnie z wymaganiami jakościowymi. Tworzenie mechanizmów automatycznej walidacji danych i integracja ich z procesami CI/CD. Tworzenie zaawansowanych zapytań SQL na potrzeby analizy danych i weryfikacji ich jakości. Analiza, przetwarzanie i modelowanie danych w środowiskach hurtowni danych oraz Big Data. Współpraca z zespołami Data Engineering, BI, produktowymi i właścicielami danych. Udział w rozwoju narzędzi i procesów wspierających Data Governance oraz Data Quality. Oferujemy: Stawkę do 140 PLN/h netto na B2B Przelew wynagrodzenia w dogodnej formie Krótki, 14-dniowy termin płatności faktury Długoterminową współpracę Bogaty pakiet prywatnej opieki medycznej Dostęp do platformy kafeteryjnej MyBenefit, umożliwiającej m.in. zamawianie kart MultiSport oraz kart podarunkowych do popularnych sklepów i usług