Текст заказа
Senior Data Engineer (k/m)
Компания: Finture Sp. z o.o.
Город: Warszawa
Senior Data Engineer (k/m) | procesy ETL i systemy kampanijne Dla naszego Klienta z branży bankowej poszukujemy Starszego Inżyniera Danych / Starszej Inżynierki Danych do zespołu odpowiedzialnego za zasilanie hurtowni danych, środowiska Big Data, platformy Google Cloud oraz systemów kampanijnych. Zespół buduje rozwiązania, które przetwarzają duże wolumeny danych zarówno wsadowo, jak i niemal w czasie rzeczywistym, a dostarczane dane trafiają do datamartów, analiz, raportów, segmentacji klientów i spersonalizowanych kampanii. To rola dla osoby z solidnymi podstawami inżynierii danych, która ceni niezawodne rozwiązania i chce rozwijać się w obszarze chmury, streamingu i platform marketingowych. Współpraca odbywa się w trybie hybrydowym. Zatrudnienie w ramach grupy kapitałowej – przez spółkę Exorigo-Upos. Zakres obowiązków: projektowanie, budowa i rozwijanie pipeline’ów ETL/ELT działających w trybie batch oraz streaming, w szczególności na potrzeby systemów kampanijnych tworzenie procesów ładujących dane do BigQuery, hurtowni danych, Data Lake i platformy kampanijnej integrowanie danych z wielu źródeł: systemów on-premise, GCP, baz danych, plików, API oraz systemów zdarzeniowych budowa przepływów opartych na zdarzeniach z użyciem m.in. Kafki lub Pub/Sub projektowanie modeli danych na poziomie logicznym i fizycznym oraz przygotowywanie warstw danych, datamartów tematycznych i zbiorów dla procesów analitycznych i kampanijnych pisanie i optymalizacja zapytań SQL w bazach relacyjnych i kolumnowych implementacja procesów przetwarzania i ładowania danych w Pythonie i/lub Ruście dbanie o jakość, kompletność, spójność i terminowe dostarczanie danych optymalizacja wydajności oraz kosztów przetwarzania w GCP wdrażanie monitoringu, logowania, obsługi błędów i mechanizmów ponownego przetwarzania przekładanie potrzeb biznesu na koncepcje techniczne, modele danych i działające rozwiązania przygotowywanie testów, wsparcie wdrożeń, analiza incydentów i utrzymanie rozwiązań tworzenie i aktualizacja dokumentacji technicznej oraz praca zgodnie z podejściem DevSecOps Wymagania: Minimum 5-letnie doświadczenie komercyjne w inżynierii danych, w tym w projektowaniu i budowie procesów ETL/ELT oraz pipeline’ów danych bardzo dobra znajomość SQL, włącznie z optymalizacją zapytań i pracą na dużych wolumenach danych praktyczna praca z BigQuery: projektowanie struktur, partycjonowanie, klastrowanie oraz optymalizacja wydajności i kosztów doświadczenie programistyczne w Pythonie i/lub Ruście znajomość przetwarzania danych w trybie batch i streaming znajomość architektury event-driven oraz technologii takich jak Kafka lub Pub/Sub doświadczenie w projektowaniu logicznych i fizycznych modeli danych znajomość relacyjnych baz danych, np. Oracle lub PostgreSQL Znajomość języka polskiego na poziomie C1 Mile widziane: doświadczenie z usługami Google Cloud: BigQuery, Pub/Sub, Dataflow, Dataproc, Cloud Storage znajomość Apache Spark (szczególnie na Dataproc) oraz Apache Beam / Dataflow praca z Kubernetes, Dockerem i procesami CI/CD znajomość Informatica PowerCenter lub innych narzędzi ETL udział w budowie Data Lake, hurtowni danych lub platform danych w środowisku hybrydowym znajomość systemów kampanijnych, segmentacji klientów lub przygotowania danych dla marketing automation doświadczenie w testach jakości danych, monitoringu pipeline’ów i data observability wiedza z zakresu bezpieczeństwa danych, kontroli dostępu, anonimizacji i przetwarzania danych wrażliwych znajomość AutomateNOW Oferujemy: Współpracę z renomowaną organizacją (ITwiz BEST100), działającą w oparciu o międzynarodowe standardy jakości i bezpieczeństwa (ISO 9001, ISO 27001) Niekorporacyjną atmosferę i płaską strukturę organizacyjną Możliwość ciągłego rozwoju poprzez: pracę z wykorzystaniem różnorodnych technologii w projektach dla renomowanych klientów współpracę z doświadczonym zespołem ekspertów, którzy chętnie dzielą się wiedzą dofinansowanie do szkoleń i certyfikatów Program Poleceń Pracowniczych Udział w inicjatywach dobroczynnych, w tym współpracę z Fundacją im. Joanny Radziwiłł “Opiekuńcze Skrzydła” oraz udział w świątecznej akcji „Gwiazdorzymy” Różnorodne i inkluzywne środowisko pracy – w naszej firmie współpracują przedstawiciele czterech pokoleń Równe szanse rozwoju – 50% stanowisk menedżerskich i liderskich zajmują kobiety Opiekę medyczną LUX-MED, dofinansowanie 50% do karty Multisport, dofinansowanie do nauki języków oraz dostęp do platformy wellbeingowej Kulturę organizacyjną opartą na wartościach: działamy z dobrą intencją dzielimy się wiedzą bierzemy odpowiedzialność stale się doskonalimy ludzie są dla nas najważniejsi działamy, znając cel i sens naszej pracy komunikujemy się szczerze i profesjonalnie Proces rekrutacyjny: selekcja CV - screening (30 min) rozmowa rekrutacyjna (z klientem) decyzja