Текст заказа
Data Engineer
Компания: SCALO
Город: Warszawa
W Scalo zajmujemy się dostarczaniem projektów software'owych i wspieraniem naszych partnerów w rozwijaniu ich biznesu. Tworzymy oprogramowanie, które umożliwia ludziom dokonywanie zmian, działanie w szybszym tempie oraz osiąganie lepszych rezultatów. Wykorzystujemy szerokie spektrum usług IT, aby wspierać naszych klientów w realizacji ich celów biznesowych. Obszary naszej działalności obejmują m.in.: • doradztwo technologiczne, • tworzenie oprogramowania, • systemy wbudowane, • rozwiązania chmurowe, • zarządzanie danymi, • dedykowane zespoły projektowe. Cześć! Poznaj możliwości współpracy ze Scalo! Zakres współpracy obejmuje: projektowanie, budowę i rozwój procesów ETL/ELT oraz pipeline’ów przetwarzania danych działających w trybie batch i streaming, tworzenie procesów zasilających BigQuery, hurtownie danych, Data Lake, integrację danych pochodzących z systemów on-premise, chmury GCP, baz danych, plików, interfejsów API, projektowanie logicznych i fizycznych modeli danych, przygotowywanie warstw danych, datamartów tematycznych oraz zbiorów wykorzystywanych w procesach analitycznych i kampanijnych, tworzenie i optymalizację zapytań SQL w relacyjnych oraz kolumnowych bazach danych, programowanie procesów przetwarzania i ładowania danych w Pythonie i/lub Rust, budowę przepływów zdarzeniowych z wykorzystaniem technologii takich jak Kafka lub Pub/Sub, optymalizację wydajności procesów oraz kosztów przetwarzania danych w środowisku GCP, wdrażanie monitoringu, logowania, obsługi błędów i mechanizmów ponawiania przetwarzania, przekładanie wymagań biznesowych na koncepcje techniczne, modele danych i gotowe rozwiązania, przygotowywanie testów oraz wsparcie wdrożeń zmian w procesach zasilania danych, lokalizacja projektu: Warszawa, tryb realizacji usług: hybrydowy, obecność w biurze raz w tygodniu w Warszawie, budżet projektu: do 150 PLN/h + VAT, w zależności od doświadczenia i zakresu świadczonych usług. Kompetencje wymagane do realizacji usług: minimum 5 lat doświadczenia na podobnym stanowisku, doświadczenie w projektowaniu i budowie procesów ETL/ELT oraz pipeline’ów przetwarzania danych, dobra znajomość SQL, w tym optymalizacji zapytań i pracy z dużymi wolumenami danych, praktyczna znajomość BigQuery, obejmująca projektowanie struktur danych, partycjonowanie, klastrowanie oraz optymalizację wydajności i kosztów zapytań, doświadczenie w programowaniu w Pythonie i/lub Rust, znajomość przetwarzania danych zarówno w trybie batch, jak i streaming, znajomość architektury sterowanej zdarzeniami oraz technologii takich jak Kafka lub Pub/Sub, znajomość relacyjnych baz danych, np. Oracle lub PostgreSQL, znajomość systemu Linux, mile widziane: znajomość Apache Spark, Apache Beam lub Google Cloud Dataflow. dświadczenie z Kubernetes, Docker oraz procesami CI/CD, znajomość Informatica PowerCenter lub innych narzędzi klasy ETL, znajomość AutomateNOW, znajomość systemów kampanijnych, procesów segmentacji klientów lub przygotowywania danych na potrzeby marketing automation. Co oferujemy w ramach współpracy? możliwość świadczenia usług w różnorodnych projektach z obszaru Software, Embedded, Data i Cloud Services, zaangażowanie w dodatkowe inicjatywy presealsowe oraz eksperckie, dostęp do opieki medycznej, karty sportowej oraz platformy kafeteryjnej zgodnie z obowiązującymi zasadami współpracy.