Текст заказа
AI Data Engineer
Компания: TQLO SP. Z O.O.
Город: Warszawa
Удалённо
Nasz Klient to międzynarodowa organizacja rozwijająca nowoczesne rozwiązania technologiczne wykorzystujące dane oraz sztuczną inteligencję. Projekt koncentruje się na budowie i rozwoju infrastruktury danych wspierającej rozwiązania AI. Zakres współpracy obejmuje projektowanie procesów przetwarzania danych, przygotowywanie źródeł wiedzy dla systemów RAG oraz rozwój integracji i mechanizmów wyszukiwania informacji w środowisku Azure. Do realizacji projektu poszukujemy osoby do współpracy w roli AI Data Engineer, która łączy doświadczenie w Data Engineering z praktyczną znajomością rozwiązań AI oraz potrafi projektować skalowalne procesy przetwarzania i udostępniania danych. Tryb Współpracy: 100% zdalnie lub Warszawa Dostępność: Poszukujemy osób dostępnych od zaraz lub z maksymalnie 1-miesięczną dostępnością CZYM BĘDZIESZ SIĘ ZAJMOWAĆ? Projektowaniem i rozwijaniem procesów pozyskiwania, przetwarzania oraz udostępniania danych na potrzeby rozwiązań AI Budowaniem i optymalizowaniem pipeline'ów danych wykorzystywanych przez systemy oparte na sztucznej inteligencji Przygotowywaniem i przekształcaniem danych pochodzących z różnych źródeł, w tym danych nieustrukturyzowanych Rozwijaniem mechanizmów indeksowania i wyszukiwania informacji wykorzystywanych w rozwiązaniach RAG Projektowaniem procesów generowania i aktualizowania reprezentacji wektorowych danych Integracją źródeł danych z komponentami AI oraz usługami chmurowymi Optymalizowaniem procesów wyszukiwania i dostarczania kontekstu do modeli AI Zapewnianiem jakości, spójności i aktualności danych wykorzystywanych przez rozwijane rozwiązania Automatyzacją procesów przetwarzania oraz aktualizacji zbiorów danych Analizowaniem wydajności pipeline'ów i identyfikowaniem możliwości ich usprawnienia Współpracą z zespołami AI Engineering i Data Engineering przy projektowaniu architektury danych Tworzeniem dokumentacji technicznej oraz rozwijaniem standardów przetwarzania danych CZEGO OD CIEBIE OCZEKUJEMY? Must have: Minimum 4 lata komercyjnego doświadczenia w obszarze Data Engineering lub pokrewnym Bardzo dobra znajomość Python oraz doświadczenie w tworzeniu procesów przetwarzania danych Praktyczne doświadczenie w projektowaniu i rozwijaniu pipeline'ów danych Znajomość rozwiązań AI oraz sposobów przygotowywania danych na potrzeby systemów wykorzystujących sztuczną inteligencję Doświadczenie w projektowaniu lub rozwijaniu rozwiązań RAG Praktyczna znajomość wektorowych baz danych oraz mechanizmów wyszukiwania semantycznego Znajomość procesów tworzenia, przechowywania i aktualizowania embeddingów Doświadczenie z platformą Microsoft Azure oraz usługami wykorzystywanymi do przechowywania i przetwarzania danych Umiejętność integracji danych pochodzących z różnych źródeł i systemów Doświadczenie w przetwarzaniu danych ustrukturyzowanych i nieustrukturyzowanych Dobre rozumienie zasad jakości danych, optymalizacji wydajności oraz skalowalności procesów Umiejętność samodzielnego analizowania problemów technicznych i proponowania odpowiednich rozwiązań Nice to have: Doświadczenie z Azure AI Search Znajomość Azure Data Factory lub Azure Databricks Doświadczenie z LangChain lub LlamaIndex Znajomość metod hybrid search, reranking i chunking Doświadczenie z Azure OpenAI Znajomość SQL i relacyjnych baz danych Doświadczenie w automatyzacji wdrożeń i procesach CI/CD Znajomość architektury Lakehouse DLACZEGO WARTO? Udział w projekcie łączącym Data Engineering z nowoczesnymi rozwiązaniami AI Rozwój infrastruktury danych stanowiącej podstawę systemów RAG Złożone zagadnienia związane z wyszukiwaniem semantycznym, przetwarzaniem danych i integracją AI Udział w kształtowaniu architektury oraz sposobu przygotowywania i udostępniania danych Projektowanie rozwiązań wykorzystujących technologie chmurowe i wektorowe bazy danych Dziękujemy za wszystkie zgłoszenia! Skontaktujemy się z wybranymi osobami. TQLO Sp. z o.o. – Agencja Zatrudnienia (nr KRAZ 33580)