Текст заказа
Обязанности: Разработка и оптимизация архитектуры Хранилищ а данных, проектирование слоев данных;
Создание, поддержка и оптимизация высоконагруженных ETL -процессов;
Интеграция данных из внутренних/внешних источников (API, файловые хранилищ а, БД);
Работа с Big Data и стримингом;
Коммуникация с бизнес-аналитиками и формализация требований, дата-инженерами и архитекторами;
Проведение код ревью и шеринг экспертизы с коллегами (проведение митапов, техническая консультация).
Требования: Опыт в разработке и поддержке хранилищ данных от 5 лет;
Отличные знания SQL, опыт оптимизации сложных запросов и работы с большими объёмами данных;
Опыт проектирования и разработки ETL -процессов;
Опыт разработки real-time и near real-time pipeline’ов обработки/загрузки данных;
Глубокие знания и практический опыт работы с Hadoop (HDFS, Hive, Spark);
Опыт работы с Airflow и Docker;
Опыт работы с GIT;
Уверенные знания Python.