Текст заказа
О проекте: Сейчас мы находимся в поисках Data Engineer (Hadoop/Spark) в команду, которая занимается полным циклом внедрения математических моделей (ML моделей)
Наш стек: Мы все работаем на современной ML-платформе.
Используем PySpark, SQL, Python, Airflow для оркестрации DAGов, MLFlow для регистрации моделей и Feature Store для хранения фичей
Наша команда: 7 человек: DE, DS, DA и MLE
Чем предстоит заниматься:
Формирование датасетов, поиск и подгрузка данных
Автоматизация Data Pipelines
Разработка ETL-процессов для интеграции данных из различных внутренних и внешних источников
Оптимизация сборки датасетов и работа с багами
Подготовка данных для внедрения математических моделей в конвейер принятия решений
Что мы ждем:
Опыт в направлении от 3 лет
Опыт с Apache Airflow: настройка, оптимизация, DAG на Python
Знание SQL на уровне сложных запросов и оптимизации
Знание Python на Middle уровне
Высшее образование
Будет плюсом:
Опыт работы с Pyspark, Scala
Знание потоковых данных (Kafka, Spark Streaming)
Опыт работ с Docker, Kubernetes