← Все заказы

Вакансия Data Engineer (Senior)

18 ч назад

Текст заказа

Москва или удалённо · Полная занятость
Flowwow — международный маркетплейс подарков — ищет Senior Data Engineer с уклоном в платформенную разработку. В компании работает собственная Data Platform: lakehouse на Apache Iceberg + Trino, Spark для тяжёлых вычислений, CDC-пайплайны на Kafka/Debezium, всё в Kubernetes, плюс большой слой собственного кода — фреймворк Data Vault (моделирование хранилища как код), обвязка вокруг Airflow (собственные операторы, хуки, генерация DAG'ов, инструменты тестирования пайплайнов), самописный lineage и инструменты наблюдаемости данных, AI-слой на LangGraph + MCP. Команда — инженеры, а не операторы ETL: основа работы — Python-разработка библиотек, фреймворков и сервисов для всей дата-вертикали. Роль предполагает не написание пайплайнов по тикетам, а проектирование инструментов, ускоряющих и автоматизирующих эту работу. Задачи: развитие ядра платформы (Data Vault, обвязка Airflow, lineage-инструменты), проектирование API для других инженеров и ответственность за их развитие, разработка библиотек и фреймворков на Python с обеспечением качества кода через типизацию, тесты и code review, работа с lakehouse-архитектурой (Iceberg maintenance, оптимизация layout'а таблиц, тюнинг Trino, Spark-джобы для тяжёлых трансформаций), построение интеграций с источниками данных (OLTP-базы, REST/gRPC API, Kafka, файловые хранилища, SaaS) и унифицированных интерфейсов подключения новых источников, внедрение AI-инструментов в инженерные процессы — агентов для расследования инцидентов, анализа качества данных, поддержки DAG'ов и code review, участие в архитектурных решениях и внедрение best practices, code review и менторинг. Команда AI-native: Claude Code и аналогичные инструменты — часть ежедневного процесса, строятся harness-системы вокруг LLM. Оформление по трудовому договору, график 5/2, удалённый формат работы. Условия: ДМС со стоматологией или компенсация на медицинское обслуживание, сервис психологической поддержки, компенсация расходов на спорт или спортивное оборудование, компенсация техники для работы, оплачиваемое обучение, конференции и митапы, корпоративная программа лояльности со скидками на Flowwow и предложения партнёров. Уровень дохода обсуждается на этапах найма.
Требования: промышленный опыт от 5 лет в data engineering или backend-разработке с сильным дата-уклоном — production-системы под реальной нагрузкой и ответственность за их эксплуатацию; Python уровня senior: ООП, проектирование API библиотек, типизация, тесты, опыт создания переиспользуемых компонентов; практический опыт с lakehouse-стеком — Apache Iceberg (или Delta/Hudi с готовностью быстро переключиться): устройство таблиц, snapshots, компакция, schema evolution, понимание отличий lakehouse от классического DWH; Trino или другой MPP-движок: архитектура распределённого выполнения, чтение планов запросов, оптимизация, работа с коннекторами; глубокое знание Apache Airflow — внутреннее устройство, собственные операторы и хуки, не только DAG'и; Apache Spark: PySpark, Spark SQL, понимание модели выполнения; продвинутый SQL: оконные функции, CTE, оптимизация, чтение планов исполнения, большие объёмы; уверенное владение Git и CI/CD.
Откликнуться
POSTER — бесплатно постим IT-вакансии

Похожие заказы