#Senior #Data_EngineerSeniorData инженерКомпания: RedLabЛокация: РФ, РБГражданство: РФ, РБОпыт: больше 5-ти летФормат…
1 дн назад
Текст заказа
#Senior #Data_EngineerSeniorData инженерКомпания: RedLabЛокация: РФ, РБГражданство: РФ, РБОпыт: больше 5-ти летФормат работы: удаленноЗанятость: Полная/проектнаяЗП: 350 000 - 380 000 RUB (гросс), оформление по ГПХТребования:• Опыт работы Data Engineer от 5 лет.• Знание методологии Data Vault 2.0• Уверенные знания Python/Scala/Java для разработки ETL/ELT-процессов и сервисов обработки данных.• Отличное знание SQL, опыт оптимизации сложных запросов и работы с большими объемами данных.• Опыт проектирования и разработки промышленного Data Warehouse, Data Lake или Lakehouse решений.• Практический опыт работы с Apache Spark.• Опыт работы с Apache Airflow, Apache Kafka• Опыт работы с системами потоковой обработки данных• Опыт работы с распределенными файловыми системами и форматами хранения данных: HDFS, Parquet, Avro;• Опыт работы с экосистемой Hadoop/Apache Iceberg или современными платформами хранения и обработки данных.• Опыт работы с реляционными СУБД (PostgreSQL, Oracle, Clickhouse, Greenplum).• Уверенное владение Git и понимание процессов CI/CD.• Опыт работы с системами управления задачами и документацией (Jira, Confluence или аналоги).• Понимание принципов построения отказоустойчивых и масштабируемых решений.• Опыт использования dbt для построения трансформационных слоев данных.• Практика внедрения Data Quality решений (Great Expectations, Soda и др.).• Опыт работы с Data Catalog и Data Governance инструментами.Задачи на проекте:• Проектирование, разработка и сопровождение масштабируемых решений по интеграции, обработке и хранению данных в корпоративной платформе данных.• Разработка и оптимизация batch- и streaming-пайплайнов для загрузки, трансформации и публикации данных.• Разработка ETL/ELT-процессов с использованием современных инструментов обработки данных.• Проектирование моделей данных для аналитических и операционных сценариев.• Оптимизация производительности процессов обработки данных и SQL-запросов.• Обеспечение качества данных: реализация механизмов валидации, мониторинга и контроля полноты данных.• Участие в проектировании архитектуры платформы данных и выборе технологических решений.• Внедрение и развитие практик DataOps и CI/CD для процессов обработки данных.• Подготовка технической документации и архитектурных артефактов.• Проведение код-ревью, техническое менторство и участие в развитии команды.Присылайте резюме и контактные данные на email: контакт скрыт