← Все заказы

Data Engineering Team Lead (Руководитель направления потоковой и пакетной загрузки данных )

Сбер

13 ч назад

Текст заказа

ИТ B2C - самая крупная экосистема в Сбере. Нас более 8000 человек в 18 городах России. Мы занимаемся разработкой и развитием розничных решений, помогая сделать сервисы Банка доступнее, безопаснее и удобнее.
Мы, команда офиса CDO B2C, строим платформу данных, которая обеспечивает быстрый, надежный и качественный обмен информацией между Сбером и компаниями-партнерами. Это основа для персонализированных предложений умных продуктов и эффективных бизнес-решений.
Наша команда - Команда развития Платформы в офисе CDO B2C ищет DE-инженера для реализации задач по загрузке, аналитике и трансформации данных.
Информационные технологии:Руководитель проектов
Контроль задач загрузки данных данных и координация работ
Курирование вопросов загрузки данных: анализ потребностей подразделений в загрузке данных, приоритизация и согласование состава источников и периметра загрузки;
Координация работ по загрузке данных между командой Data Engineer, заказчиками и смежными подразделениями: постановка и распределение задач, оценка трудозатрат, контроль сроков, снятие блокеров, разбор спорных технических решений;
Техническое ревью кода (Python/PySpark, Scala) и архитектурных решений команды, контроль соблюдения стандартов разработки;
Наставничество и развитие инженеров: онбординг, индивидуальные планы развития, участие в оценке сотрудников;
Участие в найме: формирование профиля кандидата, проведение технических интервью, оценка hard skills;
Взаимодействие с заказчиками, аналитиками, архитекторами и смежными командами: сбор требований к загрузке данных, согласование сроков и объёма работ;
Организация процесса разработки и поставки: code review, релизный цикл, контроль качества (тесты, CI/CD), разбор инцидентов и постмортем.
Контроль качества данных;
Технические задачи (hands-on)
Проектирование и реализация ETL/ELT-пайплайнов обработки больших данных (PySpark, Apache Flink);
Разработка и развитие архитектуры хранения и обработки данных в Hadoop-экосистеме (HDFS, YARN, Hive);
Проверка и оптимизация производительности Spark- и Flink-приложений, тюнинг параметров выполнения;
Настройка и сопровождение оркестрации workflows, интеграция источников данных в единую pipeline-архитектуру;
Документирование решений, стандартов и архитектуры, формирование базы знаний группы.
Опыт руководства командой разработки (10+ человек) или курирования направления загрузки данных: постановка и контроль задач, code/design review, наставничество, участие в найме;
Опыт в области корпоративных данных, DWH, ETL или «больших» данных;
Опыт реализации масштабных проектов по построению хранилищ и аналитических платформ;
Профильное владение Python (включая библиотеки для работы с данными);
Практический опыт разработки на Apache Spark (PySpark), опыт с Apache Flink;
Опыт работы в Hadoop-экосистеме: HDFS, YARN, Hive;
Глубокое понимание SQL, опыт работы с РСУБД и колоночными хранилищами (PostgreSQL, Greenplum и др.);
Практический опыт с Apache Airflow (создание DAG, настройка сенсоров и операторов);
Навыки администрирования Linux (развертывание, мониторинг, troubleshooting);
Опыт разработки архитектуры и внедрения решений в области работы с данными;
Понимание процессов разработки и поставки: code review, тестовые окружения, CI/CD, релизный цикл.
Плюсом будет:
Базовые знания Scala (или готовность к изучению);
Опыт работы со стриминговыми данными (Kafka, Debezium);
Опыт с облачными платформами и сервисами (AWS S3/Glue, GCP BigQuery, Azure Data Factory);
Навыки автоматизации инфраструктуры (Ansible, Terraform, Docker/Kubernetes);
Практический опыт с NiFi, BI-инструментами;
Участие в приемке продуктов и приемо-сдаточных испытаниях, работа с пилотными внедрениями;
Опыт управления распределённой или кросс-функциональной командой.
гибридный формат
ежегодный пересмотр зарплаты и годовая премия
расширенный ДМС и льготное страхование для семьи
уникальная система обучения Сбера для профессионального и карьерного развития
выгодная ипотека для сотрудников
подписка Прайм с возможностью совместного использования на трёх близких
вознаграждение за рекомендацию друзей в команду Сбера
корпоративная пенсионная программа.

Похожие заказы