Текст заказа
Тимлид команд Data Pipelines Execution/Data Quality
Компания: Авито
Город: Москва, удалённая работа или гибрид
О команде: Юнит развивает инструменты оркестрации и исполнения пайплайнов, а также решения для контроля качества данных.Команда отвечает за 2 направления:платформу оркестрации и исполнения пайплайнов: ежедневный расчёт критичных витрин данных и датасетов, наблюдаемость, восстановление после сбоев, систему тестов витрин и инструменты контроля объектов в рантайме;инструменты Data Quality: data contracts, DQ incidents и инструмент пересчёта исторических данных. Команда покрывает витрины техническими чекерами и сопровождает работу с DQ-инцидентами.Тимлид команды работает с продуктовыми партнёрами: вместе с ними определяет приоритеты и ожидаемые результаты. В зоне ответственности роли — развитие людей, инженерные решения и выполнение согласованных планов.Основные партнёры команды — Business Data Engineers, инфраструктурные команды, BI-функция и аналитические команды. На старте важно принять управление и знания о критичных сервисах, сохранив непрерывность работы по обоим направлениям. Какие задачи вас ждут: управлять людьми и командамиразвивать инженеров: проводить 1:1, давать обратную связь, формировать индивидуальные планы развития, проводить Performance & Talent Review, работать с мотивацией и результативностью;определять необходимые компетенции команд, участвовать в найме и онбординге;делегировать технические направления опытным инженерам и развивать лидеров внутри команд;организовать передачу контекста от текущего тимлида, закрепить владение сервисами и снизить зависимость от отдельных носителей знаний.2. управлять процессами и эксплуатациейобеспечивать прозрачность и предсказуемость разработки: планирование, code review, тестирование, безопасные релизы и мониторинг результата;организовывать дежурства и Incident & Problem Management: восстановление работы, разбор инцидентов, устранение первопричин и выполнение профилактических действий;управлять балансом между развитием продуктов, надёжностью, техническим долгом и оперативными запросами;делать загрузку команд, риски и последствия изменения приоритетов понятными для инженеров и стейкхолдеров.3. управлять продуктом и целямисовместно с продакт-менеджерами и пользователями формировать бэклоги и планы развития команды, связывать квартальные цели с конкретными инженерными изменениями;оценивать результат через готовность критичных данных, покрытие дата-контрактами и время разрешения DQ-инцидентов;разделять вклад команды и зависимости от инфраструктуры, источников и владельцев витрин;согласовывать планы и границы ответственности с BDE, BI и инфраструктурными командами, включая обработку инцидентов и передачу новых зон ответственности.4. развивать техническое направление:прорабатывать архитектуру оркестрации, исполнения, репликации, контроля качества и пересчётов;принимать решения о развитии существующих сервисов;обеспечивать корректность зависимостей и повторных запусков, управляемое восстановление, наблюдаемость и безопасность изменений для критичных пайплайнов;сохранять техническую экспертизу на уровне сеньор-инженера — проводить design review и code review, участвовать в сложной диагностике и проверке технических гипотез, делегируя реализацию командам.Технологический контексторкестрация и исполнение: собственная разработка компании на Go и Python;качество и пересчёты: собственная разработка компании на Go и Python;разработка: SQL, Go, Python, Git, CI/CD, автоматизированные тесты, мониторинг и алерты;хранение и обработка: DWH на Vertica и Trino с CEPH, PostgreSQL, Redis, MongoDB в сервисном контуре. Примеры будущих задач: выявить причины задержек на критическом пути регламента, сформировать план изменений в исполнении и автоматическом восстановлении, сократить среднедневное отставание готовности L1;спроектировать отделимые инстансы графов и регламентов: определить границы изоляции и безопасный план внедрения с проверкой зависимостей и восстановления;принять систему тестов витрин: закрепить владельцев, сопровождение и развитие проверок на входе, согласовать её связь с рантайм-контролем и DQ;вместе с BI-функцией определить критичные витрины L1 доменов без BDE, расширить покрытие дата-контрактами и закрепить маршрутизацию обнаруженных нарушений;связать обнаружение DQ-проблемы, диагностику, исправление и пересчёт данных в понятный процесс, который сокращает время разрешения DQ-инцидентов;ускорить процессы разработки и поддержки сервисов за счёт внедрения AI-элементов. Мы ждем, что вы: управляли инженерной командой сопоставимого масштаба — примерно 5–10 человек;отвечали за найм, развитие, обратную связь, результативность и поставку изменений;умеете вести несколько технических направлений, делегировать задачи опытным инженерам и строить процессы, которые не требуют постоянного ручного контроля руководителя;имеете опыт разработки и эксплуатации продакшен-сервисов или data-платформ;умеете организовать работу с инцидентами и довести устранение первопричин до результата;понимаете распределённые системы, DWH, ETL/ELT, графы зависимостей, оркестрацию, повторные запуски и пересчёты;различаете надёжность платформы, своевременность расчёта и качество данных, умеете выстраивать работу по каждому направлению;обладаете технической экспертизой на уровне сеньор-инженера, уверенно работаете с SQL и сервисным кодом;имеете опыт работы с Python или Go, CI/CD, тестированием и наблюдаемостью;умеете вместе с продакт-менеджером превращать проблемы пользователей в приоритетный бэклог и измеримые цели;умеете разрешать конфликты приоритетов и принимать решения при изменении вводных;умеете внедрять AI-элементы для повышения удобства и производительности сервисов. Будет здорово, если вы: управляли несколькими командами или стримами;развивали оркестраторы, Data Quality-инструменты, дата-контракты или системы безопасного пересчёта данных. Работа у нас — это: возможность развиваться в сильной команде лидеров и помогать расти другим;чёткая матрица компетенций с прозрачными ожиданиями на всех уровнях;инженерная свобода для реализации масштабных задач;расширенная забота о здоровье: ДМС, страхование жизни, онкострахование;сервис психологической поддержки, а также финансовые, юридические и ЗОЖ-консультации для вас и ваших близких;корпоративный спорт: групповые тренировки, велбиинг-приложение;спецпредложения от партнёров и скидки на сервисы Авито: бронирование жилья, услуги продвижения, ипотечное страхование;компенсация питания.