Текст заказа
Мы развиваем Marketing DWH — хранилище данных для маркетинга Яндекса. Нам нужен дата‑инженер, который поможет пересобрать архитектуру хранилища. Это нужно, чтобы аналитики и ИИ‑агенты могли находить нужные витрины, понимать, как рассчитаны показатели, и проверять результаты.
Пересборка архитектуры хранилища
Вы будете разбираться, как данные движутся от источников до витрин, обновлять модели данных и переносить на них расчёты. Вам предстоит устранять дублирование, ускорять запросы и проверять, как изменения сказываются на результатах расчётов и расходе ресурсов.
Настройка работы ИИ‑агентов
Вы будете настраивать поиск витрин и доступ к маркетинговым данным, а затем проверять, как агенты справляются с реальными аналитическими задачами. Например, агент должен сравнить две кампании: подобрать сопоставимые данные, верно рассчитать показатели и указать источники, чтобы результат можно было воспроизвести.
Правила Data Governance
Вы будете вместе с коллегами определять, кто отвечает за данные в маркетинговом домене, как описывать витрины и какие требования предъявлять к их качеству и свежести. Затем поможете внедрить правила на практике — например, добавите автоматические проверки в пайплайны и настроите оповещения об отклонениях.
Переход к расчётам в реальном времени
Вы поможете перевести часть расчётов на потоковую обработку: определите, для каких сценариев данные нужны с минимальной задержкой, и спроектируете обработку событий.
Больше о разработке в Яндексе — в канале Yandex for Developers
Уверенно пишете на SQL и Python
Разбираетесь в причинах проблемы, сравниваете варианты и можете объяснить, почему выбрали конкретное решение
Самостоятельно доводите задачу до реализации и проверяете, что решение работает как задумано
Работали с Kafka или другими системами обмена сообщениями и понимаете, как устроена потоковая обработка
Писали на C++
Внедряли практики Data Governance, развивали каталог данных или автоматизировали проверки качества
Подключали ИИ-агентов к источникам данных или оценивали качество их ответов
У нас есть направление R&D, к которому можно подключиться. Мы проверяем, как структура данных, описания витрин и способы доступа влияют на скорость и точность работы агентов. Например, можно сравнить несколько вариантов описания одной витрины и посмотреть, при каком из них агент чаще выбирает правильный источник. Подходы, которые показывают результат на реальных задачах, можно внедрить в Marketing DWH.