Исследование рекуррентных Transformer-энкодеров для текстовых эмбеддингов

Тема исследования: «Исследование эффективности рекуррентного переиспользования слоёв Transformer-энкодеров для построения текстовых эмбеддингов в условиях ограниченной памяти».
Ищу специалиста по Machine Learning / NLP (Python, PyTorch) для проведения небольшого экспериментального исследования архитектуры Transformer-энкодеров.
Цель исследования
Проверить возможность сокращения количества параметров и потребления памяти текстовой embedding-модели за счёт рекуррентного переиспользования Transformer-слоёв без существенной потери качества семантических представлений.
Архитектурный ориентир — Huginn (Recurrent Depth): модель содержит входные, повторяемые и выходные блоки. Повторяемые блоки многократно используются с общими весами, обеспечивая увеличение эффективной глубины без увеличения числа физических слоёв.
Основные исследовательские вопросы:
1. Можно ли сократить количество параметров модели без существенной потери качества эмбеддингов?
2. Как количество рекуррентных проходов влияет на качество эмбеддингов?
3. Помогают ли повторная подача входного представления (input injection) и гейтирование (gating) сохранять качество при увеличении глубины?
1. Реализация моделей
Необходимо реализовать компактный Transformer-энкодер с возможностью рекуррентного переиспользования слоёв.
Предполагается сравнить:
- Стандартный компактный Transformer-энкодер (например, 3 независимых слоя).
- Стандартный более глубокий энкодер (например, 6 независимых слоёв).
- Рекуррентный энкодер с повторным использованием слоёв.
Для рекуррентного энкодера необходимо проверить четыре конфигурации:
- Базовая рекурсия без дополнительных механизмов.
- Рекурсия с input injection.
- Рекурсия с gating.
- Рекурсия с совместным применением input injection и gating.
Желательно использовать единую реализацию с переключаемыми механизмами.
Для рекуррентных моделей предусмотреть изменение количества проходов (например, T = 1, 2, 4) без изменения обученных весов. Методика обучения должна учитывать возможность работы с разной глубиной.
Предпочтительно обучение собственных весов с нуля. Разрешается использовать готовые токенизаторы, открытые библиотеки и существующие архитектурные компоненты. Размер модели должен быть небольшим, достаточным для экспериментальной проверки гипотез.
2. Обучение и эксперименты
Использовать открытые текстовые данные и единую методику обучения моделей для получения семантических эмбеддингов.
Сравнение должно проводиться в сопоставимых условиях: одинаковые обучающие данные, функция потерь, токенизатор и условия оценки. Необходимо разделить обучающие, валидационные и тестовые данные.
Для оценки качества предлагается использовать открытую задачу семантического сходства русскоязычных предложений, например RuSTSBenchmarkSTS из MTEB, с метрикой корреляции Спирмена.
Необходимо измерить:
- Качество семантических эмбеддингов.
- Количество уникальных параметров каждой модели.
- Размер весов модели.
- Потребление оперативной памяти при инференсе.
- Время получения эмбеддингов.
- Зависимость качества от количества рекуррентных проходов.
- Влияние input injection и gating по отдельности и совместно.
Основной критерий эффективности — качество эмбеддингов при ограниченном объёме RAM.
Измерения памяти и скорости проводить в одинаковых условиях, учитывая полную модель, включая таблицу токенных эмбеддингов.
3. Анализ результатов
По результатам экспериментов необходимо:
1. Сравнить обычные и рекуррентные архитектуры по качеству, числу параметров и потреблению памяти.
2. Определить характер зависимости качества эмбеддингов от количества рекуррентных проходов.
3. Оценить влияние input injection и gating на качество при увеличении глубины.
4. Сформулировать выводы о преимуществах, ограничениях и практической применимости исследуемого подхода.
Результаты должны позволять отдельно ответить на каждый из трёх исследовательских вопросов.
4. Что требуется предоставить по итогам
- Исходный код моделей и экспериментов на Python/PyTorch.
- Обученные веса моделей и конфигурации.
- Скрипты для воспроизведения оценки качества, памяти и скорости.
- Таблицы с фактическими результатами (CSV/Excel).
- Графики сравнения качества, памяти и количества рекуррентных проходов.
- Сравнение влияния input injection и gating.
- Краткий исследовательский отчёт с описанием методики, результатов, выявленных закономерностей и ограничений.
- Инструкцию по запуску и воспроизведению результатов.
Важно получить объективные и воспроизводимые экспериментальные результаты.
Материалы планируется использовать как экспериментальную основу для последующей подготовки научной статьи совместно с научным руководителем.
Требования к исполнителю
Опыт работы с Python, PyTorch, Transformer-архитектурами и обучением NLP-моделей. Желателен опыт проведения сравнительных ML-экспериментов.
При отклике прошу кратко описать релевантный опыт, предварительную оценку реализуемости исследования, предлагаемый подход и стоимость выполнения.