Парсер max.ru

Текст заказа

Парсер max.ru *Нужен парсер публичного каталога мессенджера MAX (max.ru)** Требуется сервис, который собирает все публичные каналы, чаты и боты из глобального каталога/поиска мессенджера MAX и складывает их в базу данных на моём сервере. **Что собирать по каждому объекту:** - тип (канал / чат / бот) - наименование - описание - ссылка (и username) - аватар — ссылка + локальная копия файла **Как должно работать:** 1. Первичный полный обход каталога — максимально полный охват, а не выборка. 2. Затем постоянный режим: находит новые объекты, обновляет изменившиеся. 3. **Без дублей** — дедупликация на уровне БД (уникальные индексы, upsert). 4. Очередь задач с сохранением прогресса: обход переживает перезапуск сервера и продолжается с места остановки. 5. Аккуратные запросы: настраиваемые лимиты, задержки, поддержка прокси. **Стек:** Python (или Node.js), PostgreSQL, Docker Compose, миграции, логи. Доступ к данным — напрямую в БД + простой REST с фильтрами по типу и дате появления. **Сдача:** код в репозиторий, развёртывание на моём сервере, readme по установке и настройке. **Важно:** официального API каталога, насколько мне известно, нет — первым этапом нужно исследование источника (как работает поиск и каталог в веб-клиенте) и PoC на ~100 объектов. Оплата поэтапно, первый этап — отдельно