SmartParse AI
▍AI-парсер маркетплейсов с дашбордом для селлеров.
Контекст
Селлеры на Wildberries и Ozon тратили по 8 часов в неделю на ручную выгрузку конкурентов и ценовой анализ. Существующие сервисы работали со скрапингом, который ломался раз в неделю.
Решили построить ML-индекс: одна модель распознавала структуру карточки на любой площадке, вторая — извлекала факты в нормализованной форме.
Задача
- 01Парсинг 4 маркетплейсов: WB, Ozon, Я.Маркет, Lamoda
- 02ML-нормализация карточек к единой схеме
- 03Дашборд селлера с алертами по цене и stock-out
- 04API для интеграции с 1С и Bitrix24
- 05AI-аналитика «почему конкурент выиграл выдачу»
Решение
Лента конкурентов
Все карточки конкурентов в одной ленте с дельтами по цене, остаткам, рейтингу. Сортировка по «угроза для вашей позиции».
AI-разбор позиции
Просишь объяснить, почему конкурент выше — модель сравнивает заголовок, инфографику, отзывы и тэги, выдаёт чек-лист правок.
Ценовые алерты
Push, telegram-бот, email — выбирай канал. Алерт срабатывает с правилом, а не просто по дельте.
Интеграции
Готовые коннекторы к 1С и Bitrix24 — выгрузка не вручную, а по расписанию. Открытый REST API с подписями HMAC.
Архитектура
Парсинг — пул Playwright-инстансов в Kubernetes, антибот-стратегия с ротацией прокси. Извлечение фактов через LLM с контролем выхода через JSON Schema.
Хранилище — ClickHouse для исторических цен (50G/день) + Postgres для сущностей. Дашборд читает только агрегаты, рейтинги OLAP-цепочкой.
Результаты
- карточек в индексе
- времени на анализ
- активных селлеров
- MRR через 4 месяца
Что не получилось с первого раза
- ✕Извлечение фактов сначала шло свободным промптом — LLM на каждой сотой карточке возвращала битый JSON, и ночные выгрузки падали. Зажали выход через JSON Schema, парсинг перестал ломаться.
- ✕Антибот-стратегию недооценили: WB начал отдавать капчу, и часть индекса протухала на сутки незаметно. Добавили ротацию прокси и алерт на проседание свежести данных.
Команда
Что дальше
- →Расширение на eBay и Amazon
- →AI-генератор инфографики карточек
- →Marketplace-агент для автоматических действий
