Как правильно подойти к вопросу: может, у кого-то есть дампы с реальными наименованиями товаров/услуг и кодами ОКПД2 для обучения NLP-модели?

Ссылка скопирована
1 ответ

По вводным: собираю датасет для обучения модели по классификации текста (наименования товаров/работ/услуг → код ОКПД2).
Нужны пары в формате:

  1. Код: 74.90.20.149
  2. По вводным: наименование: Оказание услуг по технической защите конфиденциальной информации

Сейчас ситуация такая: особенно нужны реальные наименования из контрактов, каталогов, спецификаций, а не просто справочники кодов.
Уже проверял:

  1. По вводным: парсить ЕИС (zakupki.gov.ru) — много дублей
  2. ГИСП — мало разнообразия
  3. По вводным: aPI clearspending.ru — лимиты

Может, у кого-то есть:

  1. По вводным: дампы/архивы с госзакупок (выгрузки, торренты)
  2. По вводным: свои собранные датасеты (готовые, на GitHub/Kaggle)
  3. По вводным: опыт парсинга B2B-площадок (типа Фабрикант, Пульс цен) или API торговых площадок
  4. По вводным: выгрузки из 1С с привязкой к ОКПД2

По вводным: ищу любые рабочие источники или советы. Поделитесь, если сталкивались!
Заранее спасибо.

Нужно решить такую задачу?

Опишите проблему, и специалист поможет с настройкой, исправлением ошибки или доработкой сайта. Подберём понятный план работ без лишней переписки.

Заказать помощь
Лучший ответ
1
Кирилл JS Ответ

Для датасета “наименование товара/работы/услуги → ОКПД2” лучше всего подходят реальные позиции из закупочной документации, контрактов, спецификаций и КТРУ, но их нужно чистить. Если просто парсить ЕИС, действительно получите много дублей и шум: одинаковые формулировки, мусорные строки, лоты без нормальной детализации, разные версии одного и того же текста.

Источники, которые стоит смотреть:

  • ЕИС/zakupki.gov.ru: контракты, позиции, спецификации, планы-графики;
  • КТРУ как справочник нормализованных позиций;
  • Clearspending как дополнительный слой, если хватает лимитов;
  • региональные порталы открытых данных;
  • архивы FTP/выгрузки ЕИС, если найдёте актуальные;
  • внутренние выгрузки 1С/ERP, если есть право использовать данные.

Ключевой этап — не сбор, а нормализация. Нужно удалить дубли, привести к нижнему регистру, убрать номера партий, даты, лишние характеристики, но не потерять важные признаки. Например, “услуги по технической защите конфиденциальной информации” и “оказание услуг по защите информации” могут относиться к близким кодам, а “поставка кабеля” и “монтаж кабеля” — уже разные типы закупки.

Я бы строил датасет так:

  1. Собрать много сырых пар.
  2. Оставить только строки, где код ОКПД2 задан явно.
  3. Сгруппировать по коду и удалить почти одинаковые тексты.
  4. Сбалансировать классы, иначе модель выучит только популярные коды.
  5. Оставить source_id и ссылку на источник для аудита.

Для модели лучше сначала классифицировать не полный код до последнего знака, а иерархически: раздел → класс → группа → подгруппа. Так меньше ошибок на редких кодах и проще объяснять результат.

Итог: готовый идеальный дамп найти сложно, но рабочий датасет собирается из ЕИС + КТРУ + контрактных позиций. Главное — дедупликация, балансировка и хранение источников. Без этого модель будет показывать высокую точность на дублях, но плохо работать на новых реальных формулировках.

Другие ответы (0)

Пока нет других ответов. Будьте первым, кто поможет автору.

Ответить на вопрос

комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Вам также может быть интересно