[IDEA]: Сбор дополнительных данных

[xamzov]

Описание предложения

Привет, воспользовался парсером, все работает , спасибо.
НО мне для использования необходимо расширить количество собранных данных.
При работе с недвижимостью важны параметры, которые располагаются прямо под фотографией объявления, раздел "О помещении".
Как можно дополнить парсер, чтобы он собирал эти данные (вход, общая площадь и пр.)?

[eminsk]

Привет @xamzov!

Реализовал этот функционал в PR #337:

• Парсер теперь умеет забирать все характеристики и параметры объекта (включая раздел «О помещении»: вход, площадь, этаж, отделка и др.);
• Данные экспортируются в Excel в отдельную колонку «Параметры» в структурированном виде (Вход: с улицы; Общая площадь: 120 м²; ...);
• Управляется параметром parse_params = true в config.toml (или попутно при парсинге просмотров/описания без лишних сетевых запросов).

Как только автор (@Duff89) посмотрит и сольёт пулл-реквест, функционал появится в основном проекте.

[xamzov]

Привет @eminsk ! Спасибо!

Подскажи, пожалуйста:

1. PR feat: сбор параметров и характеристик объявлений («О помещении» и др.) (fixes #335) #337 можно просто применить к текущей версии проекта без дополнительных изменений?
2. Он собирает параметры из карточки объявления без отдельного запроса к странице каждого объявления?
3. Правильно ли я понимаю, что params остаётся динамическим словарём и туда попадут любые доступные характеристики Avito, а не только заранее заданные поля?

Если PR уже полностью готов и протестирован, буду благодарен, если подскажешь, как лучше его подключить к текущей версии проекта.

[eminsk]

Привет @xamzov! Рад помочь!

Отвечаю подробно по твоим пунктам:

1. Да, полностью совместим без каких-либо доработок. PR сделан ровно поверх официального релиза v3.2.23. Никаких сторонних библиотек или изменений вручную ставить не нужно — всё уже заложено в кодовой базе.

2. По поводу запросов к карточкам:

   • В общей поисковой выдаче (каталоге) Авито блок «О помещении» и полные характеристики физически не отдает — они есть только в данных самой карточки.
   • Но в актуальной версии парсера для карточек используется легковесный мобильный JSON API (fetch_item_data), а не тяжёлая загрузка всей страницы через браузер.
   • Главное: если у тебя уже включен сбор просмотров (parse_views = true) или описания (parse_description = true), то параметры забираются попутно из того же самого запроса. Никаких повторных или лишних сетевых вызовов не делается. Если же просмотры и описание выключены, парсер обращается к карточке один раз только за характеристиками.

3. Да, абсолютно верно — словарь динамический. Я специально не стал жестко зашивать конкретные поля под одну категорию. Метод _extract_params на лету обходит все блоки характеристик (itemParams, aboutPremises, aboutRoom, parameters и др.) и вытаскивает любые доступные пары «ключ — значение»:

   • Для помещений: вход, площадь, этаж, отделка, отопление, высота потолков;
   • Для авто: пробег, коробка, двигатель;
   • Для техники: процессор, память и т.д.
     В Excel они автоматически выгружаются в новую колонку «Параметры» в читаемом виде через точку с запятой.

---

Как запустить прямо сейчас (не дожидаясь мержа автора):

Поскольку в тикете ты указал способ запуска EXE на Windows, я собрал готовый релиз:

📦 Скачать AvitoParser v3.2.24 (сборка EXE)

Инструкция:

1. Скачай архив AvitoParser_3.2.24.zip со страницы релиза и распакуй в удобную папку.
2. Запусти AvitoParser.exe и в блоке «⚙️ Поведение парсера» просто отметь галочкой:
   ☑️ Парсить характеристики
   (либо в config.toml установи parse_params = true).
3. Нажми «Старт». В итоговой таблице Excel колонка «Параметры» заполнится всеми характеристиками помещений.

(Если удобнее запускать из исходников через Git: gh pr checkout 337)