Как собрать данные с сайта

Мультипарсер собирает данные с сайтов в таблицу. Вы один раз показываете расширению прямо на странице сайта, что собирать: список товаров, нужные поля, страницы списка. Сам сбор идёт на нашем сервере, а вы потом скачиваете готовый файл CSV или JSON.

Откройте сайт и нажмите значок расширения на панели браузера — появится панель Мультипарсера.
Пройдите вкладки слева направо: Страницы, Категории (если нужны), Карточки, Характеристики, Пагинация, Настройки.
Нажмите «Старт». Сбор идёт на сервере, вкладку можно закрыть.
Когда парсинг дойдёт до 100% и появится «Готово!», нажмите «Скачать».

Главное правило: всё, что вы выбираете на странице, выбирается Ctrl + клик левой кнопкой. Обычный клик работает как всегда: открывает ссылки, листает страницы. Красная рамка под курсором показывает, какой элемент будет выбран.

Настройки для одного сайта называются проектом и хранятся в вашем браузере. В проекте может быть несколько начальных страниц, например разные категории каталога. Та, с которой вы работаете сейчас, выбрана в списке «Нач. страница» вверху панели. Все вкладки относятся к ней.

Панель Мультипарсера на странице сайта — Панель открывается поверх сайта. Её можно двигать за заголовок и менять размер за правый нижний угол.

1Страницы

Здесь указывается страница, с которой начинается сбор. Обычно это категория каталога, результаты поиска или список объявлений.

Откройте нужную страницу сайта.
Щёлкните в поле «Адрес»: в него подставится адрес текущей страницы.
Впишите «Наименование», например «Книги». Оно нужно только вам.
Нажмите «Добавить». Страница станет активной и появится в списке «Нач. страница».

Кнопка «Del» в таблице удаляет страницу.

2Категории

Эта вкладка нужна, только если со стартовой страницы надо пройти по всем её подкатегориям. Например, со страницы «Книги» собрать все разделы: «Детективы», «Фантастика» и т. д. Пропустить вкладку можно, только если на стартовой странице уже есть карточки (список товаров, объявлений) и нужны именно они.

Отметьте «Учитывать структуру категорий».
На вкладке «Уровень 1» нажмите Ctrl + клик по ссылке любой подкатегории.
Расширение найдёт весь блок таких ссылок и покажет, сколько их.

Парсер возьмёт только подкатегории, которые лежат «внутри» адреса стартовой страницы. Ссылки общего меню сайта он не возьмёт.

Если у подкатегорий есть свои подкатегории, откройте любую из них обычным кликом и повторите выбор на вкладке «Уровень 2», а при необходимости — «Уровень 3». Кнопка «Удалить» сбрасывает выбор.

Вкладка «Категории»: выбрана ссылка подкатегории — Ctrl+клик по «Mystery» в списке слева: найдено 50 подкатегорий.

3Карточки

Карточка — один элемент списка: товар, объявление, статья, отель. Из карточек получатся строки таблицы.

Откройте страницу со списком.
Нажмите Ctrl + клик по ссылке любой карточки, обычно это её название или картинка.
Расширение найдёт все такие карточки на странице и покажет их число.

«Переходить по ссылкам»

Отмечено	Парсер открывает страницу каждой карточки и берёт поля оттуда. Так получается полнее (описание, характеристики), но дольше.
Снято	Поля читаются прямо из карточек в списке. Это намного быстрее и подходит, когда всё нужное видно в списке: название, цена, рейтинг.

Вкладка «Карточки»: выбрана ссылка карточки — Ctrl+клик по названию книги: на странице 20 карточек.

4Характеристики

Поля — это колонки будущей таблицы: название, цена, наличие, описание и т. д.

Где их выбирать:

если на «Карточках» отмечено «Переходить по ссылкам», откройте обычным кликом страницу любой карточки и выбирайте поля на ней;
если не отмечено, выбирайте поля прямо в карточке списка.

Для каждого поля:

щёлкните в поле «Схема» (широкое поле справа от «Наименования»);
нажмите Ctrl + клик по элементу на странице — в «Схеме» появится его описание;
впишите «Наименование» — так будет называться колонка;
нажмите «Добавить».

Поле «Схема» перед выбором элемента — Шаг 1: щелчок в поле «Схема» (оно пока пустое), курсор над ценой — красная рамка показывает элемент.

Выбор поля «Цена» — Шаг 2: Ctrl+клик по цене — «Схема» заполнилась; осталось вписать наименование и нажать «Добавить».

Какие клики что выбирают

`Ctrl` + клик	Элемент. Для абзаца выбирается весь текстовый блок. В таблице выбирается строка, а клик по заголовку столбца выбирает столбец.
`Ctrl` + `Shift` + клик	Вся таблица (то же делает кнопка «Вся таблица»).
`Ctrl` + `Alt` + клик	Ровно этот элемент, без расширения до блока.

Если Ctrl + Shift у вас переключает раскладку клавиатуры, нажимайте правые Ctrl и Shift или выберите таблицу кнопкой «Вся таблица». Эта кнопка появляется справа от поля «Схема», когда в таблице что-то выбрано: сначала нажмите Ctrl + клик по любой строке таблицы, затем «Вся таблица» (кнопка станет синей). Повторное нажатие снимает выбор всей таблицы.

Часть текста

В списке рядом с «Добавить» можно выбрать, что взять из элемента:

«Целиком» — весь текст элемента;
«Только сумма» и «Без суммы» — для текстов вроде «16 794 ₽ за весь период»: первое даст число, второе — подпись;
«Список» — все однотипные элементы через запятую, например размеры «40, 41, 42» или теги статьи.

Если у части карточек поле пустое

На разных карточках одно и то же поле бывает оформлено по-разному, например цена со скидкой. Откройте карточку, где поле не нашлось, и добавьте его ещё раз с тем же наименованием. Можно и кнопкой «+» в строке таблицы. Добавится запасной вариант, и парсер возьмёт тот, который найдёт значение.

Страница 2 и Страница 3

Если часть данных на странице карточки открывается кнопкой (например, «Характеристики и описание»):

перейдите на вкладку «Страница 2»;
щёлкните в «Ссылка на страницу» и нажмите Ctrl + клик по этой кнопке;
откройте блок и выберите поля внутри него.

Пять полей на вкладке «Характеристики» — Пять полей: название, цена, наличие, описание и таблица характеристик.

Как поля выглядят в файле

Сумма с валютой («£47.82», «2 593 ₽») записывается числом. Валюта идёт в соседнюю колонку поле_currency.
Таблица «ключ — значение» (две колонки: название и значение) записывается в одну ячейку строками «ключ: значение»:
```
UPC: a897fe39b1053632
Product Type: Books
Availability: In stock (19 available)
```
Таблица с несколькими столбцами (например, таблица размеров) записывается в одну ячейку построчно: первая строка — заголовки, ячейки разделены « | ». Можно взять всю таблицу, отдельные строки или столбцы:
```
Размер | Обхват груди | Обхват талии
44 | 88 | 70
46 | 92 | 74
```
В формате JSON таблицы остаются таблицами: «ключ — значение» — объектом, многоколоночная — списком строк.
Дата и время из разметки (например, «16 часов назад») записываются точным временем в часовом поясе вашего компьютера.

5Пагинация

Здесь вы говорите парсеру, как перейти к следующим карточкам списка. Выберите один из четырёх способов и нажмите «Сохранить».

Диапазон страниц

Подходит, если у страниц списка свои адреса (?page=2, /page-2.html).

Нажмите Ctrl + клик по ссылке «2» в нумерации страниц. Заполнится шаблон адреса: {} стоит на месте номера.
Укажите первую и последнюю страницу.
Проверьте пример адреса страницы 2 под полями.

Если страницы кончатся раньше последней, парсер остановится сам.

Если Ctrl+клик не сработал:

откройте страницы 2 и 3 обычным кликом, вставьте их адреса в поля ниже и нажмите «Построить шаблон»;
или впишите шаблон вручную.

«Шаг» нужен, когда в адресе не номер страницы, а позиция первого элемента: 30, 60, 90…

Вкладка «Пагинация»: шаблон page-{}.html — Ctrl+клик по ссылке «next»: шаблон `page-{}.html`, страницы 1–2.

Кнопка «Показать ещё»

Нажмите Ctrl + клик по кнопке. Парсер нажимает её, пока появляются новые карточки и не набран лимит.

Кнопка «Далее»

Для сайтов, где у страниц нет простых адресов. Нажмите Ctrl + клик по «›» или «Далее». Можно кликнуть и по номеру «2» — тогда на странице N будет нажиматься «N+1». Ограничьте число страниц в поле «Страниц, не больше».

Бесконечный скролл

Выбирать ничего не нужно. Парсер прокручивает страницу, пока подгружаются карточки. Если список кончился, а лимит не набран, он переходит по ссылке «следующая страница», если она есть.

6Настройки

Формат вывода	CSV — таблица для Excel и Google Таблиц. JSON — для программ; в нём таблицы остаются таблицами.
Убирать лишние пробелы	Несколько пробелов и переносы строк внутри текста заменяются одним пробелом.
Добавлять адреса страниц	Колонка `page_url` с адресом карточки.
Макс. число карточек	Сколько карточек собрать. 0 — без ограничения, но не больше лимита вашего уровня (см. ниже).

Нажмите «Сохранить».

Запуск и результат

Нажмите «Старт». Задание уйдёт на сервер, а под кнопками появится окошко, где видно, что сейчас делает парсер и сколько процентов готово. Сначала он собирает ссылки, потом обрабатывает карточки, затем готовит файл. Вкладку можно закрыть: сбор продолжится на сервере, а ход работы снова будет виден, когда вы откроете панель на этом сайте.

Когда в окошке появится «Готово! Файл можно скачать» и 100%, нажмите «Скачать». Придёт архив zip с файлом результата. Если какие-то карточки собрать не удалось, в архиве будет ещё файл …_failed.csv с их адресами и причиной.

Файл хранится 3 суток, потом удаляется. Кнопка «Удалить» удаляет из браузера проект этого сайта.

Файл результата — Результат: одна строка — одна книга.

Ограничения без регистрации

100карточек за запуск

1задание одновременно

20запусков в сутки

Нужно больше или регулярный сбор? Напишите на si2pars@gmail.com.

Частые вопросы

«Не удалось открыть страницы сайта» или «Сайт ограничивает доступ»

Сайт временно не пускает автоматический сбор. Попробуйте запустить парсинг позже.

«Парсер обнаружил защиту от ботов и переключился на другой режим»

Просто запустите парсинг ещё раз: он пойдёт в новом режиме. Это бывает один раз на сайт.

«Этот сайт пока не поддерживается»

У сайта особенно сильная защита от автоматического сбора, пройти её мы пока не можем.

«Не найдено ни одной ссылки на карточку»

Сайт, скорее всего, изменил оформление. Откройте вкладку «Карточки» и заново сделайте Ctrl+клик по ссылке карточки. Так же с подкатегориями на вкладке «Категории».

В колонке есть пустые значения

У части карточек поле оформлено иначе. Добавьте запасной вариант поля, как описано в разделе «Характеристики».

Собралось меньше карточек, чем ожидалось

Проверьте последнюю страницу на вкладке «Пагинация» и «Макс. число карточек» в «Настройках». Без регистрации за запуск собирается не больше 100 карточек.

Почему сбор идёт долго

При переходе по ссылкам парсер открывает каждую карточку отдельно, как человек. Без перехода, когда поля берутся прямо из списка, сбор намного быстрее.