Парсинг: что это такое и где применяется

Маркетологу нужно узнать цены на тысячу товаров конкурентов, а сео-специалисту проверить сотни ссылок на сайте — причем не за неделю, а за десять минут. Справиться с такой задачей помогает парсер — специальная программа-скрипт, которая обходит интернет-страницы и собирает информацию в удобном формате. Разбираемся, что значит парсить сайты и какие инструменты для этого используют.

Что такое парсинг

Парсинг — это автоматизированное извлечение информации из веб-ресурсов, документов, файлов или других источников. Программа-парсер находит в массиве данных нужные элементы, извлекает информацию и сохраняет результаты. Полученный результат сохраняют в файле Excel, CSV, JSON или загружают прямо в базу данных.

Например, во время SEO-аудита парсер обходит страницы сайта, собирает технические данные и группирует найденные особенности. Специалист видит, какие URL требуют дополнительной проверки. 

Зачем нужен парсинг

Цены поставщиков публикуют в каталогах или прайс-листах, сведения о компаниях — в открытых реестрах, вакансии — на специальных площадках. Программа позволяет парсить эти данные из десятков источников и сопоставлять их гораздо быстрее, чем это можно сделать вручную. 

Парсинг применяют в разных задачах. Вот несколько примеров:

• SEO-специалист проверяет веб-ресурс. Автоматический обход позволяет найти битые ссылки, дубли и страницы сайта, которые возвращают ошибку.
• Маркетолог собирает предложения конкурентов по стоимости, условиям доставки, ассортименту. Такой массив данных полезен для анализа рынка.
• Контент-менеджер обновляет большой каталог по прайс-листам поставщиков. Парсер считывает из файлов названия, характеристики, цены и остатки, сопоставляет позиции с карточками на сайте и передает новые значения в систему управления каталогом. Каждую карточку не приходится редактировать вручную. 
• Агентство недвижимости изучает предложения в разных районах. Парсер собирает с платформ с объявлениями стоимость объектов, площадь, адрес, дату публикации и другие характеристики, а затем приводит к единому виду.
• HR-специалист анализирует рынок труда. На агрегаторах вакансий парсер находит нужные позиции и вытаскивает из них названия должностей, требования к кандидатам, зарплатные вилки и условия работы. Все данные автоматически сводятся в одну таблицу.

Какие типы данных можно парсить

Перед запуском специалист указывает, какие сведения программа должна спарсить. Они могут быть разными:

Как работает парсинг: алгоритм сбора данных

Процесс парсинга состоит из нескольких шагов.

Сначала специалист указывает адреса источников, выбирает необходимые поля и определяет частоту проверки. Без этих настроек инструмент заберет лишние сведения или, наоборот, пропустит важные значения.

Далее программа выполняет несколько действий:

1. Получает содержимое. Она открывает указанные страницы, загружает файлы или обращается к API.
2. Находит требуемые значения. На этом этапе программа должна распарсить страницу. Парсер разбирает ее содержимое и выделяет необходимые сведения.
3. Обрабатывает результат. Сначала программа получает значения в том виде, в котором они указаны в источниках. Например, на одном ресурсе цена записана как «54 990 ₽», на другом — «54990», а на третьем — «54 990,00 руб.». Парсер убирает обозначения валют и лишние пробелы, приводит числа к единому формату, а повторяющиеся записи удаляет. 
4. Выгружает сведения. Готовый результат передается в таблицу или аналитическую систему. 

Программа понимает содержание не так, как человек, а действует по заданным правилам. Если владелец сайта изменит верстку, прежнее правило поиска перестанет вести к искомому полю, например к артикулу или названию позиции. Поэтому перед полноценным запуском обработку проверяют на нескольких адресах, а в готовом массиве — отслеживают пропуски и нетипичные значения.

Виды парсинга

Единой классификации парсинга нет, но можно разделить его на виды по формату исходного материала и способу получения информации.

По формату исходных данных

От формата, в котором источник передает информацию, зависит, как инструмент находит ее. Например, он может разобрать разметку страницы, прочитать готовые поля, просмотреть строки таблицы или распознать текст на изображении.

HTML-парсинг. Программа разбирает код веб-страницы и извлекает содержимое отдельных элементов: заголовков, ссылок, таблиц, товарных карточек. 

Чтобы найти необходимые элементы среди тысяч строк кода, программе задают инструкции — CSS-селекторы или XPath. Это специальный синтаксис, с помощью которого указывают признаки элемента: тег, класс, id или его расположение в структуре страницы. 

Например, CSS-селектор может выглядеть как .product-card .price — так парсер поймет, что нужно найти цену внутри карточки товара. CSS-селекторы обычно проще в использовании и подходят для типовых задач, а XPath — более гибкий язык запросов, который позволяет искать элементы даже по тексту внутри них или по сложным условиям. 

Парсинг JSON и XML. Эти форматы часто используют в ответах API, товарных фидах и выгрузках из информационных систем. Значения в них распределены по ключам или тегам. Например, в JSON стоимость товара может храниться так: "price": 1990, а в XML — так: <price>1990</price>. Парсер читает заданную структуру и выбирает нужные поля, например название позиции, артикул, стоимость или остаток. 

Парсинг таблиц. При работе с CSV и Excel инструмент обращается к определенным строкам, столбцам или ячейкам — например, ищет колонку с ценой или артикулом по названию заголовка. С помощью парсера удобно объединять прайс-листы от нескольких поставщиков в один каталог, сверять остатки на складе или выгружать данные для отчетов.

Парсинг текстов и документов. В статьях, отзывах и описаниях сведения не распределены по заранее заданным полям. Их выделяют по шаблонам или с помощью алгоритмов для обработки естественного языка. 

PDF-файлы содержат обычный текст или сканы страниц. Во втором случае программа сначала использует технологию оптического распознавания OCR, чтобы найти текст, а затем обрабатывает его.

По способу получения информации

Перед обработкой программа получает содержимое источника. Это делается одним из двух способов.

Прямой запрос. Инструмент обращается по указанному адресу и получает ответ сервера, например HTML-код или файл. Этот способ подходит, если сведения передаются сразу, а не загружаются на страницу через скрипты. Он работает быстрее и расходует меньше ресурсов, так как программе не приходится запускать браузер.

Получение через браузер. Программа открывает ресурс, выполняет скрипты и при необходимости имитирует действия пользователя: прокручивает страницу, переключает вкладки или нажимает кнопку «Загрузить еще». Так обрабатываются сайты, где часть содержимого появляется постепенно. Этот способ требует больше времени и вычислительных ресурсов.

Плюсы и минусы парсинга

Автоматический сбор полезен, когда нужно регулярно просматривать много страниц или объединять сведения из нескольких источников. Но у него есть и ограничения.

К преимуществам парсинга относятся:

• Экономия времени. Программа за короткий срок обрабатывает объем, на который при ручной работе потребовались бы часы или дни.
• Работа с большими объемами. Парсер умеет последовательно просматривать тысячи карточек, документов или строк и собирать из них заданные показатели.
• Регулярное обновление. Сбор можно запускать по расписанию: например, каждый день проверять стоимость товаров или раз в неделю искать новые объявления.
• Единый формат результата. Информацию из разных источников можно привести к общей структуре и выгрузить в CSV, Excel, базу данных или систему аналитики.
• Меньше ручных ошибок. При копировании вручную легко пропустить строку, перепутать значения или поставить лишний знак. Автоматизация снижает количество таких ошибок.

Из недостатков парсинга можно отметить:

• Затраты на первоначальную настройку. Инструменту нужно задать адреса, поля, порядок перехода между страницами и формат выгрузки. Для небольшой разовой задачи подготовка может занять больше времени, чем ручной сбор. Сложные сценарии требуют участия разработчика.
• Нет гарантии полной точности. После изменения HTML-разметки, адресов или API прежние правила перестают находить необходимые элементы. Поэтому работу инструмента необходимо проверять, а настройки — обновлять.
• Технические ограничения. Площадки устанавливают лимиты запросов, используют капчу и системы защиты от автоматической активности. Если обращаться к страницам слишком часто, сайт может начать отвечать медленнее или вовсе заблокирует доступ. 
• Правовые ограничения. Открытая публикация не всегда означает, что сведения разрешено собирать и использовать без условий. Надо учитывать пользовательское соглашение, авторские права, требования к работе с персональными данными.

Законен ли парсинг в 2026 году

Законность парсинга зависит от того, как компания получает доступ к данным, какие сведения собирает и как их потом использует.

Когда парсить можно, а когда это нарушает закон

Сам по себе автоматический сбор общедоступных сведений не запрещен (ст. 7 закона от 27.07.2006 № 149-ФЗ). Но компания не должна обходить авторизацию и другие средства ограничения доступа. А дальнейшее использование информации не должно нарушать закон и права других лиц. Меньше всего рисков возникает при обработке собственного ресурса или сборе сведений с согласия владельца площадки. Он может закрепить это в соглашении с компанией или открыть автоматический доступ к данным через API.

Даже если сведения опубликованы открыто, это не означает, что разрешено спарсить эти данные в любом объеме. Например, фотографии и тексты могут охраняться авторским правом.

Ст. 1334 ГК РФ защищает права изготовителя базы данных — компании, которая организовала сбор, обработку и систематизацию информации. Без ее разрешения нельзя извлекать и использовать весь массив или его существенную часть.

Отдельные требования установлены для персональных данных. Публикация имени, телефона, электронной почты или адреса в открытом профиле не дает безусловного разрешения переносить эту информацию в новую базу. Для обработки необходимо основание по ст. 6 и 10.1 закона от 27.07.2006 № 152-ФЗ.

Владелец сайта также может разместить файл robots.txt с техническими инструкциями для автоматических программ. Директива Disallow в файле robots.txt указывает, какие разделы владелец просит не обходить автоматически. Но эта директива сама по себе не устанавливает юридический запрет.

Исход спора о парсинге зависит от доказательств 

В российском праве нет общего разрешения или запрета на парсинг, но споры из-за автоматического сбора данных периодически доходят до судов. Дела заканчиваются по-разному. Все зависит от того, какие сведения использовались и какими доказательствами стороны подтвердили их происхождение.

Например, в деле № А56-5216/2020 ситуация обстояла так. Владелец ресурса regmarkets.ru создал базу Goods Online. Для тематических подборок товаров он формировал теги — словосочетания, которые входили в адреса отдельных страниц. Позже такие же теги, в том числе с одинаковыми опечатками, обнаружили в URL другого ресурса — yavitrina.ru. 

Даты индексации показали, что «Яндекс» почти всегда раньше находил regmarkets.ru с этими тегами. Суд признал копирование существенной части базы, обязал владельца yavitrina.ru удалить спорные ссылки и взыскал с него 5 млн рублей.

По-другому закончился спор «ВКонтакте» с разработчиком Double Data, который  собирал данные из открытых профилей в соцсетях и использовал для оценки кредитоспособности заемщиков. «ВКонтакте» посчитала, что компания извлекала материалы из охраняемой базы без разрешения.

Спор по делу № А40-18827/2017 продолжался несколько лет, и решение неоднократно пересматривалось. Ответчик утверждал, что индексирует открытые страницы, но не создает копию исходной базы. В 2022 году стороны заключили мировое соглашение, которое утвердил Суд по интеллектуальным правам. Так что окончательного вывода о допустимости подобной обработки суды не сформулировали.

Как парсить сайты: популярные инструменты

Чтобы парсить сайты, специалисты используют готовые программы, браузерные расширения или самописные скрипты. Подходящий инструмент выбирают с учетом задачи, объема данных, технических навыков.

SEO-парсеры

SEO-парсеры применяют для технического аудита веб-проектов и сбора данных из поисковой выдачи.

Parsering. Сервис через API собирает органические результаты Google и Яндекса по заданным запросам. В ответе указывает позиции страниц, их адреса, заголовки и описания. Можно выбрать регион, глубину выдачи до топ-100, десктопную или мобильную версию, а для Google — дополнительно получить данные из AI Overview. Благодаря API результаты можно передавать во внутреннюю систему мониторинга или аналитики.

У Parsering есть и универсальный модуль для работы с веб-страницами. Он загружает содержимое сайтов, поддерживает прокси и распознавание капчи, возвращает HTML, текст, HTTP-заголовки или скриншот. Новые пользователи получают 1000 пробных кредитов на 30 дней, после чего можно выбрать подходящий платный тариф. 

Screaming Frog SEO Spider. Проверяет ссылки, редиректы, метатеги, заголовки и другие элементы страниц. Краулер находит дубли, неработающие URL, разделы, закрытые от индексации. Для извлечения отдельных значений предусмотрены CSS-селекторы, XPath, регулярные выражения. Бесплатная версия позволяет просканировать до 500 URL.

SiteAnalyzer. Российский парсер, который проверяет ссылки, редиректы, метатеги, структуру разделов, находит дубли. SiteAnalyzer рассчитывает внутренний PageRank и показывает, как ссылочный вес распределяется между страницами. Для сбора информации применяются CSS-селекторы, XPath, XQuery, регулярные выражения. У программы есть бесплатная версия. 

A-Parser. Подходит для массового и регулярного извлечения сведений. С его помощью изучают поисковую выдачу, частотность запросов, позиции сайта, сведения из картографических сервисов. 

В платформу A-Parser встроено более 110 готовых парсеров. Каждый модуль работает с определенной поисковой системой, сервисом или типом страниц и собирает предусмотренный набор данных. Например, один получает сниппеты из выдачи, другой — характеристики товаров, третий — адреса организаций. Разработчики также могут создавать собственные модули на JavaScript. Бесплатной версии A-Parser нет, но программу можно протестировать в деморежиме. 

Универсальные парсеры

Универсальные парсеры подходят для работы с каталогами, объявлениями, публикациями, отзывами. Одни решения автоматически распознают структуру страницы, другие следят за обновлениями, а третьи позволяют создавать собственные модули.

Octoparse. Визуальный парсер, который автоматически находит группы однотипных элементов, например карточки товаров. Пользователь отмечает, что извлечь: названия, характеристики или ссылки. Решение поддерживает пагинацию и бесконечную прокрутку. Для популярных площадок, например Google Maps или YouTube, в Octoparse предусмотрены готовые шаблоны.

Browse AI. Онлайн-сервис, который позволяет настроить парсер без программирования. Пользователь показывает роботу, какие элементы надо извлечь и какие действия выполнить. Задание можно запустить один раз или настроить регулярную проверку. Во втором случае сервис по расписанию собирает данные, сравнивает их с предыдущими результатами, а затем сообщает об изменениях, например о снижении цены.

Apify. Платформа с готовыми модулями для автоматизации, каждый из которых предназначен для своей задачи. Один извлекает характеристики из товарных карточек, другой получает адреса или отзывы из картографического сервиса, третий собирает комментарии из соцсети. Если подходящего модуля нет, разработчик создает собственный на Python или JavaScript. 

У Octoparse, Browse AI и Apify есть бесплатные тарифы, но они рассчитаны на тестирование или небольшие задачи. 

Парсеры контактов

Эти решения помогают находить опубликованные электронные почты, телефоны, адреса компаний, контакты сотрудников.

Hunter. Находит корпоративные электронные адреса, связанные с доменом или названием компании. Среди них могут быть почты отдельных сотрудников и общие адреса отделов. Сервис проверяет, существует ли почтовый домен и принимает ли сервер письма на конкретный ящик.

Outscraper. Платформа составляет списки организаций из Google Maps по категории и локации. В выгрузку входят названия компаний, адреса, телефоны, сайты, рейтинги. Дополнительный модуль Outscraper обходит сайты найденных организаций, собирает размещенные на них электронные адреса и ссылки на страницы компаний в соцсетях. 

У Hunter и Outscraper есть бесплатные лимиты, но при регулярном поиске контактов потребуется перейти на платный тариф.

Браузерные расширения

Расширения часто используются для разовой выгрузки, когда не нужно устанавливать отдельную программу или настраивать облачную платформу. 

Instant Data Scraper. Расширение для Chrome анализирует HTML-код и автоматически находит однотипные блоки, например строки таблицы или карточки товаров. Затем Instant Data Scraper распределяет названия, цены, ссылки и другие сведения по столбцам. Пользователь может переименовывать или убирать ненужные колонки.

Инструмент последовательно обрабатывает страницы каталога или списка, а также поддерживает бесконечную прокрутку. Готовую таблицу можно сохранить в CSV или Excel. Instant Data Scraper бесплатен, подходит для быстрой выгрузки без ручной настройки селекторов.

Web Scraper. Пользователь отмечает элементы щелчками и составляет схему обхода сайта. В ней можно задать последовательный маршрут: открыть каталог, перейти в карточки товаров, извлечь из каждой нужные данные. Web Scraper работает с многоуровневыми разделами, пагинацией и содержимым, которое появляется после выполнения JavaScript. 

У сервиса есть платная облачная версия, в которой задания можно запускать по расписанию, а результаты — автоматически передавать в другие системы. 

Data Miner. Расширение для Chrome и Edge предлагает библиотеку готовых правил для популярных ресурсов. В каждом правиле задано, какие элементы страницы собирать, в какие столбцы помещать полученные данные. Готовый вариант можно запустить сразу или изменить под свою задачу. 

Data Miner также умеет переходить по ссылкам, последовательно обрабатывать страницы каталога или списка, например автоматически нажимать кнопку «Далее». Результат можно выгрузить в CSV или Excel. Бесплатный тариф рассчитан на обработку до 500 страниц в месяц, но часть доменов на нем недоступна. 

Самописные скрипты

Если готовый парсер не подходит для конкретной задачи, разработчики могут написать собственный скрипт. В коде они задают, какие страницы обойти, что извлечь, в каком формате сохранить результат.

Например, библиотеки Requests и Beautiful Soup используют, если данные содержатся в исходном HTML-коде страницы. Requests получает этот код, а Beautiful Soup находит в нем названия, характеристики или ссылки. 

Фреймворк Scrapy подходит для регулярного обхода больших каталогов. Разработчик задает правила, какие ссылки находить, по каким из них переходить, что извлекать. После запуска фреймворк управляет запросами, повторно отправляет их при сетевых сбоях, а результаты сохраняет в JSON, CSV или XML. 

Библиотеки Playwright или Selenium применяют, если искомая информация появляется на странице только после выполнения JavaScript или действий посетителя. Эти инструменты управляют браузером с помощью кода: нажимают кнопки, прокручивают каталог, заполняют поля.

Что в итоге

Парсинг полезен, когда нужно регулярно проверять сотни страниц, отслеживать цены конкурентов, находить битые ссылки или собирать сведения для SEO-аудита. 

Программа-парсер обходит заданные URL, извлекает информацию и сохраняет ее в удобном для обработки виде, например в таблице.

Для разовой выгрузки подойдет браузерное расширение. Нужно регулярно парсить — значит, лучше выбрать сервис с запуском по расписанию. Если страницы приходится обходить по нестандартным правилам или сразу обрабатывать результаты, программисты часто пишут собственные скрипты. 

Полученные данные проверяют на пропуски и ошибки, а затем на их основе принимают решения, например корректируют метатеги или стратегию продвижения.

Часто задаваемые вопросы

• Что такое парсинг и зачем он нужен?

  Парсинг — автоматизированный сбор данных и их преобразование в удобный формат. Парсер обходит сайт, чтобы найти заданные элементы, например названия, контакты или ссылки. Затем программа переносит их в таблицу или базу.

  В SEO технологию используют для анализа поисковой выдачи, проверки метатегов, внутренних ссылок, поиска дублей, битых URL. Также с ее помощью можно отслеживать цены, вакансии, ассортимент конкурентов, собирать отзывы.

• Парсинг — это законно?

  Сам по себе парсинг не запрещен, но программа должна:

  • работать только с открытыми страницами;

  • не обходить техническую защиту;

  • не создавать чрезмерную нагрузку на ресурс.

  Также необходимо учитывать пользовательское соглашение, авторские права, права владельца базы, требования к обработке персданных.

• Можно ли парсить данные с сайтов?

  Да, парсить информацию с сайтов можно, если она опубликована в открытом доступе. Например, программа может получать характеристики товаров или сведения о компаниях.

  Перед запуском нужно проверить правила ресурса, а также файл robots.txt. Он показывает пожелания владельца по автоматическому обходу, но сам по себе не служит разрешением на использование содержимого.

  Если у площадки есть официальный API, лучше получать данные через него. Они передаются в структурированном виде, а правила и лимиты запросов заранее известны.

• Как не получить блокировку при парсинге?

  Полностью исключить блокировку нельзя, но ее риск снижается, если парсер не создает чрезмерную нагрузку на ресурс. Для этого запросы отправляют с паузами, ограничивают число одновременно обрабатываемых страниц и не загружают данные повторно без необходимости.

  Если сервер отвечает кодом 429, работу следует приостановить на время, указанное в заголовке Retry-After. Не стоит обходить капчу, менять IP-адреса ради снятия ограничений или продолжать обход после прямого запрета владельца.