Парсинг конкурентов: что собирают, что законно и что делать потом

Парсинг конкурентов собирает программой то, что соседи сами показывают любому посетителю сайта, цены, наличие, состав каталога и отзывы, и складывает всё в таблицу, которую руками набирали бы неделями. Парсер переписывает чужую витрину, а скидки менеджера и объёма продаж он не видит.

Сбор открытых страниц закон прямо не запрещает, граница проходит по объёму и по людям. Изготовитель базы данных по статье 1334 Гражданского кодекса вправе запрещать извлечение её существенной части, а телефоны посетителей чужих сайтов подпадают под закон о персональных данных.

Кроме этого разбираю на примере двух мебельных магазинов, как превратить выгрузку в деньги, какие вопросы задать себе после сбора и как отвечать на них быстрее, отдав черновую работу нейросети.

Что собирает парсинг конкурентов, а чего не увидит никогда

Парсер забирает только то, что сосед готов показать каждому, и в этом его сила и его граница. На карточке стола в интернет-магазине divan.ru цена лежит в коде страницы разметкой schema.org, 12 990 рублей и отметка «в наличии», магазин ставит её для поисковиков, а парсер читает ту же строку.

По моему опыту, между ценой на сайте и ценой в присланном на запрос предложении почти всегда лежит скидка, которую дают только голосом. Карточка тоже ещё не продажа, поэтому в анализе рынка и конкурентов выгрузка служит сырьём для таблицы соседей, но не выводом.

Законен ли парсинг конкурентов: где проходит граница

Несущественную часть чужой базы закон позволяет брать без разрешения, спор начинается там, где выгрузка превращается в копию этой базы. Статья 1334 ГК даёт изготовителю базы данных право запрещать извлечение её материалов. Базу от десяти тысяч самостоятельных элементов закон считает созданной с существенными затратами, пока не доказано иное, и каталог divan.ru в 10 370 карточек уже подходит. Статья 1335.1 оставляет пользователю право брать несущественную часть базы, но запрещает делать это неоднократно, если извлечение ущемляет законные интересы изготовителя.

Что говорят суды и robots.txt

Самый известный спор о парсинге итогового запрета не дал. В деле «ВКонтакте» против компании «Дабл» (А40-18827/2017) апелляция в июле 2021 года решила, что сбор профилей нарушил права изготовителя базы, но в сентябре 2022 года Суд по интеллектуальным правам этот акт отменил и утвердил мировое соглашение без признания нарушения. Файл robots.txt справка Яндекса описывает как параметры индексирования для роботов поисковых систем, а закона о его силе для прочих сборщиков нет.

Отсюда рабочее правило, собирать только поля под решение (цена, наличие, раздел), не обходить вход по паролю и защиту от роботов и держать темп не чаще запроса в две секунды, при котором 10 370 карточек обходятся за 5 часов 46 минут.

Парсинг номеров с сайтов конкурентов упирается в закон о персональных данных

Самый частый запрос о парсинге соседей касается телефонов людей, заходивших на чужой сайт. По Вордстату за последний месяц фразу «парсинг номеров с сайтов конкурентов» в точной форме искали 116 раз, а «парсинг цен конкурентов» только 44.

Номер, привязанный к конкретному человеку, закон относит к персональным данным, а обрабатывать их по общему правилу можно с его согласия. Обработка без письменного согласия там, где оно требуется, стоит компании от 300 до 700 тысяч рублей штрафа по части второй статьи 13.11 КоАП, а рекламный звонок закон о рекламе допускает только с предварительного согласия абонента.

Собственник хочет клиентов соседа, а получает список людей, которые ему согласия не давали, и отвечать за список придётся ему. Выход в том, чтобы собирать спрос, а не людей. Публичные отзывы о соседе показывают, чего его покупателям не хватает, и предложение под эту нехватку приводит тех же людей к вам уже с их согласием.

Живой пример: два мебельных каталога по открытым картам сайтов

Карты сайтов divan.ru и Hoff, которые я снял тридцатого сентября 2026 года, за несколько минут показывают, на чём держится каждый каталог.

В карте divan.ru для Москвы 10 370 карточек, и двенадцать самых частых типов в ней сплошь мебель, диваны (1 362 карточки, 13,1 %), кровати, кресла, тумбы, стулья. Подушки, первый текстиль в списке, появляются только семнадцатыми, со 167 карточками. У Hoff в двух файлах карты 68 774 адреса артикулов, в шесть с половиной раз больше, диванов среди них 3 944, то есть 5,7 %, а раздел товаров для дома (свет, текстиль, декор, посуда) забирает 25 825 адресов, 37,6 % каталога.

Каждый цвет и размер живёт в обоих магазинах по своему адресу, а карты разного охвата (московская и общая), поэтому я сравниваю только доли внутри этих двух карт.

Что делать с выгрузкой потом

По моему опыту, ценность выгрузки сидит в строках, где сосед отличается от обычного для рынка, а совпадения с остальными ничего не говорят. Если ни ассортиментом, ни ценами, ни другими видимыми действиями конкурент от остальных не отличается, стратегии за ним не видно, что бы ни писали в его пресс-релизах, и следить за ним каждую неделю незачем.

Здесь отличие видно сразу, один магазин уходит вглубь мебели, другой продаёт обстановку дома целиком, и владельцу мебельного салона в областном городе две доли задают два вопроса. Потянет ли он глубину диванов, когда у соседа их 1 362 варианта? И сколько выручки уходит, когда покупатель дивана идёт за шторами и светом туда, где они лежат рядом? Повторный сбор через квартал покажет, какая доля сдвинулась, а ритм сверки разобран в статье про мониторинг конкурентов.

Сколько стоит парсинг конкурентов и когда хватает рук

Разовый сбор бесплатен, деньги начинаются с расписания и со сверки карточек. Бесплатная версия Screaming Frog обходит до 500 адресов за раз, и каталогу небольшого соседа этого хватает. Подписки на сбор по расписанию в открытых прайсах начинаются с 2 495 рублей в месяц у Q-Parser, 5 950 у ALL RIVAL и 8 750 абонентской платы у Priceva.

Дороже всего в прайсе обычно обходится сопоставление ваших позиций с чужими. Ручная сверка стоит 3 рубля за товар у ALL RIVAL и 5 рублей за ссылку у Priceva, и для каталога в 10 370 карточек это 31 110 и 51 850 рублей (я бы сверял только позиции, пересекающиеся с вашими). Выбор между сервисом и агентством разобран в статье про услуги мониторинга конкурентов.

Где в парсинге ИИ снимает работу, а где подводит

Нейросеть хороша на двух скучных работах, и обе я отдаю ей без сомнений, сверку карточек двух каталогов по названию и характеристикам (ту самую, за 3–5 рублей с товара) и раскладку тысяч адресов по разделам.

Опасна она там, где на странице пусто. Пустое поле цены машина охотно заполнит, два цвета одной модели сольёт в один товар, и доля раздела уедет без единой ошибки в формулах. Законность она не решает вовсе, попросите обойти защиту от роботов, и код появится без вопроса. Что собирать и где граница, решает собственник, а каждую десятую пару сверки я бы проверял глазами.

Промпт: что изменилось у конкурента между двумя выгрузками

На вход идут две выгрузки каталога одного конкурента на разные даты и ваш прайс. Названия замените метками «Конкурент А», «Моя компания», коммерческую тайну и персональные данные в публичный чат не вставляйте. Подойдёт любая крупная модель, DeepSeek работает бесплатно и без VPN, ChatGPT и Claude мощнее, но с ограничениями доступа из России.

Роль. Ты аналитик ассортимента, работаешь только с приложенными таблицами и считаешь вслух.

Результат. Сводка изменений в каталоге конкурента между двумя датами в числах и процентах. Под каждой находкой готовая фраза для закупки или продаж на завтра.

Зачем. Мне нужно понять, что сосед поменял на самом деле, чтобы решать про свой ассортимент и цены по числам.

Подзадачи строго по порядку, к следующей не переходи, пока не закрыта предыдущая.
1. Сопоставь позиции двух выгрузок по артикулу, где его нет, по названию. Спорные пары выпиши отдельно и не считай.
2. Посчитай, сколько позиций добавилось, пропало и осталось, в штуках и в процентах от первой выгрузки.
3. Покажи долю каждого раздела на обе даты и сдвиг в процентных пунктах (рост доли с 10 до 12 % это 2 пункта).
4. По оставшимся позициям посчитай долю тех, у кого изменилась цена, и медианное изменение в процентах (половина изменений меньше медианы).
5. Сравни разделы конкурента с моим прайсом: где его доля заметно больше моей.
6. Дай три вывода и под каждым фразу, которую я скажу закупщику или продавцам завтра.

Нюансы. Говори числами, расчёт показывай. Если раздел назван по-разному, спроси, объединять ли. Пустое поле цены считай пропуском, а не нулём.

Рамки. Не выдумывай цены, продажи, остатки и причины решений конкурента. Мотивационные речи и рассуждения о важности опусти полностью.

Когда решение об ассортименте или ценах стоит дороже вечера со сверкой, исследование по открытым данным делает Довод, где я развиваю инструменты исследования рынка по открытым обсуждениям и поисковым запросам. Задачу можно описать в Telegram.

Коротко: главное из статьи

• Парсинг конкурентов собирает цены, наличие и состав каталога с открытых страниц, а цены сделки, продаж и остатков в выгрузке нет.
• Извлекать существенную часть чужой базы данных без разрешения нельзя, несущественную можно, но не многократно во вред изготовителю, статьи 1334 и 1335.1 ГК.
• Номера посетителей чужих сайтов относятся к персональным данным, обработка без требуемого письменного согласия стоит компании от 300 до 700 тысяч рублей штрафа.
• У divan.ru диваны занимают 13,1 % из 10 370 карточек, у Hoff 5,7 % из 68 774 при 37,6 % товаров для дома.
• Начальные тарифы трёх сервисов сбора по расписанию стоят 2 495, 5 950 и 8 750 рублей в месяц, ручная сверка 3–5 рублей за товар.

Частые вопросы