Скрапер Rightmove: как извлечь данные о недвижимости шаг за шагом

Скрапер Rightmove может собирать из результатов поиска URL объектов, цены, адреса, количество спален, типы недвижимости и названия агентств. Затем он может открывать отдельные объявления, чтобы получить описания, форму владения, площадь, ближайшие станции и другие детали.

В своей презентации с итогами 2025 года, Rightmove сообщает примерно о 10 000 загружаемых объектов в день. При таких объёмах ручная проверка быстро становится затруднительной. Автоматизированный сбор данных помогает поддерживать в актуальном состоянии исследования рынка недвижимости, мониторинг объявлений и внутренние наборы данных.

В этом руководстве показано, как создать скрапер Rightmove с помощью браузер для скрапинга NodeMaven, его шаблона Недвижимость и AI-промпта на обычном языке. В результате вы получаете структурированный JSON, а для основного пошагового разбора не требуются знания программирования.

Заметка: Опубликованные Rightmove Условия использования запрещают использование ботов, краулеров, скраперов и других средств автоматизированного сбора данных без предварительного письменного согласия юридического отдела. Следуйте этому руководству только при наличии разрешения на автоматизированный доступ и с соблюдением условий сайта и применимых правил защиты данных.

Хотите собирать данные о недвижимости без поддержки браузерной инфраструктуры?

Попробуйте NodeMaven Scraping Browser с 750 MB за $3.50. Здесь без платы за использование браузера, вы платите только за прокси-трафик.

Попробовать сейчас

Краткий обзор

Первые три варианта используют браузер для скрапинга NodeMaven. Это разные способы работы с одним и тем же управляемым браузером. Четвёртый вариант представляет собой отдельный подход с самостоятельным управлением, основанный на прямых запросах к авторизованному JSON-эндпоинту.

Приведённое ниже руководство следует рабочему процессу AI Prompt. Разработчики могут применить те же принципы выбора страниц, пагинации, сессий и валидации в шаблоне кода или в существующем скрапере, подключённом через CDP. Читатели, которые предпочитают создать и поддерживать собственный скрапер на Python, могут воспользоваться руководством по скрапингу через API по ссылке.

Можно ли скрапить Rightmove?

Вы можете выстроить технический веб-скрейпинг процесс, но Rightmove ограничивает автоматизированный сбор данных в соответствии со своими действующими Условия использования. 

Общедоступная информация об объектах недвижимости по-прежнему подпадает под условия договора с сайтом. Прежде чем запускать скрапер Rightmove, убедитесь, что письменное разрешение охватывает автоматизированный доступ, извлечение, хранение и любое запланированное отображение контента Rightmove или ссылки на него. Условия также ограничивают ссылки на внутренние страницы и прямое использование ресурсов платформы без согласия. Хранение и использование данных также должны соответствовать правилам защиты данных Великобритании.

При наличии разрешения скрапер может собирать поля, которые отображаются в карточках поиска и на страницах объектов, в том числе:

• ID объекта и URL объявления
• Цена и уточнение цены
• Отображаемый адрес
• Количество спален и ванных комнат
• Тип недвижимости
• Описание и ключевые характеристики

Контактные данные и другие персональные данные требуют более строгого обращения, чем базовые сведения об объявлении. Определите, какие поля действительно нужны проекту, как долго они будут храниться и кто будет иметь к ним доступ.

Более подробный обзор разрешений, прав на базы данных, персональных данных и условий использования сайтов вы найдёте в нашем руководстве по законам о веб-скрапинге. NodeMaven’s скрапер недвижимости также рассказывает об общих преимуществах прокси для рабочих процессов с данными о недвижимости на различных порталах объявлений.

Как Rightmove загружает данные о недвижимости?

Информация об объектах недвижимости Rightmove может находиться в отрисованных элементах страницы, встроенных JavaScript-данных и внутренних запросах , которые использует поисковый интерфейс сайта. Точная структура может меняться, поэтому изучите актуальную страницу, прежде чем выбирать способ извлечения данных.

Как страницы отдельных объявлений используют PAGE_MODEL

На страницах отдельных объектов недвижимости обычно доступен JavaScript-объект с именем window.PAGE_MODEL. В зависимости от версии страницы он может содержать ID объекта, адрес, цену, описание, характеристики, информацию об агенте, изображения и данные о местоположении.

PAGE_MODEL является наблюдаемой деталью реализации, а не документированным публичным интерфейсом. Rightmove может переименовать его, изменить его структуру или перенести поля в другое место. Для рабочего процесса в продакшене нужны проверки на отсутствующие поля и способ обнаруживать изменения структуры.

Как работают внутренние поисковые запросы Rightmove?

Поисковый интерфейс Rightmove может загружать данные объявлений через внутренние JSON-запросы. Такие запросы иногда называют «поисковым API Rightmove», но они являются частью сайта, а не документированным публичным сервисом. Технический анализ может выявить параметры для местоположения, индекса результата, размера страницы, канала продажи или аренды, диапазона цен и фильтров по количеству спален.

Ответ может содержать записи об объектах, количество результатов и информацию о пагинации. Это делает прямое извлечение JSON привлекательным, когда авторизованному проекту нужна меньшая HTTP-нагрузка.

Однако, внутренний поисковый эндпоинт не является документированным публичным API объявлений Rightmove. Форматы запросов могут меняться без предупреждения, а прямой запрос всё равно может зависеть от файлов cookie, заголовков или состояния сессии, созданного сайтом.

Если вы хотите изучить JSON-эндпоинт и разобрать его ответ с помощью Python, наш руководству «веб-скрапинг или API» показывает этот процесс шаг за шагом. Остальная часть этой статьи посвящена Scraping Browser, который объединяет рендеринг страниц, поддержку прокси, решение CAPTCHA, навигацию, настройки сессии и визуальную отладку в одном рабочем пространстве.

Создаёте собственный скрапер и хотите меньше сбоев?

Протестируйте предварительно отфильтрованные резидентные и мобильные прокси NodeMaven с 750 МБ трафика за $3.50.

Попробовать сейчас

Как скрапить Rightmove с помощью NodeMaven Scraping Browser

В следующем пошаговом руководстве используется AI Prompt в NodeMaven Браузер для скрейпинга. Вы описываете целевую страницу, действия в браузере и нужные поля. Scraping Browser запускает браузер и возвращает структурированный JSON.

Если вы предпочитаете код, тот же Playground поддерживает Playwright, Puppeteer и Vanilla JavaScript. Существующие приложения на Playwright и Puppeteer могут подключаться к запущенному браузеру через CDP. Смотрите документация для получения дополнительной информации.

Шаг 1: Подготовьте отфильтрованный поиск на Rightmove

Откройте Rightmove и создайте именно тот поиск, который нужен вашему проекту. Выберите объекты для продажи или аренды, укажите местоположение, задайте радиус и примените фильтры. Среди них могут быть:

• Минимальная и максимальная цена
• Минимальное и максимальное количество спален
• Тип недвижимости
• Период добавления на сайт
• Обязательные характеристики
• Параметры включения и исключения

Скопируйте URL готового поиска. Если начинать с готового URL, первая автоматизация будет проще, поскольку браузеру не нужно заполнять форму поиска.

Для первого запуска соберите только три объявления с одной страницы. Так проще сравнить каждую JSON-запись с карточкой объекта, прежде чем добавлять пагинацию.

Шаг 2: Откройте шаблон для недвижимости

Откройте Scraping Browser в личном кабинете NodeMaven. На экране Overview есть готовые шаблоны для e-commerce, обогащения B2B-данных, недвижимости и мониторинга цен.

Выберите Недвижимость и нажмите Быстрый старт. Playground открывается с подготовленной автоматизацией. Слева расположены редактор и переключатель технологии, а Live Browser отображается справа.

Вы можете один раз посмотреть, как выполняется шаблон, прежде чем менять его. Видно, как открывается страница, можно проследить отдельные шаги, изучить сообщения консоли и просмотреть структурированный результат. Это даст вам эталон успешной сессии.

Чтобы пройтись по всем разделам личного кабинета, используйте полное Руководство по NodeMaven Scraping Browser.

Шаг 3: Настройте сессию браузера для Великобритании

Открыть Customize browser из раздела Overview или используйте раздел Customization перед запуском сессии.

Для поиска на Rightmove используйте следующие стартовые настройки:

браузер для скрапинга NodeMaven согласует часовой пояс, локаль, геолокацию и сетевые настройки с выбранной локацией прокси. Вы также можете таргетировать UK прокси по региону, городу, ISP или ZIP-коду, если выбранный пул прокси это поддерживает.

Используйте одну закреплённую сессию для связанного поискового сценария. Ротация IP между первой и второй страницей может сбросить непрерывность, которую сайт связывает с сессией.

Scraping Browser также предлагает поддерживаемую обработку CAPTCHA и опциональную блокировку ресурсов. Во время первого теста оставьте необязательные настройки по умолчанию. Добавляйте их по одной после того, как базовый сценарий начнёт возвращать точные данные.

Шаг 4. Напишите AI-промпт для Rightmove

Переключиться на AI-промпт в Playground. Точный промпт должен включать URL поиска, количество записей, шаблон ссылок, поля и требуемый формат вывода.

Для первого теста используйте этот вариант:

Замените плейсхолдер на ваш отфильтрованный URL, затем нажмите Запустить промпт. Live Browser покажет действия браузера, а панель результатов вернёт извлечённый JSON.

Шаг 5. Проверьте первые три объявления

Не добавляйте больше страниц, пока первые три записи не будут корректными. Сравните JSON с видимыми карточками Rightmove и проверьте:

• ID объекта: Он должен совпадать с числом в URL вида /properties/{id}.
• Цена: Сохраняйте уточнения, такие как «guide price», «offers over» и периодичность аренды.
• Адрес: Убедитесь, что он взят из той же карточки, что цена и URL.
• URL: Сохраняйте абсолютный URL, а не относительный путь.
• Отсутствующие поля: Недоступное значение должно быть пустой строкой.
• Дубликаты: Промо-карточки и повторяющиеся карточки не должны создавать ещё одну запись для одного и того же ID объекта.

Числовой ID объекта подходит для дедупликации лучше, чем адрес. Адрес может быть отформатирован по-разному, тогда как URL объявления обычно сохраняет один и тот же ID.

Сохраните тестовую запись с датой, типом поиска, настройками браузера, количеством запрошенных объявлений и количеством полученных. Это даст вам точку отсчёта на случай, если Rightmove изменит макет страницы.

JSON будет выглядеть так:

Шаг 6: Добавьте детали отдельных объектов

Когда извлечение данных из карточек поиска станет точным, расширьте промпт так, чтобы браузер открывал каждый сохранённый URL. Запрашивайте только те поля, которые нужны проекту.

Добавьте следующие инструкции:

Открытие страниц с деталями увеличивает время сессии и расход прокси-трафика, поэтому первый тест делайте небольшим. Если некоторые поля есть только у определённых типов объектов, оставляйте их пустыми, а не угадывайте значения.

Шаг 7: Экспортируйте результат или перенесите процесс в код

Скачайте структурированный результат или передайте его в ваше утверждённое хранилище, систему аналитики или мониторинга. Используйте ID объекта в качестве первичного ключа записи, чтобы при последующем запуске существующее объявление обновлялось, а не создавался дубликат.

Разработчики могут воссоздать тот же процесс в шаблоне Playwright, Puppeteer или Vanilla JavaScript внутри Playground. Если у вас уже есть скрапер, подключите его к Scraping Browser через Browser API и CDP. Принципы работы с сессиями остаются теми же, но селекторы, действия, ожидания и валидацию результата всё равно нужно реализовать и протестировать в вашем коде. См. руководство по Scraping Browser для пути разработчика.

Как работать с пагинацией на Rightmove?

Для пагинации следует использовать одну закреплённую сессию, дедупликацию по ID объекта и явные правила остановки. Сначала соберите и проверьте одну страницу результатов, а затем постепенно расширяйте промпт.

Добавьте инструкции, похожие на эти:

Поле source_page помогает отследить пропущенные или дублирующиеся записи. Если третья страница возвращает неожиданный результат, вы знаете, какой шаг навигации нужно повторить в Live Browser.

Для крупных проектов разбивайте широкие поисковые запросы на небольшие группы. В качестве границ подходят район, почтовый индекс, ценовой диапазон, тип недвижимости, а также канал продажи или аренды. Небольшие поисковые запросы проще возобновлять, и они реже повторяют одно и то же объявление на нескольких страницах результатов.

Внутренние поисковые запросы Rightmove могут использовать значение индекса для обозначения смещения результатов. Это полезно при изучении того, как сайт разбивает результаты на страницы, но в рабочем процессе из этого руководства используется видимая кнопка Next. Так поведение браузера и страница, показанная в Live Browser, остаются согласованными.

Как настроить прокси и сессии для скрапинга Rightmove

Использование одна стабильная сессия в Великобритании для каждого связанного поискового потока. Используйте ротацию между независимыми задачами, а не между последовательными страницами одного и того же поиска.

Начинайте с низкой параллельности и размеренной навигации. Понаблюдайте за первыми сессиями в Live Browser, прежде чем увеличивать объём. Если страница возвращает экран проверки, пустые карточки или неожиданную локацию, остановитесь и проверьте состояние браузера, а не повторяйте запрос сразу.

Прокси-соединение, отпечаток браузера, файлы cookie, настройки локации и паттерн навигации попадают на сайт вместе. NodeMaven Scraping Browser использует резидентский и мобильные прокси. с его IP-фильтр качества, геотаргетингом, закреплёнными сессиями и согласованными настройками браузера. Для поиска недвижимости в Великобритании это даёт браузеру единообразное британское сетевое и браузерное окружение.

Вы можете использовать NodeMaven резидентские прокси с Playwright, Puppeteer, Selenium, а также другие инструменты для скрапинга и вне Scraping Browser. Наше ротации прокси руководство объясняет, когда закреплённые соединения и соединения с ротацией подходят для разных сценариев сбора данных.

Ни одна конфигурация прокси или браузера не гарантирует доступ к каждому сайту, и прокси не заменяет разрешение от целевого сайта.

Запустите рабочий процесс без создания браузерной инфраструктуры

браузер для скрапинга NodeMaven объединяет облачный браузер, высококачественные прокси NodeMaven, управляемые настройки браузера, AI-промпты, шаблоны кода, поддерживаемое решение CAPTCHA и инструменты отладки в одном продукте.

За среду выполнения браузера не взимается отдельная плата для клиентов с активной подпиской NodeMaven Rotating Residential Proxy. Вы платите только за трафик прокси с ротацией, переданный во время сессии. AI-промпты, Live Browser, поддерживаемое решение CAPTCHA и записи сессий включены без дополнительной платы.

Новые клиенты могут начать с платного пробного периода за $3.50, который включает 750 MB трафика резидентных и мобильных прокси. Далее тарифы на резидентные и мобильные прокси с ротацией начинаются от $2.20 за GB. Актуальные тарифы смотрите на странице цен NodeMaven , а актуальные лимиты в руководство по Scraping Browser , чтобы узнать актуальные лимиты.

Хотите собирать данные о недвижимости без поддержки браузерной инфраструктуры?

Попробуйте NodeMaven Scraping Browser с 750 MB за $3.50. Здесь без платы за использование браузера, вы платите только за прокси-трафик.

Попробовать сейчас

Есть ли у Rightmove официальный API?

У Rightmove есть официальный Real Time Data Feed, но он обслуживает только одобренных партнёров, которые отправляют объявления и управляют ими. Это не публичный поисковый API для выгрузки базы объектов недвижимости Rightmove.

Зона Спецификация Rightmove Real Time Data Feed описывает аутентифицированные вызовы для добавления, обновления и удаления объектов. Она также охватывает списки объектов по филиалам, продукты, отчёты об эффективности и отчёты по лидам. Для доступа требуется сеть, настроенная Rightmove, и учётные данные для аутентификации, выданные авторизованной стороне.

Так возникают три отдельных понятия:

Исправление типичных ошибок скрапера Rightmove

Большинство ранних сбоев связаны с таймингом, сопоставлением полей, пагинацией или настройкой сессии. Live Browser и записи сессий показывают страницу, которую автоматизация получила на самом деле.

Когда появляется ошибка, сначала пересмотрите запись сессии и только потом редактируйте промпт. Отсутствующее поле и отсутствующая страница требуют разных исправлений. Консоль, скриншот, структурированный результат и запись помогут понять, что именно произошло.

FAQ