Обновления NodeMaven: строим инфраструктуру для веб-операторов нового поколения

За последние несколько месяцев мы выпустили Браузер для скрейпинга, улучшили управление сессиями, переработали часть функционала ISP-прокси, добавили набор бесплатных инструментов диагностикии внесли длинный список улучшений «за кулисами».

Я мог бы просто дать вам список изменений, но лучше объясню, что привело нас к каждому обновлению.

Большая часть этой работы выросла из практических проблем, с которыми сталкивались наши пользователи. Несмотря на обилие продуктов для автоматизации браузера на рынке, им по-прежнему не хватало решения, достаточно гибкого для разных рабочих процессов. Мы продолжали работать над стабильностью прокси-сессий, особенно в длительных сценариях. Мы также увидели, что пользователям нужен более быстрый способ понять, почему запрос не прошёл, была ли это блокировка и не раскрылся ли их реальный IP. Так мы начали создавать бесплатный набор диагностических инструментов. NodeMaven быстро растёт, поэтому мы также уделили много времени работе над бэкендом: расширили мощности и укрепили инфраструктуру, чтобы поддержать этот рост и повысить отказоустойчивость.

Вот наши основные обновления за последние несколько месяцев.

Запуск браузера стал очевидной главной новостью

AI-агенты всё лучше справляются с планированием задачи и написанием кода для неё, но им по-прежнему нужно место, где этот код будет выполняться.

Открытый веб является сложной рабочей средой. Страницы отрисовывают контент с помощью JavaScript, кнопки появляются после сетевых запросов, сессии зависят от файлов cookie, а геолокация может менять то, какую страницу видит агент.

Недавно я поделился исследованием на X и LinkedIn. Система работала со скриншотами, а не с кодом страницы, и достигла точности 85.4% в тесте, охватывающем 16 классов CAPTCHA.

У операторов сайтов тоже есть веские причины внимательно изучать автоматизированный трафик. Отчёт Imperva 2026 Bad Bot Report, основанный на данных за весь 2025 год, показал, что на автоматизированный трафик пришлось более 53% всего веб-трафика, против 51% в 2024 году. Akamai зафиксировала в среднем 2.5 миллиарда запросов от AI-ботов в день в своей сети и сообщила, что трафик, связанный с AI, почти удвоился во второй половине 2025 года.

Это одни из причин, по которым мы разработали браузер для скрапинга NodeMaven. Он даёт агенту или разработчику облачный браузер с полным рендерингом JavaScript, трафиком через резидентные и мобильные прокси NodeMaven, согласованными настройками браузера и геолокации, постоянными профилями, поддержкой обработки CAPTCHA и инструментами для наблюдения за запуском и его отладки. Подробнее о том, почему мы объединили браузерный и прокси-уровни, я рассказал в этом посте в LinkedIn.

Вы можете написать AI-промпт, начать с шаблона или подключить Playwright и Puppeteer через CDP. Live Browser показывает, что происходит на странице. Скриншоты, записи, вывод консоли и структурированный JSON помогают, когда результат выглядит неверным.

Для пользователей, работающих с AI-агентами, мы недавно добавили кнопку скопировать промпт для настройки для вашего агента. Она копирует контекст настройки Scraping Browser из личного кабинета, готовый для вставки в агент вместе с задачей и требуемым результатом. Например, агент может пройти по каталогу товаров с большим количеством JavaScript, сохранить выбранную локацию и состояние сессии на протяжении всего запуска и вернуть нужные поля в формате JSON. Если чего-то не хватает, запись и вывод браузера дают отправную точку для отладки.

Scraping Browser доступен клиентам с активной подпиской на резидентные прокси. Для них нет отдельной платы за работу браузера при соответствии условиям. Сессии используют прокси-трафик из тарифного плана.

Улучшение закреплённых сессий

Мы также поработали над нашими Super Sticky Sessions. Когда клиент выбирает Сохраняйте IP-адрес как можно дольше, назначенный IP теперь сохраняется дольше. Это помогает в сценариях с авторизацией и многошаговыми браузерными процессами, где смена IP на полпути может означать, что всё придётся начинать заново. Настройка в личном кабинете остаётся прежней.

Если рабочему процессу нужен один и тот же IP в течение длительного времени, я обычно рекомендую наши ISP прокси. Тем не менее некоторые клиенты используют ротационные резидентские прокси и им нужно, чтобы IP оставался неизменным на протяжении сессии. Для таких случаев мы добавили опцию no-rotate . Если назначенный IP временно становится недоступен, NodeMaven ждёт его возвращения, вместо того чтобы переводить сессию на другой IP. Это позволяет избежать повторной верификации или полного перезапуска в многошаговом процессе с авторизацией.

Мы упростили управление ISP-прокси

Мы внесли несколько изменений в то, как поставляются и управляются пакеты ISP-прокси.

Перед поставкой новые пакеты ISP-прокси проходят наши внутренние проверки качества. Кроме того, клиентам доступна кнопка замены всего пакета в личном кабинете. Воспользоваться этим можно один раз для только что выданного пакета, без обращения в поддержку.

Мы переработали раздел ISP в личном кабинете : добавили заметки к заказам, поиск, более понятные сведения об IP и прямые проверки прокси. Мы также сделали подписки и автопродление удобнее в управлении.

Мы также заметили, что пропущенное ручное продление может прервать процессы, уже запущенные на этих IP. Поэтому мы добавили напоминания о продлении и 24-часовой льготный период после истечения срока, чтобы у клиентов было больше времени на продление пакета.

Заметка: Наша команда подробнее рассказала о проверках качества, управлении продлением и изменениях в разделе ISP личного кабинета в отдельной статье.

Улучшения инфраструктуры

Значительная часть нашей работы в этом цикле была связана с инфраструктурой, на которой работает продукт.

Мы расширили парк серверов, чтобы добавить больше мощности и резервирования, и переработали балансировку нагрузки чтобы трафик распределялся более равномерно. Это даёт сети больший запас мощности в периоды пиковой нагрузки и уменьшает узкие места.

Мы также продолжили усиливать безопасность на сетевом уровне и внедрили ограничение скорости чтобы защитить качество сервиса и обеспечить справедливый доступ к общим ресурсам по мере роста трафика.

Команда устранила утечку ресурсов в одном из ключевых бэкенд-сервисов, которая могла постепенно ухудшать производительность при длительной работе. Её устранение сокращает замедления и неожиданные перезапуски, помогая сервису работать стабильно на протяжении долгого времени.

Мы также оптимизировали взаимодействие между прокси-слоем и нашей инфраструктурой кеширования и сессий. Это снижает лишнюю нагрузку на бэкенд и обеспечивает более быстрый отклик и более высокую пропускную способность.

Это одна из моих любимых работ, которые наша команда выполнила за последние несколько месяцев. В личном кабинете не появилось новых настроек, но эти изменения дают нам больше мощности в пиковые периоды трафика и более стабильную производительность под нагрузкой.

Заметка: Подробнее об этом наша команда рассказала в посте об улучшениях инфраструктуры в нашем блоге.

Бесплатные инструменты диагностики прокси и браузера

Недавно я задал вопрос на X : когда ваш скрапер блокируют, что вы вините в первую очередь, прокси или браузер?

Первое, что я проверяю, это прямое подключение. Если тот же запрос не проходит и без прокси, замена прокси вряд ли решит проблему. Тогда я смотрю на браузер, машину, на которой запущен скрипт, путь DNS и сам целевой сайт.

Мы опубликовали шесть бесплатных браузерных инструментов , чтобы такие первичные проверки проходили быстрее:

• Прокси-чекер проверяет, отвечает ли прокси, измеряет скорость соединения и передачи данных и сравнивает объём полученных байтов с трафиком, который насчитал прокси-провайдер. Это помогает выявить случаи, когда заявленное потребление выше фактически переданных данных.
• Тест на утечку WebRTC проверяет, не раскрывает ли браузер другой сетевой адрес через WebRTC.
• Тест на утечку DNS показывает, какие резолверы обрабатывают запрос.
• IP-адрес возвращает местоположение, ASN и сетевые данные для IP.
• Скрейпер мета-тегов считывает заголовок, описание, Open Graph и другие метаданные страницы.
• Проверка соединения сравнивает то, что сообщает браузер, с тем, что видят серверы по HTTP, WebRTC и HTTP/3. Это помогает выявить утечки реального IP, подмену WebRTC и несоответствия соединения, которые стандартная проверка IP может пропустить.

За последние несколько месяцев мы также опубликовали больше наших наработок на NodeMaven GitHub.

Наш открытый бенчмарк прокси прогоняет одни и те же целевые сайты через контролируемые комбинации браузерных движков, путей прокси, стран и хост-машин. В качестве контроля он включает прямое подключение , и каждый вывод ссылается на данные прогонов, хранящиеся в репозитории. Любой может воспроизвести анализ или запустить бенчмарк со своим прокси. Аккаунт NodeMaven для этого не требуется.

Мы также открыли исходный код полного Проверка соединения, включая его фронтенд и бэкенд. Он распространяется под лицензией MIT и подходит для самостоятельного хостинга, так что пользователи могут изучить, как работают проверки, или запустить инструмент на собственной инфраструктуре.

Ещё несколько обновлений

За тот же период вышло ещё несколько обновлений:

• Личный кабинет резидентных прокси теперь имеет более понятный таргетинг и проверку качества в реальном времени, прежде чем клиенты запустят крупную задачу.
• Эндпоинты API для получения списков теперь могут возвращать до 1 000 записей за запрос вместо 100. Мы также добавили фильтр доступности для поиска локаций со свободной ёмкостью.
• Страницы ISP-прокси и резидентных прокси в личном кабинете были переработаны, чтобы заказы, локации и статус было проще просматривать.
• Клиенты, выбирающие Россию при оформлении заказа, могут оплатить поддерживаемыми картами российских банков или через YooMoney, при условии текущей доступности платёжных методов.

Дальше: инфраструктура и пользовательский опыт продукта

Я ожидаю, что значительная часть нашей дальнейшей работы будет сосредоточена на укреплении инфраструктуры по мере роста NodeMaven, работе над новыми продуктами и упрощении использования существующих продуктов.

Мы продолжим инвестировать в ёмкость и надёжность. В личном кабинете мы хотим, чтобы настройка, управление аккаунтом и устранение неполадок требовали меньше шагов и меньше обращений в поддержку.

Если вы уже пользуетесь NodeMaven, попробуйте новые настройки сессий, обновлённый раздел ISP, или бесплатных инструментов диагностики в рабочем процессе, который вы хорошо знаете.

Короткие заметки о прокси-инфраструктуре, скрапинге, автоматизации браузера и уроках, которые стоят за этими релизами, я публикую в X под ником @StanSadokov и LinkedIn.