Первый
кешбэк
на прокси-рынке
Превращайте использованный трафик в прокси-кредиты
для дальнейшего
использования
Приветственный
подарок на $100+
- Фильтры качества и скорости
- ZIP-таргетинг
- Персональный прокси-эксперт
Эксклюзивная гарантия качества
Получайте $1 каждый раз, когда наш прокси не работает так, как
обещано
Проверьте или установите Python
Откройте терминал и выполните:
python --versionЕсли вы видите номер версии, Python уже установлен.
В противном случае:
- Перейдите на официальный сайт Python
- Скачайте последнюю стабильную версию
- Запустите установщик и завершите настройку
Установите BeautifulSoup и Requests
Установите библиотеки, необходимые для скрапинга на Python:
pip install beautifulsoup4 requestsRequests загружает веб-страницу, а BeautifulSoup разбирает HTML уже после загрузки.
Если вы хотите использовать SOCKS5:
pip install "requests[socks]"Requests поддерживает SOCKS-прокси через эту дополнительную зависимость.
Создайте папку для вашего проекта
В вашем терминале:
mkdir beautifulsoup_nodemaven_project
кд beautifulsoup_nodemaven_projectВ этой папке будет находиться ваш проект по скрапингу на Python.
Создать папку скриптов
Создайте отдельную папку для ваших скриптов BeautifulSoup:
mkdir исходный
кд исходныйХранение скриптов скрапинга в отдельной папке упрощает расширение проекта в будущем.
Создайте скрипт BeautifulSoup с прокси
Создать файл с именем:
beautifulsoup_proxy.pyЭтот скрипт загрузит веб-страницу через прокси NodeMaven, а затем разберет ответ с помощью BeautifulSoup.
Добавить конфигурацию прокси
Вставьте этот код:
Импорт запросы
от bs4 Импорт BeautifulSoup
url = "https://example.com"
прокси = {
"http": "http://YOUR_USERNAME:YOUR_PASSWORD@gate.nodemaven.com:8080",
"https": "http://YOUR_USERNAME:YOUR_PASSWORD@gate.nodemaven.com:8080"
}
response = запросы.get(
url,
прокси=прокси,
тайм-аут=30
)
soup = BeautifulSoup(response.text, "html.parser")
print(soup.заголовок.get_text(strip=True))Заменить YOUR_USERNAME и YOUR_PASSWORD with your NodeMaven proxy credentials.
Requests accepts proxy settings through the прокси argument, including authenticated proxy URLs.
Для SOCKS5 используйте соответствующий SOCKS5-прокси NodeMaven address:
прокси = {
"http": "socks5://YOUR_USERNAME:YOUR_PASSWORD@HOST:PORT",
"https": "socks5://YOUR_USERNAME:YOUR_PASSWORD@HOST:PORT"
}
Запустить скрипт
С исходный папка:
python beautifulsoup_proxy.pyЕсли все настроено правильно, скрипт загрузит веб-страницу через прокси и выведет ее заголовок.
Затем этот же процесс можно расширить и извлекать с помощью BeautifulSoup информацию о товарах, цены, ссылки, отзывы, тексты статей и другие HTML-данные.
Резидентские прокси
Настоящие домашние IP с ротацией и статичными сессиями. Поддержка HTTP(S) и SOCKS5 с гибкой оплатой за GB для масштабируемого скрапинга на Python и работы с прокси в BeautifulSoup
Мобильные прокси
Мобильные IP с ротацией и статичными сессиями для автоматизации и сбора данных. Поддержка HTTP(S) и SOCKS5 с гибкой оплатой за GB
