Прокси для Scrapy

Создайте и активируйте виртуальное окружение Python:

python3 -m venv scrapy-env

source scrapy-env/bin/activate

Установите Scrapy:

python3 -m pip install scrapy

Создайте проект и пример паука:

scrapy startproject nodemaven_scrapy cd nodemaven_scrapy scrapy genspider books books.toscrape.com

If python3 --version тоже возвращает «command not found», установите Python 3 с python.org сначала.

Убедитесь, что терминал находится в каталоге проекта Scrapy. В приглашении командной строки должно быть nodemaven_scrapy.

Откройте файл проекта middlewares.py в редакторе Nano:

nano nodemaven_scrapy/middlewares.py

Перейдите в конец файла, добавьте пустую строку и вставьте:

import os

from urllib.parse import quote





class NodeMavenProxyMiddleware:

    def __init__(self):

        username = quote(

            os.environ["NODEMAVEN_PROXY_USER"],

            safe="",

        )

        password = quote(

            os.environ["NODEMAVEN_PROXY_PASS"],

            safe="",

        )




        self.proxy_url = (

            f"http://{username}:{password}"

            "@gate.nodemaven.com:8080"

        )




    def process_request(self, request):

        request.meta.setdefault("proxy", self.proxy_url)

Важно: Название метода должно быть записано как __init__, с двумя нижними подчёркиваниями до и после инит.

Сохраните и закройте файл:

1. Нажмите Ctrl + O.
2. Нажмите Войти чтобы подтвердить имя файла.
3. Нажмите Контрол + Икс.

Проверьте файл на синтаксические ошибки:

python3 -m py_compile nodemaven_scrapy/middlewares.py \

  && echo "Middleware syntax check: passed"

Если код корректен, терминал выведет:

Middleware syntax check: passed

Middleware считывает учётные данные, сохранённые на шаге 3, формирует URL прокси NodeMaven с авторизацией и подставляет его в запросы Scrapy. Функция quote() безопасно кодирует специальные символы в имени пользователя и пароле.

Убедитесь, что терминал по-прежнему находится в каталоге проекта nodemaven_scrapy каталог проекта.

Откройте файл настроек проекта:

nano nodemaven_scrapy/settings.py

Найдите эту существующую настройку:

ROBOTSTXT_OBEY = True

Если она уже есть, оставьте её без изменений. Не добавляйте её второй раз.

Перейдите в конец файла и добавьте:

DOWNLOADER_MIDDLEWARES = {

    "nodemaven_scrapy.middlewares.NodeMavenProxyMiddleware": 700,

}




HTTPPROXY_ENABLED = True

Если у вашего проекта другое имя пакета, замените nodemaven_scrapy на это имя. Для проекта, созданного на шаге 1, оставьте значение ровно таким, как показано.

Сохраните и закройте файл:

1. Нажмите Ctrl + O.
2. Нажмите Войти чтобы подтвердить имя файла.
3. Нажмите Контрол + Икс.

Проверьте файл на синтаксические ошибки Python:

python3 -m py_compile nodemaven_scrapy/settings.py \

  && echo "Settings syntax check: passed"

Убедитесь, что Scrapy загрузил настройки:

scrapy settings --get DOWNLOADER_MIDDLEWARES

scrapy settings --get HTTPPROXY_ENABLED

scrapy settings --get ROBOTSTXT_OBEY

В выводе должен присутствовать middleware NodeMaven и отображаться True для обеих настроек:

{'nodemaven_scrapy.middlewares.NodeMavenProxyMiddleware': 700}

True

True

Встроенный в Scrapy HttpProxyMiddleware считывает URL прокси из request.meta["proxy"]. Пользовательское middleware, добавленное на шаге 4, передаёт URL прокси NodeMaven.

Используйте разумные задержки между запросами и ограничения параллелизма с учётом целевого сайта.

Убедитесь, что терминал находится внутри nodemaven_scrapy каталог проекта.

Откройте созданный файл паука:

nano nodemaven_scrapy/spiders/books.py

Nano покажет базового паука, созданного на шаге 1.

Удалите существующий код:

1. Переместите курсор на первую строку.
2. Нажмите Control + K несколько раз, пока не будут удалены все строки.

Вставьте следующий код в пустой файл:

import scrapy





class BooksSpider(scrapy.Spider):

    name = "books"

    allowed_domains = ["books.toscrape.com"]

    start_urls = ["https://books.toscrape.com/"]




    def parse(self, response):

        for book in response.css("article.product_pod"):

            yield {

                "title": book.css(

                    "h3 a::attr(title)"

                ).get(),

                "price": book.css(

                    ".price_color::text"

                ).get(),

                "availability": " ".join(

                    book.css(

                        ".availability::text"

                    ).getall()

                ).strip(),

            }

Сохраните и закройте файл:

1. Нажмите Ctrl + O.
2. Нажмите Войти чтобы подтвердить имя файла.
3. Нажмите Контрол + Икс.

Проверьте паука на синтаксические ошибки:

python3 -m py_compile nodemaven_scrapy/spiders/books.py \

  && echo "Spider syntax check: passed"

Убедитесь, что Scrapy распознаёт паука:

scrapy list

В терминале должно появиться:

Проверка синтаксиса паука: пройдена

books

Этот пример паука открывает Books to Scrape и извлекает для каждой книги:

• Заголовок
• Цена
• наличие

Мы используем https://books.toscrape.com/ только в качестве примера. Это тестовый сайт, созданный специально для демонстрации веб-скрапинга.

Для реального проекта замените URL и правила извлечения на данные вашего целевого сайта. Убедитесь, что у вас есть разрешение на доступ к нему и его скрапинг.

Screenshot: Зона books.py файл с примером URL и селекторами для названия, цены и наличия, а также подтверждением Проверка синтаксиса паука: пройдена подтверждение.

Из каталога проекта Scrapy выполните:

scrapy crawl books -O books.json

Зона -O создаёт файл books.json или перезаписывает файл, если он уже существует.

Scrapy будет направлять запросы паука через gate.nodemaven.com используя настройки локации и сессии, заложенные в сгенерированное имя пользователя NodeMaven.

Дождитесь завершения обхода. При успешном запуске вы увидите:

• Ан Ответ HTTP 200
• Извлечённые записи о книгах в логах
• Отсутствие ошибок подключения к прокси
• Нет 407 Требуется аутентификация прокси ошибка
• A Паук закрыт (finished) сообщение
• A books.json файл в каталоге проекта

Обход создаёт books.json внутри каталога проекта Scrapy.

Убедитесь, что файл существует:

ls -lh books.json

Выведите количество извлечённых записей и первые три из них:

python3 -c 'import json; data=json.load(open("books.json")); print(f"Total records: {len(data)}"); print(json.dumps(data[:3], indent=2, ensure_ascii=False))'

Вывод должен содержать записи о книгах со следующими полями:

• Заголовок
• Цена
• наличие

Завершённый обход с выгруженными записями и без ошибок аутентификации прокси подтверждает, что Scrapy принял конфигурацию прокси NodeMaven.

Если паук возвращает 407 error, проверьте, что:

• Имя пользователя NodeMaven скопировано полностью
• Пароль указан верно
• HTTP-порт совпадает с указанным в панели управления
• Переменные окружения доступны для Scrapy
• Зарезервированные символы в учётных данных закодированы в формате URL

Ваш прокси NodeMaven теперь подключен к Scrapy.