Scrapy 代理

创建并激活 Python 虚拟环境：

python3 -m venv scrapy-env

source scrapy-env/bin/activate

安装 Scrapy：

python3 -m pip install scrapy

创建项目和示例爬虫：

scrapy startproject nodemaven_scrapy cd nodemaven_scrapy scrapy genspider books books.toscrape.com

If python3 --version 同样返回“command not found”，请从以下位置安装 Python 3： python.org 首先。

请确认终端位于 Scrapy 项目目录内。命令提示符中应包含 nodemaven_scrapy.

打开项目的 middlewares.py 文件，使用 Nano：

nano nodemaven_scrapy/middlewares.py

移动到文件底部，添加一个空行，然后粘贴：

import os

from urllib.parse import quote





class NodeMavenProxyMiddleware:

    def __init__(self):

        username = quote(

            os.environ["NODEMAVEN_PROXY_USER"],

            safe="",

        )

        password = quote(

            os.environ["NODEMAVEN_PROXY_PASS"],

            safe="",

        )




        self.proxy_url = (

            f"http://{username}:{password}"

            "@gate.nodemaven.com:8080"

        )




    def process_request(self, request):

        request.meta.setdefault("proxy", self.proxy_url)

重要： 该方法必须写作 __init__，前后各带两个下划线 初始化.

保存并关闭文件：

1. 按下 Control + O.
2. 按下 回车 以确认文件名。
3. 按下 Control + X.

检查文件是否存在语法错误：

python3 -m py_compile nodemaven_scrapy/middlewares.py \

  && echo "Middleware syntax check: passed"

如果代码无误，终端将显示：

Middleware syntax check: passed

该中间件会读取步骤 3 中保存的凭据，生成带认证信息的 NodeMaven 代理 URL，并将其应用到 Scrapy 请求上。 quote() 函数会安全地对用户名和密码中的特殊字符进行编码。

请确认终端仍位于 nodemaven_scrapy 项目目录中。

打开项目设置文件：

nano nodemaven_scrapy/settings.py

查找是否已存在以下设置：

ROBOTSTXT_OBEY = True

如果已经存在，请保持不变，不要重复添加。

移动到文件底部并添加：

DOWNLOADER_MIDDLEWARES = {

    "nodemaven_scrapy.middlewares.NodeMavenProxyMiddleware": 700,

}




HTTPPROXY_ENABLED = True

如果您的项目包名不同，请将 nodemaven_scrapy 替换为该名称。对于步骤 1 中创建的项目，请完全保留所示的值。

保存并关闭文件：

1. 按下 Control + O.
2. 按下 回车 以确认文件名。
3. 按下 Control + X.

检查文件是否存在 Python 语法错误：

python3 -m py_compile nodemaven_scrapy/settings.py \

  && echo "Settings syntax check: passed"

确认 Scrapy 已加载相关设置：

scrapy settings --get DOWNLOADER_MIDDLEWARES

scrapy settings --get HTTPPROXY_ENABLED

scrapy settings --get ROBOTSTXT_OBEY

输出内容应包含 NodeMaven 中间件，并显示 True 这两项设置均为：

{'nodemaven_scrapy.middlewares.NodeMavenProxyMiddleware': 700}

True

True

Scrapy 内置的 HttpProxyMiddleware 会从以下位置读取代理 URL： request.meta["proxy"]。第 4 步中添加的自定义中间件负责提供 NodeMaven 代理 URL。

请根据目标网站设置合理的下载延迟和并发限制。

请确保终端位于 nodemaven_scrapy 项目目录中。

打开生成的爬虫文件：

nano nodemaven_scrapy/spiders/books.py

Nano 将显示第 1 步中创建的基础爬虫。

删除现有代码：

1. 将光标移动到第一行。
2. 按下 Control + K 反复按键，直到删除所有行。

将以下代码粘贴到空文件中：

import scrapy





class BooksSpider(scrapy.Spider):

    name = "books"

    allowed_domains = ["books.toscrape.com"]

    start_urls = ["https://books.toscrape.com/"]




    def parse(self, response):

        for book in response.css("article.product_pod"):

            yield {

                "title": book.css(

                    "h3 a::attr(title)"

                ).get(),

                "price": book.css(

                    ".price_color::text"

                ).get(),

                "availability": " ".join(

                    book.css(

                        ".availability::text"

                    ).getall()

                ).strip(),

            }

保存并关闭文件：

1. 按下 Control + O.
2. 按下 回车 以确认文件名。
3. 按下 Control + X.

检查爬虫是否存在语法错误：

python3 -m py_compile nodemaven_scrapy/spiders/books.py \

  && echo "Spider syntax check: passed"

确认 Scrapy 能够识别该爬虫：

scrapy list

终端应显示：

爬虫语法检查：通过

books

该示例爬虫会打开 Books to Scrape，并提取每本书的：

• 标题
• 价格
• 可用性

我们使用 https://books.toscrape.com/ 仅作为示例。这是一个专为演示网页抓取而创建的沙盒网站。

在实际项目中，请将 URL 和提取规则替换为您的目标网站，并确保您有权访问和抓取该网站。

截图： 该 books.py 文件，其中显示了示例 URL 以及标题、价格和库存状态的选择器，同时还包含 爬虫语法检查：通过 确认。

在 Scrapy 项目目录中运行：

scrapy crawl books -O books.json

该 -O 选项会创建 books.json 如果文件已存在，则会覆盖它。

Scrapy 会将爬虫的请求通过 gate.nodemaven.com 路由，并使用生成的 NodeMaven 用户名中包含的位置和会话设置。

等待抓取完成。运行成功时应显示：

• An HTTP 200 响应
• 日志中提取到的图书条目
• 无代理连接错误
• 否 407 需要代理身份验证 错误
• A 爬虫已关闭（已完成） 消息
• A books.json 项目目录中的文件

本次抓取会创建 books.json 位于 Scrapy 项目目录内。

确认该文件已存在：

ls -lh books.json

显示提取到的记录数量，并预览前三条：

python3 -c 'import json; data=json.load(open("books.json")); print(f"Total records: {len(data)}"); print(json.dumps(data[:3], indent=2, ensure_ascii=False))'

输出应包含以下图书记录：

• 标题
• 价格
• 可用性

抓取顺利完成、导出记录且没有代理认证错误，即可确认 Scrapy 已接受 NodeMaven 的代理配置。

如果爬虫返回 407 错误，请确认：

• 已完整复制 NodeMaven 用户名
• 密码正确
• HTTP 端口与控制面板一致
• Scrapy 可以读取这些环境变量
• 凭据中的保留字符已进行 URL 编码

您的 NodeMaven 代理现已接入 Scrapy。