首个代理
返现
市场上
每月将已用流量
转化为可重复使用的
代理额度，即可获得奖励
高级设置
无需额外付费
每个套餐都包含大多数服务商需额外付费才提供的工具
- 质量 & 速度过滤器
- 内置代理检测工具
- ZIP 级别定位
抓取网页数据，
追踪 AI 表现
控制面板中的更多工具：
- Scraping Browser. 通过提示词或代码实现网站自动化 了解更多 →
- LLM Visibility API. 比较不同模型和国家/地区的 AI 回答
安装 Scrapy 并创建项目
创建并激活 Python 虚拟环境：
python3 -m venv scrapy-env source scrapy-env/bin/activate
安装 Scrapy：
python3 -m pip install scrapy
创建项目和示例爬虫：
scrapy startproject nodemaven_scrapy cd nodemaven_scrapy scrapy genspider books books.toscrape.com
If python3 --version 同样返回“command not found”，请从以下位置安装 Python 3： python.org 首先。
生成一个 NodeMaven 代理
登录到 NodeMaven 仪表板 并打开 代理设置。请选择：
- 代理类型： 住宅、移动或 ISP
- 位置: 选择所需的国家、地区、城市或 ISP
- 会话： 轮换或粘性
- 筛选: 为您的工作流程选择 IP 质量选项
- 协议: HTTP
选择 轮换 适用于希望 NodeMaven 在各次请求之间更换出口 IP 的场景。它非常适合大规模爬取、价格监控和市场调研。
选择 粘性会话 适用于爬虫需要为 cookie、登录、翻页或其他多步骤流程保持同一 IP 的场景。
NodeMaven 在单一网关后台管理 IP 轮换，因此您无需在 Scrapy 中维护单独的代理列表。
安全存储您的 NodeMaven 凭据
复制 完整的代理用户名和密码 来自 NodeMaven Dashboard。
将这些凭据存储为当前终端会话的环境变量，使其保留在 Scrapy 代码之外。这样代理中间件即可使用它们，而无需将敏感信息写入 middlewares.py 或 GitHub。
安全输入您的 NodeMaven 用户名：
read -s -p "NodeMaven proxy username: " NODEMAVEN_PROXY_USER; echo粘贴完整的用户名并按 回车。粘贴的内容不会显示出来。
输入您的代理密码：
read -s -p "NodeMaven proxy password: " NODEMAVEN_PROXY_PASS; echo粘贴密码并按 回车。同样不会显示出来。
导出这两个变量，以便 Scrapy 可以读取：
export NODEMAVEN_PROXY_USER NODEMAVEN_PROXY_PASS在不显示其值的情况下确认两个变量均已设置：
[ -n "$NODEMAVEN_PROXY_USER" ] && echo "NodeMaven username: set" [ -n "$NODEMAVEN_PROXY_PASS" ] && echo "NodeMaven password: set"
您应该会看到：
NodeMaven username: set NodeMaven password: set
重要： 这些变量仅在当前终端会话中有效。如果您关闭终端，请在运行爬虫前重新输入。
添加 NodeMaven 代理中间件
请确认终端位于 Scrapy 项目目录内。命令提示符中应包含 nodemaven_scrapy.
打开项目的 middlewares.py 文件，使用 Nano：
nano nodemaven_scrapy/middlewares.py移动到文件底部，添加一个空行，然后粘贴：
import os from urllib.parse import quote class NodeMavenProxyMiddleware: def __init__(self): username = quote( os.environ["NODEMAVEN_PROXY_USER"], safe="", ) password = quote( os.environ["NODEMAVEN_PROXY_PASS"], safe="", ) self.proxy_url = ( f"http://{username}:{password}" "@gate.nodemaven.com:8080" ) def process_request(self, request): request.meta.setdefault("proxy", self.proxy_url)
重要： 该方法必须写作 __init__，前后各带两个下划线 初始化.
保存并关闭文件：
- 按下 Control + O.
- 按下 回车 以确认文件名。
- 按下 Control + X.
检查文件是否存在语法错误：
python3 -m py_compile nodemaven_scrapy/middlewares.py \ && echo "Middleware syntax check: passed"
如果代码无误，终端将显示：
Middleware syntax check: passed该中间件会读取步骤 3 中保存的凭据，生成带认证信息的 NodeMaven 代理 URL，并将其应用到 Scrapy 请求上。 quote() 函数会安全地对用户名和密码中的特殊字符进行编码。
在 Scrapy 中启用该中间件
请确认终端仍位于 nodemaven_scrapy 项目目录中。
打开项目设置文件：
nano nodemaven_scrapy/settings.py查找是否已存在以下设置：
ROBOTSTXT_OBEY = True如果已经存在，请保持不变，不要重复添加。
移动到文件底部并添加：
DOWNLOADER_MIDDLEWARES = { "nodemaven_scrapy.middlewares.NodeMavenProxyMiddleware": 700, } HTTPPROXY_ENABLED = True
如果您的项目包名不同，请将 nodemaven_scrapy 替换为该名称。对于步骤 1 中创建的项目，请完全保留所示的值。
保存并关闭文件：
- 按下 Control + O.
- 按下 回车 以确认文件名。
- 按下 Control + X.
检查文件是否存在 Python 语法错误：
python3 -m py_compile nodemaven_scrapy/settings.py \ && echo "Settings syntax check: passed"
确认 Scrapy 已加载相关设置：
scrapy settings --get DOWNLOADER_MIDDLEWARES scrapy settings --get HTTPPROXY_ENABLED scrapy settings --get ROBOTSTXT_OBEY
输出内容应包含 NodeMaven 中间件，并显示 True 这两项设置均为：
{'nodemaven_scrapy.middlewares.NodeMavenProxyMiddleware': 700} True True
Scrapy 内置的 HttpProxyMiddleware 会从以下位置读取代理 URL： request.meta["proxy"]。第 4 步中添加的自定义中间件负责提供 NodeMaven 代理 URL。
请根据目标网站设置合理的下载延迟和并发限制。
创建示例爬虫
请确保终端位于 nodemaven_scrapy 项目目录中。
打开生成的爬虫文件：
nano nodemaven_scrapy/spiders/books.pyNano 将显示第 1 步中创建的基础爬虫。
删除现有代码：
- 将光标移动到第一行。
- 按下 Control + K 反复按键，直到删除所有行。
将以下代码粘贴到空文件中：
import scrapy class BooksSpider(scrapy.Spider): name = "books" allowed_domains = ["books.toscrape.com"] start_urls = ["https://books.toscrape.com/"] def parse(self, response): for book in response.css("article.product_pod"): yield { "title": book.css( "h3 a::attr(title)" ).get(), "price": book.css( ".price_color::text" ).get(), "availability": " ".join( book.css( ".availability::text" ).getall() ).strip(), }
保存并关闭文件：
- 按下 Control + O.
- 按下 回车 以确认文件名。
- 按下 Control + X.
检查爬虫是否存在语法错误：
python3 -m py_compile nodemaven_scrapy/spiders/books.py \ && echo "Spider syntax check: passed"
确认 Scrapy 能够识别该爬虫：
scrapy list终端应显示：
爬虫语法检查：通过books
该示例爬虫会打开 Books to Scrape，并提取每本书的：
- 标题
- 价格
- 可用性
我们使用 https://books.toscrape.com/ 仅作为示例。这是一个专为演示网页抓取而创建的沙盒网站。
在实际项目中，请将 URL 和提取规则替换为您的目标网站，并确保您有权访问和抓取该网站。
截图： 该 books.py 文件，其中显示了示例 URL 以及标题、价格和库存状态的选择器，同时还包含 爬虫语法检查：通过 确认。
通过 NodeMaven 运行爬虫
在 Scrapy 项目目录中运行：
scrapy crawl books -O books.json该 -O 选项会创建 books.json 如果文件已存在，则会覆盖它。
Scrapy 会将爬虫的请求通过 gate.nodemaven.com 路由，并使用生成的 NodeMaven 用户名中包含的位置和会话设置。
等待抓取完成。运行成功时应显示：
- An HTTP 200 响应
- 日志中提取到的图书条目
- 无代理连接错误
- 否 407 需要代理身份验证 错误
- A 爬虫已关闭（已完成） 消息
- A books.json 项目目录中的文件
检查 Scrapy 输出
本次抓取会创建 books.json 位于 Scrapy 项目目录内。
确认该文件已存在：
ls -lh books.json显示提取到的记录数量，并预览前三条：
python3 -c 'import json; data=json.load(open("books.json")); print(f"Total records: {len(data)}"); print(json.dumps(data[:3], indent=2, ensure_ascii=False))'
输出应包含以下图书记录：
- 标题
- 价格
- 可用性
抓取顺利完成、导出记录且没有代理认证错误，即可确认 Scrapy 已接受 NodeMaven 的代理配置。
如果爬虫返回 407 错误，请确认：
- 已完整复制 NodeMaven 用户名
- 密码正确
- HTTP 端口与控制面板一致
- Scrapy 可以读取这些环境变量
- 凭据中的保留字符已进行 URL 编码
您的 NodeMaven 代理现已接入 Scrapy。
