开始试用

BeautifulSoup 代理

了解如何在 Python 中使用 BeautifulSoup 代理。将 BeautifulSoup 抓取流程接入 NodeMaven 住宅、移动和 ISP 代理,支持 HTTP 与 SOCKS5、代理认证以及灵活扩展

首个代理
返现
市场上

每月将已用流量
转化为可重复使用的
代理额度,即可获得奖励

欢迎礼
价值 $100+

  • 质量 & 速度过滤器
  • 邮政编码级定向
  • 专属代理专家

独家质量保证

每当代理表现不佳
即可获得价值 $1 的奖励流量

了解更多

什么是 BeautifulSoup?

BeautifulSoup 是一个用于解析 HTML 和 XML 文档的 Python 库。它将网页转换为可检索的 Python 对象结构,让您更轻松地查找元素、提取文本、跟踪链接并收集结构化数据。

BeautifulSoup 本身不会发送网络请求,也不管理代理。网页由 Requests 等 Python HTTP 客户端获取,再由 BeautifulSoup 解析返回的 HTML。因此 Python BeautifulSoup 代理流程很简单:在 Requests 中配置代理,下载页面,然后把响应交给 BeautifulSoup。Requests 同时支持 HTTP 和 SOCKS 代理以及代理认证。

选对 BeautifulSoup 代理,您就能用不同的 IP 地址、地理位置和会话配置构建可扩展的抓取流程

自定义代理配置
3000 多万住宅 IP 资源池
24/7 专家支持

使用方法 在 Python 中使用 BeautifulSoup 代理

配置 Python,安装 BeautifulSoup 和 Requests,并在获取网页的请求中配置 NodeMaven 代理

步骤 1

检查或安装 Python

打开终端并运行:

python --version

如果显示版本号,说明 Python 已安装。

If not:

  • 访问 Python 官方网站
  • 下载最新稳定版本
  • 运行安装程序并完成设置
步骤 2

安装 BeautifulSoup 和 Requests

安装 Python 抓取流程所需的库:

pip install beautifulsoup4 requests

Requests 负责获取网页,BeautifulSoup 则在网页下载完成后解析 HTML。

如果您想使用 SOCKS5:

pip install "requests[socks]"

Requests 通过该可选依赖支持 SOCKS 代理。

第 3 步

创建你的项目文件夹

在你的终端中:

mkdir beautifulsoup_nodemaven_project
cd beautifulsoup_nodemaven_project

该文件夹将存放您的 Python 抓取项目。

第 4 步

创建脚本文件夹

为您的 BeautifulSoup 脚本单独创建一个文件夹:

mkdir src
cd src

将抓取脚本放在专用文件夹中,便于日后扩展项目。

步骤 5

创建 BeautifulSoup 代理脚本

创建一个名为以下名称的文件:

beautifulsoup_proxy.py

该脚本会通过 NodeMaven 代理获取网页,然后用 BeautifulSoup 解析响应内容。

步骤 6

添加代理配置

粘贴以下代码:

导入 requests 库
起价 bs4 导入 BeautifulSoup

url = "https://example.com"

代理 = {
    "http": "http://YOUR_USERNAME:[email protected]:8080",
    "https": "http://YOUR_USERNAME:[email protected]:8080"
}

响应 = requests 库.get(
    url,
    代理=代理,
    超时=30
)

soup = BeautifulSoup(响应.文本, "html.parser")

print(soup.标题.get_text(strip=True))

替换 YOUR_USERNAME 和 YOUR_PASSWORD with your NodeMaven proxy credentials.

Requests accepts proxy settings through the 代理 argument, including authenticated proxy URLs.

如需使用 SOCKS5,请选用相应的 NodeMaven SOCKS5 代理 地址:

代理 = {
    "http": "socks5://YOUR_USERNAME:YOUR_PASSWORD@HOST:PORT",
    "https": "socks5://YOUR_USERNAME:YOUR_PASSWORD@HOST:PORT"
}
步骤 7

运行脚本

从 src 文件夹:

python beautifulsoup_proxy.py

如果配置无误,脚本会通过代理获取网页并输出其标题。

随后,您可以沿用同一流程,用 BeautifulSoup 提取商品信息、价格、链接、评价、文章内容等公开 HTML 数据。

以 3.50 美元试用 NodeMaven 的代理服务器,并获得 750MB 流量

以 3.50 美元试用 NodeMaven 的代理服务器,并获得 750MB 流量

轻松集成

轻松将我们的优质代理 与所有主流第三方工具集成

Multilogin
Dolphin Anty
MoreLogin
Gologin

为您的工作流程选择优质代理

通过 NodeMaven 的高质量 代理 IP 体验不间断连接

住宅代理

住宅代理

真实家庭 IP,支持轮换和粘性会话。支持 HTTP(S) 和 SOCKS5,按 GB 灵活计费,轻松扩展 Python 抓取和 BeautifulSoup 代理流程

推荐用于:
移动代理

移动代理

移动 IP,支持轮换和粘性会话,适用于自动化和数据采集。支持 HTTP(S) 和 SOCKS5,按 GB 灵活计费

推荐用于:
ISP 代理

ISP 代理

静态代理服务器 IP,具有长会话和一致身份。支持 HTTP(S) 和 SOCKS5,采用按 IP 计费方式,流量不限

推荐用于:
不确定该选择哪种代理类型?

来自客户与合作伙伴的评价

来自信赖并使用 NodeMaven 的用户的真实反馈

专为大规模管理移动账户而打造的独特防关联手机解决方案
«NodeMaven 与 Geelark 紧密合作,为可靠的移动多账户工作流程提供支持,并在日常使用中经过测试和验证»。
专为社交媒体管理打造的云手机 & 多账号平台
«这是我们选择集成的唯一一家高质量代理提供商。NodeMaven 提供干净、稳定的流量,为我们的工作流程赋能»。
一款深受全球用户信赖的领先防关联浏览器
«我们推荐 NodeMaven 作为多账号运营的第一代理服务。它与 Dolphin Anty 紧密集成,确保设置顺畅»。
深受 900 万以上用户信赖的头号反检测浏览器
«NodeMaven 提供可靠、高质量的代理,可与 AdsPower 无缝集成。我们携手让多账户管理更顺畅、更稳定、更易于扩展»。
专为安全且可扩展的多账户管理打造的一体化反检测浏览器
«NodeMaven 提供稳定、高质量的代理,运行流畅,支持安全高效的多账户工作流程»。
全球最受信赖的多账户管理专家
«BitBrowser 与 NodeMaven 合作,打造强大的反检测环境。多账户广告投放和社交媒体管理能够轻松降低账户被封的风险。使用 NodeMaven 安全代理可确保稳定性并保护本地数据隐私。干净、高质量且稳定。我们推荐 NodeMaven»。
用于大规模安全多账户管理的反检测浏览器和云手机平台
«NodeMaven 是我们社区中用户推荐最多的代理提供商。它提供高质量、稳定的 IP,对于需要大规模可靠性的多账户专业人士而言至关重要»。

常见问题

BeautifulSoup 本身不负责网络连接。要使用 BeautifulSoup 代理,请在 Requests 等 HTTP 客户端中配置代理,获取网页后再将响应交给 BeautifulSoup 解析。 Requests 库 支持通过以下方式配置代理: 代理 参数。

代理是在 HTTP 请求中配置的,而不是在 BeautifulSoup 中。Requests 通过所选代理发送请求并返回网页,BeautifulSoup 再解析返回的 HTML。

BeautifulSoup 本身不处理代理身份验证。代理凭据需在 HTTP 客户端中配置。使用 Requests 时,可以将凭据写入代理 URL,格式为 username:password@host:port 格式。

可以。您只需在以下位置配置 SOCKS5 代理,即可在 Python BeautifulSoup 代理工作流中使用 SOCKS5 Requests 库. Requests 库 通过其可选的 SOCKS 依赖项支持 SOCKS。

区别体现在 HTTP 客户端层面。 HTTP 代理 通常用于网络请求,而 SOCKS5 则运行在更低的网络层级。 Requests 库 同时支持 HTTP 代理和 SOCKS 代理.

在 Requests 中配置代理,然后将返回的 HTML 传给 BeautifulSoup:

response = requests.get(url, proxies=proxies)
soup = BeautifulSoup(response.text, "html.parser")

这是将代理与 BeautifulSoup 结合使用的标准做法: Requests 库 负责处理连接,而 BeautifulSoup 负责解析 HTML。

住宅代理 在您需要庞大的真实用户 IP 池和地理定位时,是理想之选。 移动代理 适合面向移动端的工作流,而 ISP 代理 则适合需要稳定 IP 和长会话的场景。

NodeMaven 提供住宅代理、移动代理和 ISP 代理,并支持 HTTP(S) 与 SOCKS5。

以 $3.50 试用 NodeMaven 代理,即可获得 750MB 流量

立即开始使用高质量代理
本网站使用 Cookie 文件 来提升您的使用体验。继续访问即表示您同意我们使用 Cookie。