开始试用 登录
开始试用
返回
指南 & 教程 网络爬虫

如何爬取亚马逊：面向新手的工具、技巧与窍门

奥尔加·科特科
9 分钟阅读

我撰写关于代理和自动化的内容，将复杂的数字化主题转化为以研究为驱动、让人真正乐于阅读的文章。

用你偏好的 AI 总结本文
ChatGPT Grok 模型 Claude Google AI Perplexity 平台
试用我们的高级代理

无限量测试我们的优质代理，畅享卓越质量。

  • 移动代理和住宅代理
  • ZIP 级别定位
  • 静态 IP 和轮换 IP
  • 内置质量过滤器
立即试用

Amazon 庞大的电商生态系统蕴藏着无比宝贵的数据，从产品规格、价格趋势到客户评论和销售排名，无所不包。对于企业、营销人员和数据爱好者而言，提取这些数据可以释放大量洞察，助力战略决策并带来竞争优势。然而，抓取 Amazon 并非易事，其先进的反抓取措施、复杂的页面结构以及不断变化的产品信息，都需要周密的规划和合适的工具。在本指南中，我们将带你了解如何 抓取 Amazon，涵盖最佳工具、绕过检测的技巧，以及高效且合乎道德地简化数据提取流程的策略。 

什么是 Amazon 抓取？ 

抓取 Amazon 意味着系统地从 Amazon 平台收集数据，包括产品信息、价格、客户评价、销售排名以及卖家资料。用户可以借助自动化工具高效地抓取 Amazon，从中获取有价值的洞察，而无需手动翻阅无穷无尽的页面。这一过程对希望进行竞争对手分析、优化定价策略并紧跟市场趋势的企业、营销人员和分析师都大有裨益。不过，Amazon 采用了严格的反抓取措施，因此在执行这项任务时务必谨慎，遵循道德与法律准则，以规避潜在风险。 

为什么抓取 Amazon 对企业很重要？ 

从 Amazon 获取数据能够为企业提供有关市场趋势、定价策略和消费者行为的关键洞察。凭借数百万种可查阅的产品和客户评论，企业可以监测竞争对手的动向、优化自身的产品供应，并调整价格以保持竞争力。通过分析 Amazon 的客户评论，企业可以直接了解客户喜欢或不喜欢什么，从而提升产品开发水平和客户满意度。在竞争激烈的市场中，善用 Amazon 的数据可能会带来颠覆性的改变，为推动增长和成功的战略性、数据驱动的决策提供所需的洞察。 

如何抓取 Amazon？ 

要高效地抓取 Amazon，需要知道针对不同类型的数据应采用哪种方法。下面我们将详细介绍可用于收集商品信息、价格、评论及其他有价值洞察的技术和工具。我们会逐步深入讲解每一步，重点关注必备工具、代码示例以及规避检测、保持抓取顺畅的进阶方法。 

为抓取做好准备 

要按照本指南操作，你需要以下工具： 

Libraries：使用以下命令安装所需的库：bash 

pip install requests beautifulsoup4 lxml pandas 

对于处理大规模抓取或遇到动态内容的用户来说，诸如 Selenium 或 Playwright 是推荐的选择。此外， NodeMaven 或代理服务商可以帮助确保连接稳定可靠，从而绕过 IP 封禁。 

1. 使用 Requests 和 BeautifulSoup 进行基础 HTML 抓取 

这种适合新手的方法使用 requests 和 BeautifulSoup 库来访问并解析 Amazon 的 HTML 结构。 

示例代码： 

import requests 

from bs4 import BeautifulSoup 

 

# Amazon 商品 URL 

url = 'https://www.amazon.com/dp/B098FKXT8L' 

 

# 设置请求头以模拟浏览器请求 

headers = { 

    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0 Safari/537.36', 

    'Accept-Language': 'en-US,en;q=0.9' 

} 

 

# Request page content 

response = requests.get(url, headers=headers) 

soup = BeautifulSoup(response.text, 'html.parser') 

 

# Extract product details 

title = soup.select_one('#productTitle').get_text(strip=True) 

price = soup.select_one('.a-price .a-offscreen').get_text(strip=True) 

rating = soup.select_one('#acrPopover').get('title') 

 

print("Title:", title) 

print("Price:", price) 

print("Rating:", rating)

2. 使用代理、头部轮换和浏览器指纹伪装进行高级抓取 

Amazon 采用了强大的反机器人防护措施，因此建议轮换 IP 和请求头以避免被检测到。此外，加入浏览器指纹伪装可以通过混淆你浏览环境中的独特细节（例如屏幕分辨率、时区和已安装的插件）来增强你的抓取配置。这种伪装技术有助于让请求看起来更像来自真实用户，从而进一步降低被封锁的可能性。 NodeMaven 住宅代理以 NodeMaven 为例，它提供独特的粘性会话和高质量的住宅 IP，确保更加流畅无缝的抓取体验。 

使用代理的示例代码： 

import requests 

from bs4 import BeautifulSoup 

import random 

 

# 使用 NodeMaven 进行代理设置 

proxies = { 

    'http': 'http://your_node_maven_proxy', 

    'https': 'http://your_node_maven_proxy' 

} 

 

# 轮换 User-Agent 请求头 

user_agents = [ 

    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0 Safari/537.36', 

    'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.15; rv:85.0) Gecko/20100101 Firefox/85.0', 

    'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:86.0) Gecko/20100101 Firefox/86.0' 

] 

headers = {'User-Agent': random.choice(user_agents)} 

 

# 使用代理和请求头发送请求 

response = requests.get(url, headers=headers, proxies=proxies) 

soup = BeautifulSoup(response.text, 'html.parser') 

 

# Extract product details 

title = soup.select_one('#productTitle').get_text(strip=True) 

price = soup.select_one('.a-price .a-offscreen').get_text(strip=True) 

rating = soup.select_one('#acrPopover').get('title') 

 

print("Title:", title) 

print("Price:", price) 

print("Rating:", rating)

3. 使用 Selenium 处理 JavaScript 渲染的内容 

对于像评论或额外商品详情这类动态加载内容的 Amazon 页面，你可能需要使用像 Selenium 这样的浏览器自动化工具来加载并与 JavaScript 渲染的元素进行交互。 

使用 Selenium 的示例代码： 

from selenium import webdriver 

from selenium.webdriver.common.by import By 

 

# 设置 Selenium WebDriver 

options = webdriver.ChromeOptions() 

options.add_argument('--headless')  # 以无头模式运行以提升速度 

driver = webdriver.Chrome(options=options) 

 

# 访问 Amazon 商品页面 

driver.get('https://www.amazon.com/dp/B098FKXT8L') 

 

# 使用 Selenium 提取元素 

title = driver.find_element(By.ID, 'productTitle').text 

price = driver.find_element(By.CLASS_NAME, 'a-offscreen').text 

rating = driver.find_element(By.ID, 'acrPopover').get_attribute('title') 

 

print("Title:", title) 

print("Price:", price) 

print("Rating:", rating) 

 

# 关闭浏览器 

driver.quit()

4. 使用 Playwright 进行无头浏览 

Playwright 为 JavaScript 密集型网站提供了出色的性能，非常适合更复杂的 Amazon 抓取任务。 

使用 Playwright 的示例代码： 

import asyncio 

from playwright.async_api import async_playwright 

 

async def scrape_product(): 

    async with async_playwright() as p: 

        browser = await p.chromium.launch(headless=True) 

        page = await browser.new_page() 

         

        # 前往 Amazon 商品页面 

        await page.goto('https://www.amazon.com/dp/B098FKXT8L') 

         

        # 等待元素加载并提取数据 

        title = await page.text_content('#productTitle') 

        price = await page.text_content('.a-offscreen') 

        rating = await page.get_attribute('#acrPopover', 'title') 

         

        print("Title:", title.strip()) 

        print("Price:", price.strip()) 

        print("Rating:", rating.strip()) 

         

        await browser.close() 

 

asyncio.run(scrape_product())

5. 使用 Amazon Scraper API 进行基于 API 的抓取 

对于大规模爬取，Amazon Scraper API 可以为您处理反爬虫措施，从而大大简化流程。这类 API 通常返回结构化的 JSON 响应，并支持多种页面类型，包括产品详情、评论和搜索结果，这有助于简化数据提取，而无需复杂的解析逻辑。 

使用 Amazon Scraper API 的示例代码： 

import requests 

 

# API 端点和参数 

api_url = 'https://api.your_amazon_scraper.com/product' 

params = { 

    'api_key': 'YOUR_API_KEY', 

    'asin': 'B098FKXT8L', 

    'domain': 'com', 

    'parse': True 

} 

 

response = requests.get(api_url, params=params) 

product_data = response.json() 

 

print("Title:", product_data['title']) 

print("Price:", product_data['price']) 

print("Rating:", product_data['rating'])

处理商品列表 

在抓取 Amazon 时，访问单个商品页面通常从类目页或搜索列表页开始。商品列表，例如在以下位置找到的那些 https://www.amazon.com/b?node=12097479011 例如头戴式耳机的商品列表页，包含多个商品及其详情页的链接。抓取这些列表页能让你高效地获取多个商品的 URL。 

示例：解析产品列表 

首先，导入所需的模块： 

接下来，编写一个函数从列表页面中提取商品链接：

处理分页 

Amazon 的商品列表通常会跨越多个页面。要抓取所有页面的数据，抓取程序必须处理分页。每个列表页面上的“Next”按钮会指向更多商品，可以使用以下 CSS 选择器定位它 a.s-pagination-next. 

这个改进后的函数会抓取每一页上的商品 URL，并递归地跟随“下一页”按钮，直到解析完所有页面。 

将数据导出为 CSV 

抓取到数据后，将其存储为 CSV 这样的结构化格式会让分析更加方便。借助 pandas 库，你可以高效地将数据转换为 CSV 文件。 

这是一个 示例 如何在解析 Amazon 页面后将数据保存到 CSV：

在主函数中， 结合 抓取和导出功能：

Final Script 

将所有内容组合在一起，下面是一个完整的脚本，它可以抓取产品列表、跟随分页、检索详细的产品信息，并将其保存到 CSV： 

import requests 

from bs4 import BeautifulSoup 

from urllib.parse import urljoin 

import pandas as pd 


custom_headers = { 

    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 13_1) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/16.1 Safari/605.1.15', 

    'Accept-Language': 'en-US,en;q=0.9', 

} 

 

visited_urls = set() 

def get_product_info(url): 

    response = requests.get(url, headers=custom_headers) 

    if response.status_code != 200: 

        print(f"Error fetching {url}") 

        return None 


    soup = BeautifulSoup(response.text, "lxml") 

    product_info = { 

        "title": soup.select_one("#productTitle").get_text(strip=True), 

        "price": soup.select_one("span.a-offscreen").get_text(strip=True) if soup.select_one("span.a-offscreen") else None, 

        "rating": soup.select_one("#acrPopover")['title'].replace("out of 5 stars", "").strip() if soup.select_one("#acrPopover") else None, 

        "image": soup.select_one("#landingImage")['src'] if soup.select_one("#landingImage") else None, 

        "description": soup.select_one("#productDescription").get_text(strip=True) if soup.select_one("#productDescription") else None, 

        "url": url 

    } 

    return product_info 


def parse_listing(listing_url): 

    response = requests.get(listing_url, headers=custom_headers) 

    soup = BeautifulSoup(response.text, "lxml") 

 
    product_urls = [urljoin(listing_url, link.get("href")) for link in soup.select("[data-asin] h2 a")] 

    product_data = [get_product_info(url) for url in product_urls if url not in visited_urls] 

    visited_urls.update(product_urls) 

 
    next_page = soup.select_one('a.s-pagination-next') 

    if next_page: 

        next_page_url = urljoin(listing_url, next_page['href']) 

        product_data += parse_listing(next_page_url) 


    return product_data 


def main(): 

    search_url = "https://www.amazon.com/s?k=bose&rh=n%3A12097479011" 

    all_products = parse_listing(search_url) 

    df = pd.DataFrame(all_products) 

    df.to_csv("amazon_headphones.csv", index=False) 

    print("Data saved to amazon_headphones.csv") 

if __name__ == "__main__": 

    main()

排查 Amazon 抓取中的常见问题 

由于布局频繁变化以及反抓取机制的存在，抓取 Amazon 可能颇具挑战。以下是一些常见的排查技巧： 

  1. 处理被拦截的请求：如果 Amazon 阻止了你的请求，请尝试轮换 IP 地址或使用像 Nodemaven 这样的代理提供商。将轮换代理与 user-agent 轮换相结合，可以帮助规避检测。 
  1. CAPTCHA 与浏览器验证：Amazon 可能会出现 CAPTCHA 或其他验证步骤。像 Selenium 或 Playwright 这类支持浏览器自动化的工具，可以帮助绕过这些挑战。 
  1. Missing Data：偶尔会出现价格或评分等字段缺失的情况。请实现条件检查，以避免在解析这些值时出错。 
  1. Pagination Errors：如果你的抓取程序在某些页面停止，请检查这些页面的分页结构。Amazon 在某些商品列表上可能采用不同的布局。 
  1. 速率限制与延迟：避免在短时间内发送过多请求。使用 time.sleep() 引入随机延迟，让您的请求看起来更像真人操作。 

使用 Amazon Scraper API 实现简化的抓取方法 

如果你需要一个更可靠、更具可扩展性的解决方案，可以考虑使用专为 Amazon 数据抓取而设计的 API，例如 Amazon Scraper API。这些服务可以处理请求、绕过大多数反爬虫措施，并以 JSON 等结构化格式返回数据。 

示例：Amazon Scraper API 

import requests 

from pprint import pprint 

api_url = "https://realtime.oxylabs.io/v1/queries" 

payload = { 

    'source': 'amazon_search', 

    'query': 'bose', 

    'start_page': 1, 

    'pages': 5, 

    'parse': True, 

    'context': [{'key': 'category_id', 'value': 12097479011}] 

} 

response = requests.post(api_url, auth=('USERNAME', 'PASSWORD'), json=payload) 

pprint(response.json())

Amazon 抓取的最佳实践 

  1. 使用代理：高质量的轮换代理有助于避免被检测，并降低 IP 被封禁的可能性。 
  1. 轮换 User-Agent：切换 user-agent 字符串可以模拟不同的浏览器，使请求看起来更自然。 
  1. 限制请求频率：在请求之间加入随机延迟有助于防止速率限制和 IP 封禁。 
  1. 处理动态内容：使用 Selenium 或 Playwright 等工具来处理带有 JavaScript 渲染元素的页面。 
  1. 遵守 robots.txt：务必查看并遵守 Amazon 的 robots.txt 文件，以确保符合其爬取政策。 

抓取 Amazon 的法律注意事项

抓取 Amazon 的网站，与任何 网络爬虫 这类活动涉及重要的法律与道德考量。虽然抓取能为企业提供有价值的洞见，但了解潜在的法律风险和义务至关重要，以避免侵犯 Amazon 的服务条款或知识产权。以下是一些需要牢记的要点： 

  1. 服务条款合规：Amazon 的服务条款通常禁止自动化数据收集。抓取 Amazon 可能会违反这些条款，从而导致你的 IP 地址被封锁、Amazon 账户被暂停，在严重情况下甚至会引发法律诉讼。在进行任何抓取活动之前，请务必查阅并遵守 Amazon 的服务条款。 
  1. 知识产权与数据所有权：Amazon 上提供的数据，包括产品描述、图片和评论，通常受知识产权法保护。未经许可重复使用或再分发这些数据可能会侵犯 Amazon 或原始内容创作者的知识产权。请确保您不会以可能引发版权或商标问题的方式重新利用数据。 
  1. 合乎道德且负责任的抓取：如果你决定继续进行抓取，请遵循负责任的做法，尽量减轻服务器负载，避免干扰 Amazon 的平台。这包括遵守速率限制、在请求之间加入延迟，以及负责任地使用代理，以防止来自单个 IP 的过量请求。 
  1. 替代数据源：为避免潜在的法律纠纷，可考虑使用 Amazon 授权的数据服务或专为电商数据收集设计的第三方 API。诸如 Amazon 的 Product Advertising API 之类的服务，允许经批准访问某些类型的产品数据，在降低法律风险的同时仍能提供有价值的洞察。 
  1. 咨询法律意见：如果您不确定爬取活动的合法性，或不清楚如何遵守 Amazon 的政策，请咨询熟悉数据隐私、知识产权和技术法律的法律专家。这将有助于确保您的数据收集行为符合当前的法律标准，并降低无意中触犯法律的风险。 

结论

学会有效抓取 Amazon 数据，可以通过提供对实时市场趋势、竞争性定价和客户偏好的访问，为企业、营销人员和数据分析师带来宝贵的洞察。然而，由于 Amazon 拥有复杂精密的反抓取防护，抓取要取得成功需要周密的规划、可靠的工具，并遵循最佳实践，包括使用代理、轮换 user-agent 和采用 API 解决方案。在抓取之前，务必考虑法律和道德层面的影响，并在可能的情况下探索经授权的数据来源。遵循这些准则，从 Amazon 提取数据可以成为一个强大的工具，同时保持合规并将风险降至最低。 

常见问题

爬取 Amazon 而不被封禁最可靠的方法是什么？

最佳做法是将代理与请求头轮换及延迟机制结合使用，以降低被封锁的风险。使用专为 Amazon 抓取设计的 API 也是一种可扩展的方案，可确保稳定地获取数据。 

如果抓取 Amazon 数据违反了 Amazon 的服务条款或侵犯了知识产权，可能会带来法律后果。建议查阅 Amazon 的政策或咨询法律顾问，以确保你的数据抓取行为合规。 

Selenium 和 Playwright 等工具非常适合抓取 Amazon 页面上由 JavaScript 渲染的内容，能够提取通过 JavaScript 加载的动态元素，例如评价或产品详情。 

使用循环来识别并跟踪 Amazon 商品列表页面上的“下一页”按钮。这种方法可以让脚本浏览多个页面，并跨列表收集全面的数据。 

是的，代理有助于防止 IP 被封锁并增强匿名性。轮换代理对于大规模抓取尤其有效，因为它们有助于模拟来自多个用户的请求，从而降低被检测到的可能性。 

最佳做法是将代理与请求头轮换及延迟机制结合使用，以降低被封锁的风险。使用专为 Amazon 抓取设计的 API 也是一种可扩展的方案，可确保稳定地获取数据。 

如果抓取 Amazon 数据违反了 Amazon 的服务条款或侵犯了知识产权，可能会带来法律后果。建议查阅 Amazon 的政策或咨询法律顾问，以确保你的数据抓取行为合规。 

Selenium 和 Playwright 等工具非常适合抓取 Amazon 页面上由 JavaScript 渲染的内容，能够提取通过 JavaScript 加载的动态元素，例如评价或产品详情。 

使用循环来识别并跟踪 Amazon 商品列表页面上的“下一页”按钮。这种方法可以让脚本浏览多个页面，并跨列表收集全面的数据。 

是的，代理有助于防止 IP 被封锁并增强匿名性。轮换代理对于大规模抓取尤其有效，因为它们有助于模拟来自多个用户的请求，从而降低被检测到的可能性。 

您可能还喜欢 这些文章

查看全部
本网站使用 Cookie 文件 来提升您的使用体验。继续访问即表示您同意我们使用 Cookie。