淘宝店铺商品数据爬取实战：基于 item_search

淘宝店铺商品数据爬取实战：基于 item_search_shop 接口

管理

编辑

删除

在电商数据分析、竞品监控等场景中，获取淘宝店铺的所有商品信息是一项极具价值的任务。本文将详细介绍如何利用 Python 爬虫技术结合淘宝开放平台的 item_search_shop 接口，获取指定淘宝店铺的所有商品数据。

一、准备工作

（一）注册淘宝开放平台账号

访问淘宝开放平台官网，按照页面提示填写相关信息，包括个人或企业的基本资料、联系方式等，完成注册。

（二）创建应用并获取 API 密钥

登录淘宝开放平台后，创建一个新的应用。在创建过程中，填写应用的名称、描述、回调地址等信息。创建成功后，平台会生成一组 API 密钥，包括 App Key 和 App Secret，这是调用接口的身份验证凭证。

（三）申请接口权限

在“我的应用”页面，选择已创建的应用，进入应用详情页。在“接口权限”模块，找到“商品服务”相关的 API 接口，如“商品详情”接口，并申请相应的权限。

二、接口调用

（一）构建请求参数

item_search_shop 接口需要以下参数：

app_key：你的应用 App Key。
shop_id：目标店铺的 ID。
page：当前页码。
sort：排序方式，如按销量降序（sales-desc）。
format：返回数据格式，如 json。

（二）生成签名

根据淘宝开放平台的要求，需要对请求参数进行签名处理。签名过程包括：

将参数按字典序排序。
拼接参数为 key=value 形式，并在首尾加上 App Secret。
计算 MD5 值并转为大写。

（三）发送请求

使用 requests 库向接口发送 GET 请求，并携带构建好的参数和签名。

三、数据解析与存储

（一）解析响应数据

接口返回的数据通常是 JSON 格式。使用 Python 的 json.loads() 方法将响应内容解析为字典格式，然后提取所需的商品信息。

（二）存储数据

获取到的商品数据可以保存到本地文件（如 JSON 文件）或数据库中，方便后续分析。

四、完整代码示例

import requests
import hashlib
import time

# 配置参数
app_key = "your_app_key"  # 替换为你的 App Key
app_secret = "your_app_secret"  # 替换为你的 App Secret
shop_id = "your_shop_id"  # 替换为店铺 ID
page_size = 100  # 每页显示的商品数量
page_no = 1  # 初始页码

# 生成签名
def generate_sign(params):
    sorted_params = sorted(params.items(), key=lambda x: x[0])
    sign_str = app_secret
    for key, value in sorted_params:
        sign_str += f"{key}{value}"
    sign_str += app_secret
    sign = hashlib.md5(sign_str.encode('utf-8')).hexdigest().upper()
    return sign

# 获取店铺商品列表
def get_shop_items(shop_id, page_no, page_size):
    method = "taobao.items.search"
    timestamp = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime())

    # 构造请求参数
    params = {
        "app_key": app_key,
        "method": method,
        "timestamp": timestamp,
        "shop_id": shop_id,
        "page_no": page_no,
        "page_size": page_size
    }

    # 生成签名
    params["sign"] = generate_sign(params)

    # 发送请求
    url = "https://gw.api.taobao.com/router/rest"
    response = requests.post(url, params=params)
    return response.json()

# 主程序
if __name__ == "__main__":
    items = []
    while True:
        response = get_shop_items(shop_id, page_no, page_size)
        if "items_search_response" in response:
            items.extend(response["items_search_response"]["items"])
            page_no += 1
        else:
            print("获取商品列表失败：", response)
            break

    # 打印商品信息
    for item in items:
        print("商品标题：", item.get("title"))
        print("商品价格：", item.get("price"))
        print("商品图片链接：", item.get("pic_url"))

五、注意事项

（一）调用频率限制

淘宝开放平台对每个应用的 API 调用频率有一定限制。开发者需要合理安排调用频率，避免因超出限制而被封禁。

（二）数据安全

App Key 和 App Secret 是重要的安全凭证，必须妥善保管，避免泄露。

（三）API 版本更新

淘宝开放平台可能会对 API 进行更新和升级。开发者需要及时关注官方文档，确保代码的兼容性。

通过上述步骤和代码示例，你可以轻松实现获取淘宝店铺所有商品信息的目标。在实际应用中，还可以根据需求对代码进行优化和扩展，例如增加数据存储、数据分析等功能。

如遇任何疑问或有进一步的需求，请随时与我私信或者评论联系。