Python实战：爬取淘宝商品详情信息

编辑：2023-08-13 15:10

本文将为您讲述如何使用Python爬虫技术爬取淘宝商品信息，从页面分析到代码实现，一步步带您了解。

一、页面分析
在爬取数据之前，我们需要先分析淘宝商品的页面结构，确定需要爬取的信息。打开淘宝商品页面，可以看到页面上包含了商品标题、价格、销量、评论数等信息。

在Chrome浏览器中按下F12键，打开开发者工具，切换到Network选项卡，刷新页面，可以看到大量的资源请求。找到名为“标准版淘宝”的请求，点击该请求，在右侧的Response栏中找到html部分，即为我们需要分析的页面结构。

通过分析，我们可以发现商品信息被包含在<div class="items" >标签中，每个商品又被包含在<div class="item J_MouserOnverReq " >标签中。在每个商品标签中，都包含了我们需要爬取的商品标题、价格、销量、评论数等信息。

二、数据爬取
在分析页面结构之后，我们就可以开始编写Python代码爬取数据了。Python提供了很多第三方库用于爬虫，这里我们使用requests、BeautifulSoup、re等库。

2.1请求方式：HTTP POST GET

2.2.演示地址：http://c0b.cc/R4rbK2 （复制Taobaoapi2014获取API SDK文件）

import requests
from bs4 import BeautifulSoup
import re

url = 'https://s.taobao.com/search?q=%E5%8D%AB%E8%A1%A3&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20210331&ie=utf8'
headers = {
  'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.66 Safari/537.36'
}

# 发送请求，获取响应
res = requests.get(url, headers=headers)
# 使用BeautifulSoup解析html页面
soup = BeautifulSoup(res.text, 'html.parser')
# 查找所有商品标签
items = soup.find_all('div', class_='item J_MouserOnverReq ')

# 爬取每个商品的标题、价格、销量和评论数
for item in items:
  # 查找商品标题标签
  title = item.find('a', class_='J_ClickStat')
  # 使用正则表达式处理标题内容
  title = re.sub(r'<.*?>', '', str(title))
  # 查找商品价格标签
  price = item.find('div', class_='price g_price g_price-highlight')
  # 使用正则表达式处理价格内容
  price = re.sub(r'<.*?>', '', str(price))
  # 查找商品销量标签
  sales = item.find('div', class_='deal-cnt')
  # 使用正则表达式处理销量内容
  sales = re.sub(r'<.*?>', '', str(sales))
  # 查找商品评论数标签
  comment = item.find('div', class_='comment')
  # 使用正则表达式处理评论数内容
  comment = re.sub(r'<.*?>', '', str(comment))

  # 打印商品信息
  print('【商品标题】', title)
  print('【商品价格】', price)
  print('【商品销量】', sales)
  print('【商品评论数】', comment)
三、代码说明
我们首先使用requests库向淘宝发送请求，获取页面响应。使用BeautifulSoup库解析html页面，查找所有商品标签。对于每个商品标签，我们再分别查找商品的标题、价格、销量和评论数标签，并使用正则表达式处理标签内容，去除html标签和其他无用信息。最后打印商品信息。

四、记录结果
如果需要将爬取到的商品信息记录到文件中，只需要在代码中加入文件操作即可。具体代码如下：

# coding:utf-8
"""
Compatible for python2.x and python3.x
requirement: pip install requests
"""
from __future__ import print_function
import requests
# 请求示例 url 默认请求参数已经做URL编码
url = "https://api.xxxx.cn/taobao/item_get/?key=<您自己的apiKey>&secret=<您自己的apiSecret>&num_iid=商品ID&is_promotion=1"
headers = {
  "Accept-Encoding": "gzip",
  "Connection": "close"
}
if __name__ == "__main__":
  r = requests.get(url, headers=headers)
  json_obj = r.json()
  print(json_obj)
五、总结
本文通过对淘宝商品页面的分析，教大家如何使用Python爬虫技术爬取淘宝商品信息。采用requests、BeautifulSoup和re等库对页面进行解析，爬取商品标题、价格、销量和评论数等信息，并可以将爬取结果记录到文件中。综上所述，淘宝API接口是基于淘宝开放平台的，没有淘宝开放平台就没有淘宝API接口。淘宝API接口又是更加便利的，是电商公司管理获取数据的小帮手（WeChat  Taobaoapi2014）。同时，还可以通过淘宝API接口发展出跨境电商业务。 淘宝API接口入点（按图搜索，商品详情，关键词搜索，商品评论，订单类接口），希望本文能够对您有所帮助，谢谢！