Python爬取某宝宝商品评论等数据

提前准备参数

import re
import requests
import random
import time
import pandas as pddf = []
# 这里的信息要从list_detial里找，上面的截图就是
headers = {'cookie': '','user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36 Edg/98.0.1108.62','referer': 'https://detail.tmall.com/item.htm?id=539339147058&price=99&sourceType=item&sourceType=item&suid=e9ca3123-b90d-4ed5-b31f-08f696654755&ut_sk=1.XVltFfIJHZADAP26 uLU46qu_21646297_1646213190055.Copy.ShareGlobalNavigation_1&un=bf83687cd45b2be19a2d98b7feb65231&share_crt_v=1&un_site=0&spm=a2159r.13376460.0.0&tbSocialPopKey=shareItem&sp_tk=Q0c0ZTI0cnRhZHM=&cpp=1&shareurl=true&short_name=h.fMQsL31&bxsign=scdLssu8BjsPSMY422ksv9WiDQBjg3Ih_OKP8X8cJgTl5W3pRkm74cPZeKXptUmWhTSFuRQNlnWc7SUD1w2I3VdhjkFDjEAGAre3x1CMDXKBsh4MyL5hqQLpo6LhUFDB22U&sm=3d25d1?tk=CG4e24rtads&app=chrome&skuId=4571541867149','accept-encoding': 'gzip, deflate, br','accept-language': 'zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6'
}
url = 'https://rate.tmall.com/list_detail_rate.htm'def get_html(url, header, page):t_param = time.time()t_list = str(t_param).split(".")# 这里的参数对应上面的url信息params = {'itemId': 556732726926,'spuId': 866309580,'sellerId': 725677994,'order': 3,'currentPage': page,'append': 0,'content': 1,"callback": 'jsonp'+str(int(t_list[1][3:]) + 1),"_ksTS": t_list[0] + t_list[1][:3] + "_" + t_list[1][3:]}r = requests.get(url, headers=header, params=params)if r.status_code == 200:return r.textelse:passdef get_item(num):user_name = []item_type = []rate_content = []rate_date = []for page in range(1, num):try:text = get_html(url, headers, page)user_name.extend(re.findall('"displayUserNick":"(.*?)"', text))item_type.extend(re.findall('"auctionSku":"(.*?)"', text))rate_content.extend(re.findall('"rateContent":"(.*?)"', text))rate_date.extend(re.findall('"rateDate":"(.*?)"', text))# 输出看看# print(user_name)# print(item_type)# print(rate_date)# print(rate_content)print(f"第{page}页爬取完毕")time.sleep(random.randint(3,9))except:print("Nothing you catch")for i in range(len(user_name)):df.append([user_name[i], rate_date[i], item_type[i], rate_content[i]])df1 = pd.DataFrame(df, columns=['user_name', 'rate_date', 'item_type', 'rate_content'])df1.to_csv('taobao_items.csv', index=False, encoding='utf-8')if __name__ == '__main__':
# num 控制页数num = 5get_item(num)

Python爬取某宝宝商品评论等数据相关推荐

python爬取当当网商品评论
python爬取当当网商品评论本案例获取某鞋评论作为例案例目的: 通过爬取当当网商品评价,介绍通过结合jsonpath和正则表达式获取目标数据的方法. 代码功能: 输入爬取的页数,自动下载保存每页 ...
python爬取苏宁商品评论
python爬取苏宁商品评论爬取其他电商物品评论的案例如下: https://blog.csdn.net/coffeetogether/article/details/114296159 https ...
python 爬取天猫店铺商品评论
在两三年之前天猫,淘宝,美团等这类的没有加密,很容易采集到数据,刚写了个爬取天猫评论时候,发现不能获取json类的数据,用了所以我用selenium,效果还不错,我们创建对象后,会让我们登录(如下图所 ...
Python爬取淘宝商品详情页数据
在讲爬取淘宝详情页数据之前,先来介绍一款 Chrome 插件:Toggle JavaScript (它可以选择让网页是否显示 js 动态加载的内容),如下图所示: 当这个插件处于关闭状态时,待爬取 ...
爬取电商平台数据，python爬取某维商品数据
本次内容: 爬取电商平台数据,python爬取某维商品数据课程亮点动态数据抓包演示 json数据解析 requests模块的使用保存csv 环境介绍 python 3.8 [最好用和老师一样的版 ...
python爬取b站评论_学习笔记(1):写了个python爬取B站视频评论的程序
学习笔记(1):写了个python爬取B站视频评论的程序 import requests import json import os table='fZodR9XQDSUm21yCkr6zBqiveY ...
Python爬取京东任意商品数据实战总结
利用Python爬取京东任意商品数据今天给大家展示爬取京东商品数据首先呢还是要分思路的,我分为以下几个步骤: 第一步:得到搜索指定商的url 第二步:获得搜索商品列表信息第三步:对得到的商品数据 ...
python爬取淘宝商品图片
python爬取淘宝商品的图片话不多说,直接上代码: from selenium import webdriver from selenium.webdriver.common import key ...
python爬取网易云音乐评论分析_python爬取网易云音乐评论
本文实例为大家分享了python爬取网易云音乐评论的具体代码,供大家参考,具体内容如下 import requests import bs4 import json def get_hot_comme ...

Python爬取某宝宝商品评论等数据

Python爬取某宝宝商品评论等数据相关推荐

最新文章

热门文章