【爬虫】Python爬取电商平台评论完整代码

利用Ajax爬取淘宝评论，这里完整的补充一下，包括数据存储。
对于Ajax参数的分析，Python爬取平台评论，这篇文章分析过了这里不再重复了。
主要是完善一下代码。

import time
import requests
import csv
import json
import os
import random
class taobaoSpider_content():"""通过分析网址的Ajax获取淘宝商品评论其中get_page方法是构造出url并且返回json格式的文本数据,get_cotent方法用于提取数据并返回一个生成器，最后main方法整合输出结果Attributes: itemId:商品IDAttributes：currentPage:评论页码Attributes：sellerId:淘宝商家Id"""def __init__(self,itemId,sellerId,currentPage):self.currentPage=currentPageself.url="https://rate.tmall.com/list_detail_rate.htm?"self.headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3741.400 QQBrowser/10.5.3863.400","referer":"https://detail.tmall.com/item.htm","Cookie":'自己的Cookie'}self.itemId=itemIdself.sellerId=sellerIddef get_page(self):t_param=time.time()t_list=str(t_param).split(".")params={    "sellerId":self.sellerId,"itemId":self.itemId,"callback":str(int(t_list[1][3:])+1),"_ksTS":t_list[0]+t_list[1][:3]+"_"+t_list[1][3:],"currentPage":self.currentPage}res=requests.get(self.url,params=params,headers=self.headers)try:if res.status_code==200:res=requests.get(self.url,params=params,headers=self.headers).text[len(t_list[1][3:])+3:-1]res_json=json.loads(res)res_str=json.dumps(res_json,indent=4)return json.loads(res_str)except:return Nonedef get_content(self,json_data):if json_data!=None:for item in json_data.get("rateDetail").get("rateList"):content_time=item.get("rateDate")content_type=item.get("auctionSku")content_name=item.get("displayUserNick")content_data=item.get("rateContent")yield {"content_time":content_time,"content_type":content_type,"content_name":content_name,"content_data":content_data,}else:print("该页出错啦！")return Nonedef write_txt(self,data):"""这是将结果写入txt文本文档的格式将字典写入文本文档首先要利用json.dumps()转换成字符串格式.json.dumps的indent参数是为了美化输出json.ensure_ascii参数将数据输出程中文，同时要规定文件输出编码为utf-8"""with open("taobaocontent.txt","a",encoding="utf-8") as file:file.write(json.dumps(data,indent=2,ensure_ascii=False))file.write("\n")def write_csv(self,data):"""这是将结果写入csv文件将字典直接写入csv需要用到csv模块。具体可以参考相关文档这里要注意写入csv容易出现中文乱码，需要加encoding和newline参数。"""with open("taobaocontent.csv","a",encoding="utf-8-sig",newline='') as file:fieldnames=["content_time","content_type","content_name","content_data"]writer=csv.DictWriter(file,fieldnames=fieldnames)writer.writerow(data)def main(self):json_data=self.get_page()self.get_content(json_data)return self.get_content(json_data)if __name__=="__main__":for i in range(1,2):new_data=taobaoSpider_content(itemId=602210068322,sellerId=2616970884,currentPage=i)if new_data.main()!=None:for items in new_data.main():new_data.write_txt(items)else:passtime.sleep(random.randint(5,10))    #设置延时防止爬虫被封

以上代码已成功运行，如有错误，烦请告知，谢谢！

【爬虫】Python爬取电商平台评论完整代码相关推荐

Python爬取电商平台充气娃娃用户评价，看看用户体验是什么样的！
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 python免费学习资 ...
爬取电商平台数据，python爬取某维商品数据
本次内容: 爬取电商平台数据,python爬取某维商品数据课程亮点动态数据抓包演示 json数据解析 requests模块的使用保存csv 环境介绍 python 3.8 [最好用和老师一样的版 ...
python爬取电商订单_Python探索之爬取电商售卖信息代码示例
网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动的抓取万维网信息的程序或者脚本. 下面有一个示例代码,分享给大家: #! /usr/bi ...
pyhton爬虫爬取电商平台商品历史价格、最低价格（慢慢买网）
主要使用的库: requests:爬虫请求并获取源码 re:使用正则表达式提取数据 json:使用JSON提取数据 pandas:使用pandans存储数据 #!coding=utf-8 import ...
Python爬虫实战：selenium爬取电商平台商品数据
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 作者: 极客挖掘机 PS:如有需要Python学习资料的小伙伴可以加点击下 ...
Python抓取电商平台数据 / 采集商品评论 / 可视化展示词云图...
前言大家早好.午好.晚好吖 ❤ ~ 我给大家准备了一些资料,包括: 2022最新Python视频教程.Python电子书10个G (涵盖基础.爬虫.数据分析.web开发.机器学习.人工智能.面试题) ...
python爬取淘宝商品做数据挖掘_Python 3爬虫数据清洗与可视化实战 Python数据抓取技术 python3网络爬虫教程书籍运用Python工具获取电商平台页面数据挖掘书籍...
A8 书名:Python 3爬虫数据清洗与可视化实战作译者:零一,韩要宾,黄园园出版时间:2018-03 千字数:200 版次:01-01 页数:212 开 ...
python爬取苏宁商品评论
python爬取苏宁商品评论爬取其他电商物品评论的案例如下: https://blog.csdn.net/coffeetogether/article/details/114296159 https ...
大数据之内衣的诱惑——抓取电商网站评论的秘密
大数据之内衣的诱惑--抓取电商网站评论的秘密前言前段时间在知乎上看到有大神利用淘宝的评论信息,抓取购买内衣的型号和地域,分析出不同省份的女性身材指数分布.受之启发,我也动手研究了一下京东的评论信息 ...

【爬虫】Python爬取电商平台评论完整代码

【爬虫】Python爬取电商平台评论完整代码相关推荐

最新文章

热门文章