【python 淘宝爬虫】python 淘宝店铺名称，旺旺，销售量抓取

一、需求分析
抓取淘宝店铺名称，旺旺，销售量

二、效果展示

三、实现源代码

# encoding: utf-8import sys
reload(sys)
sys.setdefaultencoding('utf-8')import pandas as pd
import time
import re
time1=time.time()import requestsseller=[]
shop=[]
sale=[]
city=[]
type=[]#################################定义城市列表###########################
lista=["郑州市","洛阳市","开封市","南阳市","安阳市","商丘市","新乡市","平顶山市","许昌市","焦作市","周口市","信阳市","驻马店市","鹤壁市","濮阳市","漯河市","三门峡市","济源市","长治市","晋城市","运城市",\"聊城市","菏泽市","宿州市","淮北市","阜阳市","亳州市","蚌埠市","邢台市","邯郸市"]############################定义类别（在这里修改，只需要修改类别)###############
aa="女鞋"#####################################################循环抓取###################################
for w in lista:print ".............................................................."+w+"...................................................."for i in range(1,101):try:print "正在抓取第"+str(i)+"页...................."url = "https://shopsearch.taobao.com/search?app=shopsearch&spm=a230r.7195193.0.0.ShnhPc&q="+aa+"&tracelog=shopsearchnoqcat&loc="+w+"&isb=0&shop_type=&ratesum=&s="+str((i-1)*20)html=requests.get(url).contentseller1=re.findall('"nick":"(.*?)","provcity":',html,re.S)for each in seller1:print eachseller.append(each)sale1=re.findall('"totalsold":(.*?),"procnt"',html,re.S)for each in sale1:print eachcity.append(w)type.append(aa)sale.append(each)shop1=re.findall('"rawTitle":"(.*?)",',html,re.S)for each in shop1:print each.replace("                               ","")shop.append(each.replace("                               ",""))except:pass###################################打印长度########################################print len(shop),len(seller),len(sale),len(city),len(type)########################数据框#################################################
data=pd.DataFrame({'店铺名':shop,"卖家":seller,"销量":sale,"城市":city,"类型":type})
print data
# 写出excel
############################文件名称记得修改######################################################
writer = pd.ExcelWriter(r'C:\\taobao\\taobao4.xlsx', engine='xlsxwriter', options={'strings_to_urls': False})
data.to_excel(writer, index=False)
writer.close()time2 = time.time()
print u'ok,爬虫结束!'
print u'总共耗时：' + str(time2 - time1) + 's'

【python 淘宝爬虫】python 淘宝店铺名称，旺旺，销售量抓取相关推荐

python为什么叫爬虫-python为什么叫爬虫？为什么python开发会突然火起来？
python为什么叫爬虫?为什么python开发会突然火起来?python的脚本特性,python易于配置,对字符的处理也非常灵活,加上python有丰富的网络抓取模块,所以两者经常联系在一起.Pyt ...
淘宝主图视频怎么上传？怎么抓取、下载？
淘宝.阿里上的主图视频,很多商家都不会制作主图视频,而又眼馋主图视频来带的流量,而在淘宝上的商家很多都是在阿里进货的,代发.代销的商家,在商品的主图和视频上是比较缺乏资源的,所以商家如果想要获取主图视 ...
Python 爬虫 + 人脸检测 —— 知乎高颜值图片抓取
1 数据源知乎话题『美女』下所有问题中回答所出现的图片 2 抓取工具 Python 3,并使用第三方库 Requests.lxml.AipFace,代码共 100 + 行 3 必要环境 Mac / ...
python爬app_app爬虫(python app爬虫)
搜索引擎爬虫不能抓取app应用中的内容.搜索引擎爬虫只可以抓取pc或者一定网页内容.网络爬虫是一种自动获取网页内容的程序,是搜索引擎的重要组成部分. 本人大二计算机专业学生,正在做一个有关爬虫的项目, ...
python爬虫成长之路（一）：抓取证券之星的股票数据
python爬虫成长之路(一):抓取证券之星的股票数据获取数据是数据分析中必不可少的一部分,而网络爬虫是是获取数据的一个重要渠道之一.鉴于此,我拾起了Python这把利器,开启了网络爬虫之路. 本篇 ...
Python爬虫之XPath基础教程：用代码抓取网页数据
Python爬虫之XPath基础教程:用代码抓取网页数据在网络时代,网页数据是获取信息和进行分析的最重要的来源之一.Python的爬虫技术让我们可以轻松抓取网页数据,并进行数据处理.XPath是一种 ...
视频教程-Python数据分析与爬虫-Python
Python数据分析与爬虫 10年一线开发及项目管理经验,6年以上大数据项目架构.实施.开发与运维经验,骨灰级大数据玩家,对Hadoop.Storm.Spark.Flink.Kylin.Druid等大 ...
python find()效率_基于python分别采用同步与异步（协程）方式抓取时光网TOP100电影...
欢迎各位小哥哥小姐姐阅读本的文章,对大家学习有帮助,请点赞加关注哦!!!!!!!!!! 您的点赞和关注将是我持续更新的动力呢.^v^ 有不懂的问题可以私聊我哦! 如题,同步运行就是python按照代码 ...
Python+Selenium自动搜索基金业协会指定企业名单，抓取指定信息并保存到数据库...
Python+Selenium自动搜索基金业协会指定企业名单,抓取指定信息并保存到数据库.网址https://gs.amac.org.cn/amac-infodisc/res/pof/manager/ ...
python股票交易接口实现股票分时图K线图及抓取level2行情的开发程序分析
大家对股票交易接口并不陌生,那么要想获取股票数据获取,也是可以通过python股票交易接口实现股票分时图K线图及抓取level2行情的开发程序分析如下: import sys from PyQt5 i ...

【python 淘宝爬虫】python 淘宝店铺名称，旺旺，销售量抓取

【python 淘宝爬虫】python 淘宝店铺名称，旺旺，销售量抓取相关推荐

最新文章

热门文章

【python 淘宝爬虫】python 淘宝店铺名称，旺旺，销售量 抓取

【python 淘宝爬虫】python 淘宝店铺名称，旺旺，销售量 抓取相关推荐

最新文章

热门文章

【python 淘宝爬虫】python 淘宝店铺名称，旺旺，销售量抓取

【python 淘宝爬虫】python 淘宝店铺名称，旺旺，销售量抓取相关推荐