Python 淘宝商品价格爬取（requests库+正则表达式）

淘宝搜索关键词链接：https://s.taobao.com/search?q=关键词

第2页商品链接：https://s.taobao.com/search?q=关键词&s=44

第3页商品链接：https://s.taobao.com/search?q=关键词&s=88

...

第n也页商品链接：https://s.taobao.com/search?q=关键词&s=44*n

说明淘宝的商品页面一共展示44个商品，爬取价格时不要进入商品详情去爬取，因为这样显示的价格并不是在html页面里的，不属于本程序解决的范围

查看源代码，发现商品和对应的名称表示为:

"view_price":"59.00"

"raw_title":"爆款 ! 英伦范小学生书包减负防水耐磨"

这样我们可以将其转化为正则表达式，使用Re库的findall函数将商品信息存入列表中然后输出

爬取耳机类商品的信息如下：

import requests
import redef getHTMLText(url):try:r=requests.get(url)r.raise_for_status()r.encoding=r.apparent_encodingreturn r.textexcept:return ""def parsePage(ItmeList,html):titleList =re.findall(r'\"raw_title\"\:\".*?\"',html)#必须为最小匹配，否则在当前商品的"处不会停止匹配priceList=re.findall(r'\"view_price\"\:\"[\d.]*\"',html)for i in range(len(titleList)):ItmeList.append([eval(titleList[i].split(':')[1]),eval(priceList[i].split(':')[1])])def printItmeList(ItemList):demo="{:^8}{:^12}{}"print(demo.format("序号","价格","名称"))count=0for item in ItemList:count=count+1print(demo.format(count,item[1],item[0]))def main():#爬取到商品第3页的数据depth=3start_url="https://s.taobao.com/search?q="itemName="耳机"itemList = []for i in range(depth):html=getHTMLText(start_url+itemName+"&s="+str(i*44))parsePage(itemList,html)printItmeList(itemList)main()

序号价格名称
1 59.90 已售220000件!入耳式耳机重低音炮手机通用
2 69.90 Amoi/夏新 A1无线蓝牙耳机运动型跑步耳塞挂耳式头戴双耳入耳通用
3 169.00 力族 w 1无线蓝牙耳机挂耳式超小隐形双耳塞式运动苹果迷你入耳式
4 18.90 魅族耳机 mx5 mx6 4 3s e note2 魅蓝手机通用入耳式耳塞原装正品
5 23.00 真无线双耳蓝牙耳机4.1迷你运动隐形入耳式耳塞挂耳式超小iphone7
6 79.00 Huawei/华为 AM12plus引擎耳机原装正品入耳式荣耀8P9 V9通用女生
7 12.80 乐视耳机超级手机乐2/3 pro max2 X620 x528 原装线控带麦入耳式
8 226.00 Samsung/三星 level u原装蓝牙耳机S7edge S6+无线入耳式运动项圈
9 89.00 小米运动蓝牙耳机6 5SMAX红米NOTE4X跑步无线防水DACOM 5c挂耳式
10 24.80 通用一加三手机3t耳机2二银耳努比亚z11 z17mini/s布拉格原装正品
11 1.00 清仓捡漏1元起拍蓝牙耳机耳塞挂耳式无线通话听音乐通用蓝牙1
12 273.42 DIY耳机DAIK作品2014殿堂级入耳尊享胡桃木耳机DK-夏热销杂食耳塞
13 25.80 忆动耳塞入耳式耳机可调音线控带耳麦K歌立体声手机笔记本电脑用
14 1.00 清仓捡漏 1元起拍通用型蓝牙耳机所有手机通用全新蓝牙M165十字
15 2.00 清仓捡漏 1元起拍通用型跑步运动入耳机所有手机通用跑步耳机新款
16 1.00 清仓捡漏1元起拍通用型蓝牙耳机车载音乐通话蓝牙耳机
17 12.00 贝恩耳机转换头水晶头转USB插头/转3.5mm双插头/转3.5mm单插头
18 1.00 无线蓝牙耳机电脑电视通用无线耳机挂耳式立体声苹果小米OPPO华为
19 12.80 耳机入耳式子重低音炮通用安卓有线vivo华为魅族oppo苹果金立带麦
20 36.80 多功能头戴式蓝牙耳机手机无线耳机重低音可插卡播放支持通
21 26.00 小米5 5S PLUS MAX红米3S 3X NOTE4 PRO 4原装线控入耳式粉色耳机
22 14.90 通用小米5 max 4c 红米note4 pro 3s 3x 高配版手机耳机原装正品
23 26.00 时尚创意韩版香水耳机入耳式手机通用女生带麦iphone5线控重低音
24 29.00 蓝牙耳机无线运动耳塞立体声听歌通话挂式耳机【评估价138】
25 1.00 清仓捡漏 1元起拍运动有线耳机挂耳通用型跑步耳机
26 19.00 原装正品华为蓝牙耳机P9 P9plus V8 荣耀8Mate8听歌立体声迷你4.0
27 50.00 定制耳机、线材专业维修
28 31.20 原装正品式4.1迷你超小蓝牙耳机挂耳通用耳塞式耳塞7plus隐形原装
29 10.00 运动S500立体声耳机跑步有线入挂耳机线控重低音防水手机通用 01
30 30.00 新款耳挂式3.5MM插头手机耳机普通电话座机耳机话务耳麦
31 59.00 超长待机蓝牙耳机耳塞挂耳式开车运动vivo苹果7oppo无线优迈 z11
32 288.00 发烧音质魔音无线蓝牙耳机头戴式通用触控立体声苹果7索尼重低音
33 18.55 无线耳塞式蓝牙耳机4.1苹果5 6sPlus华为小米运动迷你通用4.0挂耳
34 18.80 3米长线挂耳式耳机运动耳挂式加长耳机2米电脑手机通用带话筒耳机
35 29.90 小米手机耳机米6 5x 5s plus max2 5c mix红米note4x 3s原装正品
36 99.00 ISK sem5 高端监听 SEM5耳塞入耳式监听耳机主播录音
37 12.80 包邮vivoY31A耳机原装正品VIVO Y31A手机耳塞式线控Y31A耳机通用
38 129.00 Somic/硕美科 G618 电竞游戏入耳式耳机电脑耳麦绝地求生吃鸡专用
39 29.90 华为手机耳机荣耀8 青春版 V9 play 6x 畅享7 6s P9 6a 原装正品
40 1.00 清仓捡漏1元起拍通用型蓝牙耳机车载音乐通话蓝牙耳机
41 199.00 Vsonic/威索尼可 VSD 2/VSD2S入耳式HIFI耳塞手机耳机现货顺丰
42 1.00 清仓捡漏1元起拍通用型蓝牙耳机迷你蓝牙耳机隐形迷你蓝牙耳机
43 29.90 苹果手机耳机iphone7 6s plus se原装线控带麦唱歌录音入耳式正品
44 7.90 个性耳机入耳式重低音通用男低音炮抗拉安卓原装金属耐用创意韩版
45 12.80 魅族MX6 魅族Pro6 魅族Pro6S原装耳机手机耳塞入耳式原配专用正品
46 2.00 清仓捡漏 1元起拍通用型蓝牙耳机所有手机通用全新蓝牙M165十字
47 999.00 Beats Powerbeats3 beatspb3 Wireless蓝牙无线运动三代魔音耳机
48 98.90 Xiaomi/小米小米圈铁耳机红米Note2 4 3 通用入耳式耳塞原装正品
49 4.40 华为原装正品耳机8荣耀7i 6x 5c p8 P9手机线控K歌耳塞入耳式通用
50 46.00 经典原装CX300二代剪线维修耳机头个性定制diy 发烧耳塞
51 338.00 Plantronics/缤特力 M180立体声音乐迷你蓝牙耳机声控接听通用型
52 27.80 vivox6plus/A/D/L耳机原装vovi线控vo正品viv0耳塞x6pius入耳
53 12.80 适用于康佳R1 R2 S1 E1 R3 R5专用入耳式线控话筒耳机带麦原装线
54 156.00 Onkyo/安桥 E700M 电脑手机mp3通用入耳式运动耳塞重低音HIFI耳机
55 1.00 清仓捡漏1元起拍蓝牙耳机耳塞挂耳式无线通话听音乐通用蓝牙
56 59.90 天天特价颈挂式无线蓝牙耳机运动挂脖式4.1防水防汗小米oppo苹果
57 79.00 小米魅族通用低音炮入耳式无线蓝牙耳机颈挂式运动跑步音乐耳塞4.1
58 14.00 清仓捡漏 1元起拍运动有线耳机挂耳通用型跑步耳机（新款）
59 39.00 卡通儿童耳机头戴式带麦保护听力可爱男女学生音乐学习耳麦可折叠
60 300.00 KZ LP5头戴蓝牙耳机监听重低音大耳无线耳麦游戏耳机全新盒装正品
61 7.00 编织线耳塞入耳重低音苹果安卓小米手机通用男女生入耳式运动耳机
62 35.40 vivoxplay6耳机原装vovi手机线控vo正品vi通用viv0入耳式vio耳塞
63 38.80 OPPO R9s OPPO R9 OPPOR7 OPPOA59M手机耳机原装正品MH133入耳式
64 499.00 AKG/爱科技 Q460耳机线控耳机头戴式线控带麦重低音耳麦耳机清仓
65 12.00 清仓捡漏1元起拍圆线立体声耳机新款重低音MP3耳机入耳方形耳机
66 38.00 利客 K21无线蓝牙耳机耳塞式开车挂耳式苹果4.1运动通用超长待机
67 38.00 清仓蓝牙耳机超长待机入耳式电脑手机耳机车载迷你无线金属耳机
68 24.50 acz新品重低音跑步手机入耳式线控挂耳运动带麦耳塞iphone7耳机
69 88.00 佳蓝FV3自带伸缩线蓝牙耳机4.1立体声领夹式商务车载通用来电震动
70 26.00 Inpher/音霏尔 T50金属入耳式耳机手机电脑通用线控麦耳塞重低音
71 16.90 手机通用清新版耳机小米华为入耳式耳麦运动健身男女挂耳式活塞
72 29.90 通用奇酷360手机耳机青春版 N4 N4s N5 N5S F4 Q5 plus原装正品
73 69.90 Shinco/新科 K6无线蓝牙耳机运动型跑步耳塞挂耳式头戴双入耳通用
74 99.00 DZAT/渡哲特 DF-10入耳式hifi耳机线控带麦木质耳塞主播发烧mp3
75 29.90 韩版可爱彩色拉链面条线入耳式耳机带麦潮流男女学生手机耳机通用
76 148.00 T800 无线运动蓝牙耳机双耳塞式入耳式全场景蓝牙防水防汗包邮
77 10.00 2米4米长水晶线耳机低音耳塞式电视电脑耳机声卡耳机不带麦克风
78 37.70 新款苹果ipad平板电脑手机笔记本单孔耳机耳麦一体头戴式带麦克风
79 69.00 哈灵D9迷你蓝牙耳机挂耳式耳塞超小隐形开车运动苹果vivo小米通用
80 12.66 英尚 S6入耳式耳机手机电脑MP3通用重低音运动耳塞式带麦线控耳机
81 12.80 OPPO r11 r9s r7 r9plus MH133重低音线控通用入耳式耳塞手机耳机
82 25.47 手机耳机入耳式小米华为oppo魅族红米魅蓝vivo安卓通用男女生耳塞
83 118.00 ISK HP-960B 全封闭头戴式重低音监听耳机网络K歌主播录音耳塞
84 80.00 JOWAY H-13跑步运动入耳挂耳式迷你音乐双耳4.1手机音乐蓝牙耳机
85 8.50 oppor9/tm/A原装耳机opop耳塞0pp0手机poop线控OPPO mh130正品opp
86 1009.00 【国行】顺丰 Beats Powerbeats3 PB3 Wireless运动蓝牙耳机
87 1999.00 E－3LUE/宜博 EBT910 漫威钢铁侠头戴式蓝牙4.0无线音乐游戏耳机
88 8.50 vivox9/S/L耳机原装vov手机线控vi耳塞viv0正品vio入耳式vo通用v0
89 23.00 无线迷你蓝牙耳机重低音耳塞入耳挂耳式超小隐形vivo华为苹果通用
90 399.00 Philips/飞利浦 SHB5250无线蓝牙耳机耳塞式迷你运动手机通话耳麦
91 18.00 华为P9耳机P8 G9 7荣耀6X 6A V8 5 6S手机通用原装正品入耳式耳塞
92 8.50 vivox7plus耳机原装vovi手机线控vio耳塞vo正品通用x7pius入耳式
93 8.50 vivox9splus耳机原装vovi手机线控x9spius耳塞vo正品vio通用v0x9p
94 12.50 yy主播监听耳机手机耳机降噪入耳式重低音耳机主播监听耳塞3米线
95 32.00 权志龙鹿晗同款入耳式学生校园耳机手机送收纳盒K歌创意新款韩版
96 159.00 UMO/优摩 K 运动蓝牙无线耳机跑步苹果迷你超小双耳塞式酷狗隐形
97 59.00 迷你超小隐形蓝牙耳机oppo耳塞式vivo华为7苹果7plus无线运动通用
98 8.50 vivox9plus耳机原装x9pius手机线控vovi耳塞vi正品vo通用v0入耳式
99 108.00 diy头戴式耳机录音师单元hifi音质k哥神器主播
100 49.80 天天特价无线蓝牙耳机超长待机耳塞式开车挂耳式4.1运动手机通用
101 8.50 oppor7plus/t原装耳机opop耳塞r7pius0pp0线控opo正品OPPO包邮
102 14.40 Niye/耐也 D3重低音电脑手机通用挂耳式运动入耳线控耳机跑步耳塞
103 19.68 包邮步步高vivoY13iL原装耳机VIVO Y13iL手机耳机线控耳塞式正品
104 19.68 包邮步步高vivoY35A原装耳机VIVO Y35L手机耳机线控耳塞式正品
105 19.68 步步高vivoY22原装耳机Y22iL Y627 Y28F手机耳机线控耳塞式正品
106 24.21 oppoA30耳机原装正品OPPO A30耳塞式耳机线控A30通用重低音耳机
107 25.20 oppoR8207原装耳机OPPO R8207耳机线控入耳式R1C通用耳机带麦正品
108 1488.00 Beats Powerbeats3 by Dr. Dre Wireless无线蓝牙运动入耳式耳机
109 49.90 手机通用无线蓝牙耳机耳塞挂耳式迷你超小oppo苹果vivo可接听电话
110 23.00 夏季新款蓝牙耳机挂耳式超小耳塞式无线男女迷你隐形4.1通真便宜
111 99.00 无线蓝牙耳机迷你超小超长续航待机入耳式快递外卖通用滴滴司机
112 98.00 Elecom/宜丽客EHP-CS3510M晶彩立体声手机线控通话入耳音乐耳机
113 8.50 vivox6/S/A/D耳机原装vovi手机线控vio正品vo通用vi耳塞viv0入耳
114 8.50 oppor9splustmA原装耳机op耳塞0pp0手机opopr9pius线控OPPO入耳式
115 40.00 批歌奈聆听3A （I/N通用版）手机耳机带麦
116 19.90 隐形蓝牙耳机听歌通话不闪灯通用iphone7 6 5 ipad air2 pro mini
117 6.80 首望 S2 耳机入耳式运动跑步耳机手机线控耳挂耳麦通话耳塞
118 7.80 honor荣耀6plus H60-L01 L11 L02 L12 PE-UL00 TL10耳机原装
119 42.00 日本原装进口Sony Ericsson/索尼爱立信HPM-75入耳式蓝牙适配耳机
120 18.00 Amoi/夏新 A1无线蓝牙耳机运动型跑步耳塞挂耳式头戴双耳入耳通用
121 63.00 原装正品华为蓝牙耳机耳塞挂耳式无线荣耀5c P9 P8 mate8手机通用
122 63.00 华硕Zoom A2DP Fonepad 7 手机迷你无线蓝牙耳机通用蓝牙玖太子
123 20.00 iphone华为魅族vivo耳机线带麦入耳式软耳塞全民k歌安卓苹果通用
124 8.80 迷你蓝牙耳机超小mini挂耳塞式无线隐形微型运动跑步开车载专用

Python 淘宝商品价格爬取（requests库+正则表达式）相关推荐

Python 淘宝商品价格爬取
登录淘宝,进入搜索页,F12 选择Network,刷新一下,找到最上方以search?开头的文件,右键选择copy,copy as cURL(bush) 在https://curl.trillwor ...
【Python爬虫学习】七、淘宝商品价格爬取（成功爬取）
写在前面:修改request的headers属性,可以跳过登录界面,爬取成功功能描述: 目标:获取淘宝搜索页面信息,提取其中商品的名称和价格技术路线:Requests-Re 接口描述: 搜索接口: ...
爬虫实战：淘宝商品爬取（附词云展示）
选择的淘宝产品是olay官方旗舰店下的产品, 点击到评价页面之后,打开网页源代码,找到评论的链接如下所示: ![在这里插入图片描述](https://img-blog.csdnimg.cn/20201 ...
【转】淘宝评论爬取 python
转自:https://blog.csdn.net/neuwangmingqiang/article/details/50234539 本文记录一下爬取天猫某商品的全过程,淘宝上面的店铺也是类似的做法, ...
Python爬虫之淘宝数据爬取（商品名称，价格，图片，销量）
代码详细注释,仅供交流与参考,不作商业用途代码参考北京理工大学嵩天老师 import requests #导入第三方库 import re import osdef getHTMLText(url) ...
Python网络爬虫爬淘宝无法爬取问题的解决方法
看了嵩天教授的[Python网络爬虫与信息提取].MOOC. 北京理工大学课程,里面有一段演示如何从淘宝爬取价格信息,但实际操作却不行,问题在于淘宝19年开始实行搜索必须登录,但是Python爬 ...
Python自动登陆淘宝并爬取商品数据
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. 基本开发环境 Python 3.6 Pycharm import time from sel ...
Python post请求模拟登录淘宝并爬取商品列表！
一.前言大概是一个月前就开始做淘宝的爬虫了,从最开始的用selenium用户配置到selenium模拟登录,再到这次的post请求模拟登录.一共是三篇博客,记录了我爬取淘宝网的经历.期间也有朋友向我 ...
Python爬虫-DAY5淘宝页面爬取
申明:本章主要是个人的学习心得笔记学习来源:中国MOOC课网 https://www.icourse163.org/learn/BIT-1001870001?tid=1461946455#/lear ...

Python 淘宝商品价格爬取（requests库+正则表达式）

Python 淘宝商品价格爬取（requests库+正则表达式）相关推荐

最新文章

热门文章