[笔记]python爬虫：淘宝商品价格信息爬取示例

爬取的网站信息

网站地址
淘宝官网：https://www.taobao.com/
爬取内容
碧根果价格信息
网页对应的部分源代码

从网页源代码中可以看到，需要爬取的商品以 “raw_title”:”…”这样的键值对出现，如：”raw_title”:”【百草味-碧根果218gx2袋】坚果零食干果特产奶油味长寿果炒货”;对应的价格信息以”view_price”:”…”这样的键值对出现，如”view_price”:”52.80”。根据这个特征，可以利用正则表达式来寻找想要的信息并爬取，存储：

爬取代码编写：

import requests
import re
#获得网页
def getHTMLtext(url):try:r=requests.get(url, timeout=30)r.raise_for_status()r.encoding=r.apparent_encodingreturn(r.text)except:return('')
#分析处理网页，获得需要爬取的商品名称和价格
def parsepage(ilt, html):try:#查找商品价格的正则表达式plt=re.findall(r'\"view_price\"\:\"[\d\.]*\"', html)#查找对应商品名称的正则表达式tlt=re.findall(r'\"raw_title\"\:\".*?\"', html)#存储商品名称和价格信息for i in range(len(plt)):price=eval(plt[i].split(':')[1])title=eval(tlt[i].split(':')[1])ilt.append([price, title])except:print('')
#打印出爬取得到的商品名称和价格
def printGoodsList(ilt):tplt='{:4}\t{:8}\t{:16}'print(tplt.format('序号','价格','名称'))count=0for g in ilt:count=count+1print(tplt.format(count, g[0], g[1]))def main():goods='碧根果' #搜寻的关键词depth=2#爬取的网页数（翻页数）start_url='https://s.taobao.com/search?q='+goods#初始网页infoList=[]for i in range(depth):try:url=start_url+'&s='+str(44*i)#实现翻页操作html=getHTMLtext(url)parsepage(infoList, html)except:continueprintGoodsList(infoList)
main()

运行结果：

  序号      价格              名称              1    38.90           百草味 碧根果218gx2袋 长寿果热销爆款坚果2    39.90           抢【三只松鼠_碧根果210gx2袋】零食坚果山核桃长寿果干果奶油味3    38.90           【百草味-碧根果218gx2袋】坚果零食干果特产 奶油味长寿果炒货4    29.80           新货碧根果仁奶油味长寿果仁美国山核桃仁188克X1袋坚果零食包邮5    25.90           特价包邮洽洽撞果仁40g*3袋柠檬黑糖椰蓉三种口味恰恰坚果碧根果6    20.00           楼兰蜜语官方旗舰店坚果干果奶香碧根果215克山核桃坚果2件包邮7    52.90           碧根果500g包邮 三只松鼠 零食 散装 袋装 休闲食品旗舰店秒杀8    89.90           三只松鼠旗舰店 袋装 休闲食品 零食 散装坚果小吃碧根果500g包邮9    47.00           【宁国特产】詹氏特级生原味碧根果奶油长寿果仁360g零食坚果炒货10    17.80           【飘零大叔】奶油碧根果 坚果干果特产休闲零食品200g 三包包邮11    52.90           碧根果500g包邮 三只松鼠零食 散装袋装 休闲食品旗舰店 坚果秒杀12    39.80           杭派碧根果长寿果独立小包装奶油味500g手抓包山核桃坚果炒货秒杀13    43.80           三只颗支个松鼠旗舰店碧根果210gX2包炒货特产坚果3只松鼠山核桃14    19.80           美国奶油碧根果250g包邮干货坚果 原味长寿果 零食包邮15    27.80           新货坚果炒货孕妇零食美国山核桃奶油味碧根果长寿果500g罐装包邮16    21.50           【淘逸口】坚长寿果美国山核桃碧根果奶香16.5元包邮休闲食品17    20.90           满99元包邮 良品铺子 坚果 炒货 干果 碧根果 椒盐山核桃238g18    19.80           百草味碧根果190g 坚果干果奶油核桃碧更果长寿果尖果零食炒货19    19.90           邮费减免百草味-碧根果190g零食坚果干果奶香山核桃长寿果20    15.90           新货美国山核桃长寿果碧根果200g奶油味拍3袋免邮干坚果零食特产21    12.80           特级奶油碧根果长寿果美国手剥山核桃零食特产坚果炒货200g包邮22    39.90           新疆特产 奶油味碧根果500g促销 野核桃手剥山核桃长寿果坚果核桃23    12.90           【任意3件包邮碧根果168g】坚果零食特产干果炒货奶油味长寿果24    39.80           零食碧根果500g包邮奶油味干果坚果美国山核桃手剥长寿果森林小镇25    24.90           【三只松鼠_碧根果225g】零食坚果炒货山核桃长寿果奶油味26    13.80           【天猫超市】洽洽撞果仁 椰蓉碧根果仁50g 休闲零食小吃 恰恰27    13.80           【天猫超市】洽洽撞果仁黑糖碧根果仁50g 休闲零食小吃 恰恰28    13.80           【天猫超市】洽洽撞果仁柠檬碧根果仁50g休闲零食小食 恰恰29    16.50           新货坚果炒货 手剥碧根果/长寿果/美国山核桃 奶油味中尖250g罐装30    45.80           沃尔玛惠宜食品坚果炒货碧根果仁 长寿果仁美国山核桃仁210g罐装31    26.90           罐装碧根果重500g 奶油味零食坚果特产美国山核桃长寿果新货包邮32    119.00          三只松鼠旗舰店_坚果零食组合8袋共1431g 碧根果夏威夷果腰果核桃33    39.80           碧更果 长寿果 山核桃坚果干果零食 特产奶油味 净重500g 包邮34    28.80           新货奶油味碧根果500g原味长寿果美国山核桃零食坚果特产干果包邮35    13.80           百草味 碧根果奶油味100g 坚果零食 干果炒货特产 正品36    18.00           2罐包邮 坚果零食碧根果 奶油味250克休闲零食办公室干货干果37    21.80           退伍老兵在新疆大圆碧根果奶油味薄皮手剥散装小零食两份包邮250g38    39.90           16年新货碧根果奶香味长寿果仁美国山核桃500g39    19.00           【百草味】坚果干果零食 美国山核桃 奶香长寿果碧根果 190g40    170.00          碧根果长寿果美国山核桃坚果炒货奶油味果 10斤整箱散装 5斤包邮41    25.50           【金傻子】正宗傻子特产坚果炒货碧根果长寿果奶油味薄壳238g袋装42    46.90           【三只松鼠_碧根果225gx2袋】零食坚果核桃长寿果干果奶油味43    27.40           萌爸先生新货大尖圆碧根果180g 零食坚果核桃美国长寿果奶油味44    75.90           【三只松鼠_碧根果225gx3袋】零食坚果特产核桃长寿果干果奶油味45    39.90           良品铺子零食坚果组合装 碧根果/夏威夷/巴旦木大礼包360g46    37.90           【三只松鼠旗舰店_碧根果210gx2袋】零食坚果特产山核桃奶油味47    59.90           混合坚果组合装596g碧根果夏威夷果巴旦木零食大礼包干果批发散装48    68.00           良品铺子碧根果仁奶油味干果坚果零食小吃办公室休闲食品盒装150g49    29.80           坚果干果奶油味碧根果罐装250gx2罐装总重500g休闲零食特产包邮50    39.90           17年包邮新货陆哥北美山核桃手剥开口碧根果长寿果中歪奶香味500g51    180.00          碧根果长寿果美国山核桃坚果炒货奶油味果10斤批整箱发 5斤包邮52    16.90           【野山源_碧根果230g/罐】坚果长寿果干果零食奶油味特产山核桃53    27.90           满69包邮三只松鼠碧根果长寿果225g坚果零食特产精选山核桃奶油味54    39.00           零食坚果 奶油味特级美国大碧根果/长寿果/山核桃500g包邮55    15.80           超好吃的碧根果 美国长核桃 五香味 奶油味 益智坚果 100g56    15.80           【方五哥_碧根果250g一袋】山核桃长寿果坚果干果零食57    61.00           包邮【三只松鼠碧根果】炒货坚果美国山核桃长寿果225gX258    39.90           包邮 三只松鼠旗舰店碧根果 坚果特产山核桃长寿果奶香210gx259    52.90           三只松鼠旗舰店碧根果225gx2包邮零食坚果核桃长寿果干果奶油味60    38.88           良品铺子 碧根果 奶香味/椒盐208g*2袋 坚果干果零食长寿果 特价61    42.00           特级五香碧根果野核桃 500克42元两斤包邮，62    39.90           【晨香_中圆碧根果480g】临安特产干果长寿果山核桃休闲零食包邮63    26.00           新疆特产手剥碧根果奶油味五香味野山核桃大果长寿果年货坚果250g64    35.00           【 碧根果仁250g】奶油味长寿果仁罐装 坚果干果零食特产65    46.80           【西域美农_盐焗碧根果250g*2】 零食坚果特产山核桃长寿果盐焗66    38.90           百草味旗舰店碧根果奶油味190gx2袋零食坚果长寿果山核桃干果炒货67    13.80           恒康食品 奶油味碧根果120g袋装 山核桃长寿果坚果干果零食68    29.90           2017新货210gx2袋奶油味山核桃长寿果碧根果干货坚果零食干果袋装69    37.90           百草味碧根果190gx2袋 奶香味长寿果山核桃 坚果干果炒货零食特产70    39.80           【壳太郎_碧根果500g】零食坚果炒货干果特产长寿果山核桃奶油味71    242.00          美国直邮Kirkland 原味碧根果山核桃长寿果 坚果零食908g72    19.92           坚先生奶香味碧根果山核桃坚果炒货零食长寿果大理特产220g/袋73    14.90           果记奶油碧根果180g零食坚果特产长寿果山核桃罐装零食74    15.90           【果味实足-奶油味碧根果200g】零食坚果特产干果长寿果山核桃75    238.00          加拿大美国可兰Kirkland 碧根果又名长寿果山核桃仁908g 生吃年货76    79.90           沃隆美国碧根果仁青岛沃隆原装进口长寿果仁零食特产休闲320g包邮77    37.90           三只松鼠旗舰店碧根果奶油味坚果促销美国山核桃210X2袋促销特价78    129.90          三只松鼠旗舰店坚果组合1025g夏威夷果碧根果巴旦木核桃共五袋79    100.00          三只松鼠旗舰店坚果零食组合简装大礼包夏威夷果碧根果栗子仁花生80    130.00          三只松鼠旗舰店坚果组合零食套餐大礼包碧根果夏威夷果开心果五袋

该示例参考大学mooc课程《python网络爬虫和信息提取》
(http://www.icourse163.org/course/BIT-1001870001)

[笔记]python爬虫：淘宝商品价格信息爬取示例相关推荐

python爬虫淘宝评论_Python爬取淘宝店铺和评论
1 安装开发需要的一些库 (1) 安装mysql 的驱动:在Windows上按win+r输入cmd打开命令行,输入命令pip install pymysql,回车即可. (2) 安装自动化测试的驱动s ...
python爬虫—关于淘宝商品的爬取
之前爬过一次淘宝,当时这个网站没怎么设置很厉害的反爬措施,能够很轻松地获取上面的数据:销量啊.价格啊.以及好评等等,做一些可视化的图表,对于将要在淘宝平台售卖商品的商家具有很好的参考意义. 现在的淘宝 ...
Python爬虫淘宝商品详情页价格、类似数据
在讲爬取淘宝详情页数据之前,先来介绍一款 Chrome 插件:Toggle JavaScript (它可以选择让网页是否显示 js 动态加载的内容),如下图所示: 当这个插件处于关闭状态时,待爬取 ...
python爬取数据分析淘宝商品_python爬取并分析淘宝商品信息
python爬取并分析淘宝商品信息 Tip:本文仅供学习与交流,切勿用于非法用途!!! 背景介绍有个同学问我:"XXX,有没有办法搜集一下淘宝的商品信息啊,我想要做个统计".于是 ...
Python爬虫淘宝基于selenium抓取淘宝商品数据2021年测试过滑动验证
配置一下"可能需要修改的参数",就可以食用底部代码了,ps:可能已失效本文章代码功能准备工作 Python用到的库和准备工作可能需要修改的参数在CMD中打开一个Chrome ...
python爬虫-淘宝商品密码（图文教程附源码）
今天闲着没事,不想像书上介绍的那样,我相信所有的数据都是有规律可以寻找的,然后去分析了一下淘宝的商品数据的规律和加密方式,用了最简单的知识去解析了需要的数据. 这个也让我学到了,解决问题的方法不止一个 ...
selenium+chormdriver+python 实现淘宝的信息爬取
因为我是个爬虫新手,所以对爬虫还不熟练,这几天想着自己做一个淘宝信息的自动爬取,一开始感觉比较简单,但做到了登录界面,发现一直被网站检测出来,不能滑动滑块.接下来从网上翻遍了资料,整理了以下自己的代码 ...
淘宝商品信息爬取（已登录）
感谢此链接对淘宝登录的帮助已成功爬取,以下是源代码: # 目标:获取淘宝搜索页面的信息提取其中的商品名称和价格 # 理解:1.淘宝的搜索接口 2.翻页处理 # 技术路线:requests re # ...
淘宝商品信息爬取，实现词云，并进行饼状图绘制及效果图
对应json文件地址:https://blog.csdn.net/nicholas_K/article/details/86094530 1. 获取了淘宝手机商品的评论和追评 2. 对淘宝评论进行了词 ...

[笔记]python爬虫：淘宝商品价格信息爬取示例

爬取的网站信息

爬取代码编写：

运行结果：

[笔记]python爬虫：淘宝商品价格信息爬取示例相关推荐

最新文章

热门文章