功能描述

目标：获取淘宝搜索页面的信息，提取其中商品名称和价格
理解：淘宝的搜索接口

遇到的困难

正则表达式的书写
直接爬取cookie值过期，输出结果为空，所以需要header

解决：在所需爬取页面中，按F12，点击network，刷新页面，点击出现的search?q=，向下翻可以看见cookie与user-agent

页面间距值的查找

代码部分

# =============================================
# --*-- coding: utf-8 --*--
# @Time    : 2021-02-14
# @Author  : Oraer_
# @CSDN    : https://blog.csdn.net/Oraer
# @FileName: 淘宝商品比价定向爬虫.py
# @Software: PyCharm
# =============================================
import re
import requestsdef getHTMLText(url, header):try:r = requests.get(url, headers=header, timeout=30)r.raise_for_status()r.encoding = r.apparent_encodingreturn r.textexcept:return ""def parsePage(ilt, html):try:plt = re.findall(r'\"view_price\"\:\"[\d\.]*\"', html)   # 价格tlt = re.findall(r'\"raw_title\"\:\".*?\"', html)        # 商品名称for i in range(len(plt)):price = eval(plt[i].split(':')[1])                   # 将价格从字符串中分开title = eval(tlt[i].split(':')[1])                   # eval()ilt.append([price, title])                           # 将每一对价格和商品名称 添加进列表iltexcept:print("...")def printGoodsList(ilt):tplt = "{:4}\t{:8}\t{:16}"                    # 表头print(tplt.format("序号", "价格", "商品名称"))count = 0for g in ilt:count = count + 1print(tplt.format(count, g[0], g[1]))def main():goods = '华为'        # 爬取商品depth = 2            # 爬取深度start_url = 'https://s.taobao.com/search?q=' + goodsheader = {"Cookie": 'thw=cn; cna=l4qWGUADnlsCAdpNONov0COS; sgcookie=E100amQ%2FAqzHrAWNxy6h4p2Pjb8E4ps5AMe5dY7LTxvY5u78KCAW52HbJyHBByU7qNOtGW%2BIgHtGXv6vpAL71HifU1yFtej6bQezPELhj7XDCOU%3D; tracknick=tb956885452; _cc_=UtASsssmfA%3D%3D; enc=IgiMy3EBqFA9uaISLYfat5cWOuCoWLTHbC8TLE9Rn5v5Ev%2Bgjsi10obFxjMaKoCYmDwApXjgWF4ni9XWrwe%2FNXGKL69AShbXmuWlLvXFM80%3D; hng=CN%7Czh-CN%7CCNY%7C156; miid=3845148332138405182; _m_h5_tk=8f22d821383d7a5ea68960d13c500f93_1644847346926; _m_h5_tk_enc=497b6b19efc8a329b36db37d929954ca; xlly_s=1; alitrackid=www.taobao.com; lastalitrackid=www.taobao.com; cookie2=1f09b4a01bff2126f0a64239b78b39ba; t=c81afa8b8c905660e9138e49e7735d8b; _tb_token_=faae5d4ef43f4; JSESSIONID=90DC4AD7D51644F3EEAC9AB890CC322F; tfstk=ceJdBQbK7V0nOOs90BhMNv9s3LJdZIZdrk_8ecovmfY7JayRi8vDHrKoOg7VJcC..; l=eBMZ8HgggLfBS9DBBOfZlurza77O9IRbouPzaNbMiOCPOz5e5pnNW6caISYwCnGVHsK2R3uqBzNwBf8GlyCq0-Y3L3k_J_VsndC..; isg=BGBg3Ct1FqnH86moFMsBh4k3MW4yaUQzqWf6HtpxEXsO1QH_gnphw2GnaX3V4_wL',"User-Agent": 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36 Edge/18.17763'}  # 发送Headers的请求 且 需要cookie信息infoList = []        # 商品名称和价格for i in range(depth):try:url = start_url + '&s=' + str(44*i)  # 对爬取页面连接 每页间距44html = getHTMLText(url, header)      # 获取页面文本信息parsePage(infoList, html)            # 把商品名称 价格 提取到infoListexcept:continueprintGoodsList(infoList)                     # 打印爬取结果if __name__ == '__main__':main()

运行结果

序号   价格          商品名称            1   6699.00     华为MateBook14s 512G锐炬显卡14.2英寸触控屏智慧性能轻薄本2 17799.00    华为折叠屏手机 Mate X2 折叠手机 华为x2 华为5G手机3   888.00      Huawei/华为 畅享20 Pro官方正品旗舰手机4 2379.00     顺丰当天发+可减400 HONOR/荣耀60 5G手机官方旗舰店官网全网通新款正品智能曲面50pro非华为手机荣耀60pro5    2799.00     24期免息 送碎屏宝 Huawei/华为nova 9手机 华为手机 华为nova9 华为nova9手机 华为nova9pro 华为官方旗舰店6 4499.00     华为HUAWEI MatePad Pro 12.6英寸鸿蒙HarmonyOS系统OLED屏幕平板电脑学习8GB12GB内存7  11588.00    当天发【赠碎屏保24期免息】华为/HUAWEI Mate 40 RS 5G手机官方旗舰店正品保时捷版新品Pro官网典藏版8   19088.00    24期免息【当天发】HUAWEI/华为 Mate X2 5G手机官方正品官网新款旗舰店mate30e折叠屏matex2典藏版PU素皮9 2099.00     HUAWEI/华为nova 8 SE华为手机大屏4G全网通6400万高清四摄66W超级快充OLED华为官方旗舰店10  5188.00     24期免息花呗分期付款0首付 HUAWEI/华为Mate 40E 5G智能手机官方旗舰店正品麒麟旗舰芯片曲面屏新款mate40e11  2099.00     送碎屏宝【优惠200元】Huawei/华为Nova8 SE 官方旗舰店官网正品新款全网通手机直降66W快充学生游戏大屏华为12 1299.00     vivo WATCH 2新品独立通讯超长续航智能运动蓝牙健康手表官方旗舰正品防水兼容华为13  2699.00     可减150元 花呗24期分期免息 HONOR/荣耀60 Pro 手机5G官方旗舰店官网新款正品龚俊同款50pro非华为荣耀60pro14    10088.00    当天发【24期免息/可减1200】HUAWEI/华为P50 Pocket宝盒折叠手机官方旗舰店正品p50pro鸿蒙新款折叠屏定制版15 1379.00     可减160元+顺丰当天发 honor/荣耀X30i 5G手机荣耀官方旗舰店官网新品上市正品荣耀x20智能非华为新荣耀x30i16   2799.00     当天发【24期免息送碎屏宝】Huawei/华为nova 9手机官方旗舰店正品nova9pro曲面屏7鸿蒙官网新款p50系统nova817    2099.00     Huawei/华为nova 8 SE4G手机全网通正品学生拍照游戏手机nova8se18    2499.00     Huawei/华为MatePad 11平板电脑10.95英寸matepad鸿蒙办公学习19   1488.00     Huawei/华为手表WATCH GT3/GT典藏版运动智能gt3血氧监测蓝牙通话20 6188.00     Huawei/华为P50手机4G全网通官方旗舰店正品搭载鸿蒙p50智能手机21 3499.00     Huawei/华为nova9pro 4G手机骁龙鸿蒙HarmonyOS新品智能Nova9Pro22   2999.00     【移动用户专享】HONOR/荣耀60 5G手机官方旗舰店官网全网通新款正品智能曲面50pro非华为手机荣耀60pro23    6199.00     【24期免息  领劵88劵省100元】Huawei/华为 Mate 40 pro 5G手机正品mate40pro新品mate40pro手机直降mate4024 2599.00     【24期免息下单减150 】华为平板MatePad11平板电脑二合一10.95英寸2021新款pad全网通话pro学生平板游戏办公25 4649.00     【M40pro+黑闪送】Huawei/华为 Mate 40 Pro+ MATE40 pro mate4026    3799.00     【咨询减600】华为MatePadPro平板电脑10.8英寸2021新款pad二合一办公学生ipad pro官方旗舰店正品matepad1127    3799.00     【咨询减600】华为平板MatePadPro 10.8寸2021新款pad平板电脑二合一Pro学生办公iPad官方旗舰正品matepad1128    2899.00     华为Matebook14/13 i7轻薄荣耀锐龙触屏i5学生游戏新款笔记本电脑29   2780.00     华为HUAWEI Huawei Mate30Pro 5G官方正品旗舰手机mate30原厂封装30    3288.00     分期免息Huawei/华为 p40 pro 5G新款官方旗舰豪礼 P40pro+手机31   5999.00     新品Huawei/华为 P50 Pro手机官方旗舰店官网正品华为P50鸿蒙系统32   2889.00     华为Matebook13/14s新品i5/7锐龙版学生办公超薄全面屏笔记本电脑33   2599.00     【咨询领大额优惠！】华为手表Watch 3 pro智能eSIM独立通话心率血糖血氧检测男女运动手环官方旗舰正品鸿蒙34  1899.00     当天发货【24期分期】HONOR/荣耀50 手机系列v50新款5G十直降pro正品SE曲屏40华为手机官方旗舰店官网全网通35 228.00      【2022新款】华强北s7手表可接打电话DT7MAX智能PD7MAX+蓝牙测心率血压运动商务DT7proMAX NFC适用苹果华为36    2599.00     华为手表Watch 3 pro智能esim独立通电话男女蓝牙运动手环心率血氧检测官方旗舰正品现货鸿蒙[966]37   1988.00     HUAWEI Huawei Mate 30 Pro 5G麒麟990 曲面屏E 徕卡40相机5G手机38 6499.00     Huawei/华为MateBook 14十一代I5学生轻薄办公商务笔记本2021款39 5258.00     新品Huawei/华为 Mate 40 5G手机 mate40PRO+ 保时捷设计mate40e40 1299.00     【顺丰当天发+送荣耀耳机】HONOR/荣耀X20 5G手机华为手机官方旗舰店官网x20se老人学生千元智能手机畅玩20se41    2628.00     HUAWEI Mate30 mate30pro 5G全网通直屏曲屏防水华为官方正品手机42   898.00      【顺丰当天发+送碎屏保】HUAWEI/华为畅享20 SE手机官方旗舰正品店官网畅享20se直降新款华为学生游戏手机43    1528.00     Huawei/华为 nova 7 5G全网通麒麟985官方正品曲面屏nova7pro手机44  917.00      honor 荣耀 荣耀9x 原装正品升降摄像头4G智能学生华为手机包邮45   699.00      华为HUAWEI 畅享9 PLUS畅想9S正品10s老人智能手机官方旗舰店官网46   3199.00     现货速发Huawei/华为 p40 pro 5G手机P40官方旗舰全面屏P40新款47 1899.00     官网honor/荣耀 荣耀60 Pro手机5G官方旗舰店华为荣耀60骁龙778G+48    2504.00     【咨询更优惠】华为平板MatePad11新款平板电脑10.95英寸HUAWEI鸿蒙学习办公绘画2网课Pro学生全面屏ipad官方49  2504.00     【咨询更优惠】华为平板MatePad11新款平板电脑10.95英寸HUAWEI鸿蒙学习办公绘画2网课Pro学生全面屏ipad官方50  2599.00     新款Huawei/华为 NOVA 9手机官方旗舰店官网正品鸿蒙Hi Nova9Pro51    13088.00    新品华为Mate X2典藏折叠屏Huawei/华为 Mate X2代5G麒麟9000旗舰52  8999.00     新品Huawei/华为 P50 pocket折叠屏麒麟9000 华为p50宝盒折叠手机53   1388.00     【太空人表盘!】华为手表Watch GT2运动智能电话手表3pro蓝牙通话液晶商务男女手环血氧官方正品旗舰现货46mm54   3199.00     Huawei/华为 p40 pro 鸿蒙系统官方旗舰手机5G全网通华为p40新款55  2383.00     现货 Huawei/华为 nova 9官方正品旗舰店新品nova9 Pro骁龙手机56 1999.00     【送礼】华为平板MatePad10.4英寸平板电脑2021鸿蒙二合一学生学习专用11官方旗舰10新款全网通pro全面屏ipad57   1899.00     【现货速发】华为平板MatePad平板电脑10.4英寸2021新款鸿蒙OS教育ipad11二合一手机全网通话学生Pro官方旗舰58   5988.00     24期免息【送碎屏险当天发货】Huawei/华为P50Pro手机全网通 华为p50宝盒 华为p50 pro 华为官方旗舰店官网59   7738.00     【现货发】Huawei/华为Mate 40 Pro 5G手机官方旗舰店mate40pro官网P50正品40e 华为mate4060   5499.00     华为/HUAWEI MateBook 13  11代酷睿8GB/16GB+512GB锐炬显卡笔记本电脑2K触控护眼轻薄办公全面屏wifi 661   6499.00     华为笔记本电脑HUAWEI MateBook 13s 第11代intel酷睿处理器 16GB+512GB锐炬显卡13.4英寸2.5K性能轻薄本62  2699.00     顺丰速发送碎屏宝新品上市Huawei/华为nova 9手机官方旗舰店官网正品新款nova9pro系列直降120Hz鸿蒙nova863  2699.00     当天发【24期免息】Huawei/华为nova 9手机新款官方nova8pro旗舰店nova8se系列5G鸿蒙p官网直降40正品64  2799.00     顺丰速发5G新品送碎屏宝Huawei/华为nova 8 Pro手机官方旗舰店正品曲面屏新款nove8直降9官网nova8系列pro65 2469.00     【可减350元+花呗24期分期】HONOR/荣耀60 5G手机官方旗舰店官网正品新款荣耀50系列曲面屏非华为荣耀60pro66    6688.00     当天发可减720元[24期免息]Huawei/华为 P50 Pro手机官方旗舰官网p40pro新款5g直降典藏版宝盒pocket正品67    1319.00     可减70元+顺丰当天发 HONOR/荣耀X30 5G手机官方旗舰店官网正品新款x30i智能学生非华为荣耀x30手机max 30i68 1488.00     当天发【24期分期送礼】华为手表Watch GT3智能电话手表通心率血氧监测男女运动蓝牙手环2p官方旗舰正品46mm69    5088.00     当天发【24期免息可减750】Huawei/华为Mate 40 pro 5G手机官方旗舰店正品mate50鸿蒙40e官网直降p50 60 M4070  6099.00     HUAWEI/华为Mate 40 Pro 4G手机智能系统mate40pro 4g曲面屏鸿蒙71    2599.00     华为手表Watch3/Pro智能esim独立通话电话运动男女蓝牙watch3/pro72    999.00      Huawei/华为畅享20E手机4G全网通新品20e官方4g正品老人学生畅想73    10988.00    Huawei/华为P50 Pocket新款宝盒折叠屏手机鸿蒙系统官方自营店p5074  2988.00     华为血压手表WATCH D运动智能腕部心电记录仪旗舰手环官方watch d75 6399.00     官方正品Huawei/华为Mate40 pro+全网通5G手机mate40秋日夏日胡杨76  3738.00     官方原装Huawei/华为P40旗舰5GP40pro麒麟990全网通手机正品现货77  2499.00     华为MatePad 11平板电脑10.95英寸2021新款HarmonyOS鸿蒙120Hz高刷新率pad学习办公游戏二合一官方旗舰店ipad78    1569.00     华为HUAWEI HUAWEI P30 PRO手机曲面屏P30官方正品鸿蒙手机P4079    1388.00     Huawei/华为 Mate 20 Pro官方原装正品智能手机华为手机Mate2080 2699.00     华为笔记本电脑Matebook13/D14轻薄便捷学生手提办公2022新款荣耀81   9299.00     现货顺丰包邮Huawei/华为 P50 Pocket折叠屏手机P50宝盒P50pocket82 369.00      【官方正品】华为手机通用学生电话手表初高中生专用男女孩插卡4G全网通视频通话儿童智能手表防水定位多功能83   12688.00    mate X2典藏版Huawei/华为 Mate X2麒麟9000官方旗舰5G二代折叠屏84  2988.00     华为手表 WATCHD华为腕部心电血压记录仪华为watch d华为手表智能85 2318.00     Huawei/华为 华为MatePad11平板电脑鸿蒙系统2021款学生学习专用86  5509.00     【正常发货】Huawei/华为 MateBook E 2022款 笔记本电脑平板2合187   4448.00     现货Huawei/华为 P50 Pro手机官方正品P50Pocket折叠屏4G麒麟900088 1278.00     现货 honor/荣耀 荣耀X30 5G手机荣耀官方旗舰店正品智能华为X30i89   2099.00     分期免息/送豪华礼! Huawei/Nova8Pro 8+256G 6.72曲面屏快充5g为手机官方正品旗舰手机店官网正品50pro 990 1299.00     当天发!送豪华礼 Huawei/华为畅享20Pro 8+128G 6.5英寸4800W像素 5g华为手机官方旗舰手机店官网正品优畅享91   1899.00     【咨询送礼】华为平板MatePad平板电脑10.4英寸2021新款鸿蒙教育11学习全面屏全网通Huawei手机ipad二合一Pro92 855.00      顺丰速发+送碎屏险 HONOR/荣耀畅玩20 手机官网旗舰店畅享20新款学生老人千元机荣耀20Pro智能非华为手机进程已结束，退出代码为 0

python网络爬虫-淘宝商品比价定向爬虫相关推荐

网络爬虫与信息提取--正则表达式---淘宝商品比价定向爬虫
淘宝商品比价定向爬虫本实例爬取时间2019.9.11 由于淘宝代码的不断完善更新,本爬取代码已经不能爬取出商品信息内容原因:结果为空:打印html看到,需要登录淘宝在网上找解决方法,可以复制co ...
Python网络爬虫与信息提取笔记08-实例2：淘宝商品比价定向爬虫
Python网络爬虫与信息提取笔记01-Requests库入门 Python网络爬虫与信息提取笔记02-网络爬虫之"盗亦有道" Python网络爬虫与信息提取笔记03-Reques ...
淘宝商品比价定向爬虫-Python网络爬虫与信息提取-北京理工大学嵩天教授
功能描述目标:获取淘宝搜索页面的信息,提取其中的商品名称和价格: 理解:淘宝的搜索接口.翻页的处理: 以课程中的搜索书包为例,对应的url如下: (1)起始页: (2)第二页:最后的s=44: (3 ...
python爬虫笔记（六）网络爬虫之实战（1）——淘宝商品比价定向爬虫（解决淘宝爬虫限制：使用cookies）...
1. 淘宝商品信息定向爬虫链接: https://www.taobao.com/ 2. 实例编写 2.1 整体框架 # -*- coding: utf-8 -*-import requests i ...
基于python的购物比价毕设_【Python爬虫】淘宝商品比价定向爬虫
#CrowTaobaoPrice.py importrequestsimportredef getHTMLText(url):#获得网页信息 headers = {'User-Agent': 'Moz ...
优化淘宝商品比价定向爬虫--爬虫的浏览器伪装
目录一. 原代码问题二.淘宝Robots协议三.User-Agent 四.查找headers和cookie 五. 完整代码一. 原代码问题爬取不到任何内容处理原因:由于淘宝的设置,虽然可以 ...
爬虫（6）—— 淘宝商品比价定向爬虫
该实例来源于中国大学慕课,视频教学链接如下: 传送门目标: 获取淘宝搜索页面的额信息,提取其中的商品名称和价格关键点: 淘宝的搜索接口翻页的处理从以上图片中可以看出,搜索接口的形式是: htt ...
淘宝商品价格定向爬虫
淘宝商品价格定向爬虫 (1) 目标:获取淘宝搜索页面的信息,提取其中的商品名称和价格要实现淘宝的搜索接口,翻页的处理.主要采用了Requests, bs4库,re库 (2)程序的结构设计: 步骤1 ...
Python爬虫实例之淘宝商品比价定向爬取！爬虫还是很有意思的！
这次就模仿之前做的总结进行初次尝试目标:获取淘宝搜索页面的信息,提取其中的商品名称和价格理解:获取淘宝的搜索接口淘宝页面的翻页处理技术路线:requests--re 准备工作获取淘宝搜索商品的 ...
python爬虫淘宝登录_python爬虫实现模拟淘宝登录
就算所有人都不支持你.这条路会很曲折,你也会一度认为是不是自己选错了,但只要坚持,就算最后没有成功,但努力了就不会有遗憾. python爬虫模拟淘宝登录小贴士这个爬虫和搜索引擎的爬虫是有区别的.搜 ...

python网络爬虫-淘宝商品比价定向爬虫

功能描述

遇到的困难

代码部分

运行结果

python网络爬虫-淘宝商品比价定向爬虫相关推荐

最新文章

热门文章