抓取淘宝某类商品名称和价格

import requests
import re
import timedef getHTMLText(url):try:r = requests.get(url, timeout = 30)#设定超时时间r.raise_for_status()r.encoding = r.apparent_encodingreturn r.textexcept:return print("解析网页失败")
def parsePage(li, html):try:counts = re.findall(r'\"view_price\"\:\"[\d\.]*\"',html)#正则获取价格names = re.findall(r'\"raw_title\"\:\".*?\"',html)#正则获取名字for i in range(len(counts)):price = eval(counts[i].split(':')[1])#以:分割，获取价格，同时删除引号等符号title = eval(names[i].split(':')[1])li.append([price, title])except:print("爬取失败")def printGoodList(lis):tplt = "{:4}\t{:8}\t{:16}"print(tplt.format("序号","价格","产品信息"))num = 1for g in lis:num = num + 1print(tplt.format(num, g[0], g[1]))if __name__ == '__main__':goods = "口红"depth = 3start_url = 'http://s.taobao.com/search?q=' + goodslist = []for i in range(depth):try:url = start_url + '&s=' + str(44*i)html = getHTMLText(url)parsePage(list,html)except:continueprintGoodList(list)

抓取淘宝某类商品名称和价格相关推荐

python3 爬虫实战案例（抓取淘宝信息）（淘宝加了搜索必须登录的验证，此方法所到的结果都是0）
需求:对比足球,篮球,乒乓球,羽毛球,网球,相关物品的销售量保存到excle中和抓取淘宝关键字相关信息的销售量,这和之前抓取csdn网站浏览量取不同,抓取csdn浏览量主要是通过bs4Tag标签,而 ...
抓取淘宝商品信息并制作商品信息比价表（以口红为例）
快速抓取淘宝上口红信息 import requests import re import os def getHtmlText(url): try: r=requests.get(url,timeou ...
Python爬虫实战（4）：抓取淘宝MM照片
Python爬虫入门(1):综述 Python爬虫入门(2):爬虫基础了解 Python爬虫入门(3):Urllib库的基本使用 Python爬虫入门(4):Urllib库的高级用法 Python爬虫 ...
scrapy抓取淘宝女郎
scrapy抓取淘宝女郎准备工作首先在淘宝女郎的首页这里查看,当然想要爬取更多的话,当然这里要查看翻页的url,不过这操蛋的地方就是这里的翻页是使用javascript加载的,这个就有点尴尬了,找 ...
Python爬虫实战八之利用Selenium抓取淘宝匿名旺旺
其实本文的初衷是为了获取淘宝的非匿名旺旺,在淘宝详情页的最下方有相关评论,含有非匿名旺旺号,快一年了淘宝都没有修复这个. 很多人学习python,不知道从何学起. 很多人学习python,掌握了基本语 ...
python爬虫淘宝视频_Python2爬虫：以抓取淘宝MM为例（实战）
本篇目标 1.抓取淘宝MM的姓名,头像,年龄 2.抓取每一个MM的资料简介以及写真图片 3.把每一个MM的写真图片按照文件夹保存到本地 4.熟悉文件保存的过程 1.URL的格式在这里我们用到的URL ...
抓取淘宝天猫的商品的促销价格
通过商品的url获取促销价,天猫淘宝的促销价并不是直接生成的,而是通过js间接生成的.所以通过jsoup等工具无法抓取. 首先是尝试使用htmlUnit,因为其可以,模拟浏览器运行js.css.经试验 ...
Python爬虫实战：抓取淘宝MM照片
本篇目标 1.抓取淘宝MM的姓名,头像,年龄 2.抓取每一个MM的资料简介以及写真图片 3.把每一个MM的写真图片按照文件夹保存到本地 4.熟悉文件保存的过程 1.URL的格式在这里我们用到的URL ...
抓取淘宝司法拍卖数据
抓取淘宝司法拍卖数据之前在某平台看到一些人发布需求,需要爬取淘宝司法拍卖的数据.在这里给大家分享一下,有需要的就直接复制我的代码,粘贴回去就可以直接用了,今天下午才用了的是可以完整的抓取想要的所有数 ...

抓取淘宝某类商品名称和价格

抓取淘宝某类商品名称和价格相关推荐

最新文章

热门文章