python爬取淘宝手机信息并下载到excel文件中

#coding=GBK
import requests
import re
from xlwt import Workbook
import xlrd
import time

def key_name( number ):
#获取页面的内容并返回
name = '手机'

URL_1="https://s.taobao.com/search?ie=utf8&initiative_id=staobaoz_20170905&stats_click=search_radio_all%3A1&js=1&imgfile=&q="
URL_2 = "&suggest=0_1&_input_charset=utf-8&wq=u&suggest_query=u&source=suggest&p4ppushleft=5%2C48&s="
URL = ( URL_1 + name + URL_2 + str(number))
#print(URL)
res = requests.get( URL )
return res.text

def find_date( text):
#根据整个页面的信息，获取商品的数据所在的HTML源码并放回
reg = r',"data":{"spus":\[({.+?)\]}},"header":'
reg = re.compile(reg)
info = re.findall(reg, text)
return info[0]

def manipulation_data( info, N, sheet ):
#解析获取的HTML源码，获取数据
Date = eval(info)

for d in Date:
T = " ".join([t['tag'] for t in d['tag_info']])
#print(d['title'] + '\t' + d['price'] + '\t' + d['importantKey'][0:len(d['importantKey'])-1] + '\t' + T)

sheet.write(N,0,d['title'])
sheet.write(N,1,d['price'])
sheet.write(N,2,T)
N = N + 1
return N


def main():

book = Workbook()
sheet = book.add_sheet('淘宝手机数据')
sheet.write(0,0,'品牌')
sheet.write(0,1,'价格')
sheet.write(0,2,'配置')
book.save('淘宝手机数据.xls')
#k用于生成链接，每个链接的最后面的数字相差48.
#N用于记录表格的数据行数，便于写入数据
k = 0
N = 1
for i in range(10+1):
text = key_name( k + i * 48 )
info = find_date(text)
N = manipulation_data( info ,N, sheet )

book.save('淘宝手机数据.xls')
print('下载第' + str(i) + '页完成')

if __name__ == '__main__':
main()

python爬取淘宝手机信息并下载到excel文件中相关推荐

Python爬取淘宝商品信息保存到Excel
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 python免费学习资 ...
使用python爬取淘宝商品信息
使用python爬虫爬取淘宝商品信息使用的模块主要有 selenium ,time , re, from selenium import webdriver import time import c ...
python爬取淘宝商品信息_python爬取淘宝商品信息并加入购物车
先说一下最终要达到的效果:谷歌浏览器登陆淘宝后,运行python项目,将任意任意淘宝商品的链接传入,并手动选择商品属性,输出其价格与剩余库存,然后选择购买数,自动加入购物车. 在开始爬取淘宝链接之前, ...
python爬取淘宝商品信息并加入购物车
先说一下最终要达到的效果:谷歌浏览器登陆淘宝后,运行python项目,将任意任意淘宝商品的链接传入,并手动选择商品属性,输出其价格与剩余库存,然后选择购买数,自动加入购物车. 在开始爬取淘宝链接之前, ...
Python 爬取淘宝商品信息栏目
一.相关知识点 1.1.Selenium Selenium是一个强大的开源Web功能测试工具系列,可进行读入测试套件.执行测试和记录测试结果,模拟真实用户操作,包括浏览页面.点击链接.输入文字.提交表 ...
Python搜索爬取淘宝商品信息并存储为csv文件（名称、店铺、销量、地址等）
功能是搜索商品,并把搜到的商品信息一一爬取(多个页面): 爬取商品名称.店铺名称.销量.评论数量.地址等等,然后把信息存储为csv文件- 效果: 首先是程序运行运行完后可以看到目录下出现了一个csv ...
python 提取网页正文_一篇文章教会你用Python爬取淘宝海量信息，把淘宝商品整理成一个表格...
最近看了爬虫又新做了个小作品,来瞅瞅吧~~~ 正文开始因为最近想买ipad,所以想要尝试一下吧淘宝上所有ipad商品做一个统计,把所有ipad商品的信息集合到一个excel里,那么使用爬虫这个程 ...
python 爬取淘宝模特信息
通过本篇博文,介绍一下我对指定信息进行爬取的时候的思路,顺便贴一下代码. 一.首先获取想要爬取的网站的url链接的规则变化可以看出来该网站页面的url结构简单,变化的只是https://mm.tao ...
Python爬取淘宝女模特信息
前言 Python爬取淘宝美女信息下载本地并同时存储mysql数据库,存储数据库用到了pymysql模块,sql语句简单好用,直接上代码,源码请点链接Python-Spiders文集. 项目结构: 本 ...

python爬取淘宝手机信息并下载到excel文件中

python爬取淘宝手机信息并下载到excel文件中相关推荐

最新文章

热门文章