多协程抓取薄荷网食物热量下篇

如题
from gevent import monkey
monkey.patch_all
import gevent,requests,openpyxl,time
from gevent.queue import Queue
from bs4 import BeautifulSoup
start=time.time()
headers={
‘User-Agent’:‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36’
}
url_master=[‘http://www.boohee.com/food/view_menu’]
url_list=[]
url_dict={}
for i in range(1,11):
u_i=‘http://www.boohee.com/food/group/’+str(i)
url_master.append(u_i)

for i in url_master:
url_slave=[]
for j in range(1,11):
url_slave.append(i+’?page=’+str(j))
url_list.append(i+’?page=’+str(j))
url_dict[i]=url_slave

value_list=[]
for value in url_dict.values():
value_list.append(value)

work=Queue()
for url in url_list:
work.put_nowait(url)

content=[]
def spider():
global value_list,zero,one,two,three,four,five,six,seven,eigth,nine,ten
while not work.empty():
url=work.get_nowait()
if url in value_list[0]:
zero=res(url)
elif url in value_list[1]:
one=res(url)
elif url in value_list[2]:
two=res(url)
elif url in value_list[3]:
three=res(url)
elif url in value_list[4]:
four=res(url)
elif url in value_list[5]:
five=res(url)
elif url in value_list[6]:
six=res(url)
elif url in value_list[7]:
seven=res(url)
elif url in value_list[8]:
eigth=res(url)
elif url in value_list[9]:
nine=res(url)
elif url in value_list[10]:
ten=res(url)

def res(url):
res=requests.get(url,headers=headers)
#print(url,res.status_code)
soup=BeautifulSoup(res.text,‘html.parser’)
a=soup.find_all(‘div’,class_=‘text-box pull-left’)
for i in a:
title=i.find(‘a’)[‘title’]
href=‘http://www.boohee.com’+i.find(‘a’)[‘href’]
calorie=i.find(‘p’).text
content.append([title,href,calorie])
return content

def write(sheet,list):
for i in list:
sheet.append(i)

task_list=[]
for x in range(5):
task=gevent.spawn(spider)
task_list.append(task)
gevent.joinall(task_list)

wb=openpyxl.Workbook()
name_list=[‘菜肴’,‘谷薯芋、杂豆、主食’,‘蛋类、肉类及制品’,‘奶类及制品’,‘蔬果和菌藻’,‘坚果、大豆及制品’,‘饮料’,‘食用油、油脂及制品’,‘调味品’,‘零食、点心、冷饮’,‘其他’]
sheet=wb.active
sheet.title=name_list[0]
for i in range(1,11):
wb.create_sheet(name_list[i])
for i in name_list:
sheet=wb[i]
sheet[‘A1’]=‘菜名’
sheet[‘B1’]=‘链接’
sheet[‘C1’]=‘卡路里’

content_list=[zero,one,two,three,four,five,six,seven,eigth,nine,ten]
for i in range(11):
write(wb[name_list[i]],content_list[i])

wb.save(‘boohee.xlsx’)
wb.close()

end=time.time()
print(end-start)

多协程抓取薄荷网食物热量下篇相关推荐

一日一技：爬取薄荷网食物热量
本文仅供学习参考. 薄荷健康秉承"为年轻家庭提供更健康.更美味的食品和饮料"的公司使命,为8000万用户提供个性化智能营养处方与一站式健康解决方案,致力于成为年轻家庭首选的健康生活 ...
SpiderFlow平台v0.3.0初次使用并爬取薄荷网的热量和减法功效
spider-flow 作为web爬虫他可以简单的说是新一代的爬虫平台,以图形化方式定义爬虫流程,不写代码即可完成爬虫. 也就是说我们不用在刻意的为了一些数据就去学一下语言如python,我们只要画个 ...
python卡路里程序_SpiderFlow平台v0.3.0初次使用并爬取薄荷网的热量和减法功效
spider-flow 作为web爬虫他可以简单的说是新一代的爬虫平台,以图形化方式定义爬虫流程,不写代码即可完成爬虫. 也就是说我们不用在刻意的为了一些数据就去学一下语言如python,我们只要画个 ...
python从网址爬图片协程_python 用 gevent 协程抓取海量网页
python作为爬虫利器,抓网页的方式简洁明了.爬成百上千的网页,都可以很快爬完,但是如果网页数量上万呢?速度就不能忍受了. 这是一段爬取页面的函数,用了requests库:1 2 3 4 5impo ...
Python异步爬虫之协程抓取妹子图片(aiohttp、aiofiles)
目录前言一.什么是协程? 二.协程的优势三.代码分析 1.引入库 2.获取所有时间线的链接 3.获取一个时间线中所有相册的链接 4.获取一个相册中所有的图片链接以及相册的名字 5.下载并保存图片 ...
链家网开源java_异步协程爬取链家租房信息
异步协程抓取链家数据+pandas写入csv import asyncio import aiohttp import pandas from bs4 import BeautifulSoup fro ...
练习---爬取薄荷网所有食物卡路里，并分类放入excel中
首先薄荷网里有11种大的食物分类,每种大的食物分类里有10页,每页10个食物及热量记录.本来想把这一共110个url都放入queue队列中,然后爬取,但是这样会打乱食物的分类,所以就只把每个食物大类的 ...
async 异步抓取花瓣网高清大图 30s爬取500张
废话不多说,直接上代码,不懂得看注释先安装 pip install aiohttp 1 "异步抓取花瓣网图片" 2 3 # pip install aiohttp 4 imp ...
Python分别用单线程，多线程，异步协程爬取一部小说，最快仅需要5s
文章目录单线程爬取多线程爬取异步协程爬取本文运用了三种方式爬取一整部小说,分别运用了单线程爬取,多线程爬取和异步协程爬取. 小说网址:` http://www.doupo321.com/dou ...

多协程抓取薄荷网食物热量下篇

多协程抓取薄荷网食物热量下篇相关推荐

最新文章

热门文章

多协程抓取薄荷网食物热量 下篇

多协程抓取薄荷网食物热量 下篇相关推荐

最新文章

热门文章

多协程抓取薄荷网食物热量下篇

多协程抓取薄荷网食物热量下篇相关推荐