python 科幻片采集

豆瓣科幻片1000条记录

import requests
import xlwt
import json
import timedef start():wb = xlwt.Workbook()ws = wb.add_sheet('douban')ws.write(0, 0, "影片名称")ws.write(0, 1, "评分")row = 1for i in range(0,1000,20):url= "https://movie.douban.com/j/new_search_subjects?sort=U&range=0,10&tags=&start="+str(i)+"&genres=%E7%A7%91%E5%B9%BB"headers ={'Cookie': 'bid=HNf-ab2-lJI; gr_user_id=031667b7-5f8a-4ede-b695-e52d9181fe11; __gads=ID=60db1851df53b133:T=1583253085:S=ALNI_MbBwCgmPG1hMoA4-Z0HSw_zcT0a0A; _vwo_uuid_v2=DD32BB6F8D421706DCD1CDE1061FB7A45|ef7ec70304dd2cf132f1c42b3f0610e7; viewed="1200840_27077140_26943161_25779298"; ll="118165"; __yadk_uid=5OpXTOy4NkvMrHZo7Rq6P8VuWvCSmoEe; ct=y; ap_v=0,6.0; push_doumail_num=0; push_noty_num=0; _pk_ref.100001.4cf6=%5B%22%22%2C%22%22%2C1583508410%2C%22https%3A%2F%2Fwww.pypypy.cn%2F%22%5D; _pk_ses.100001.4cf6=*; dbcl2="131182631:x7xeSw+G5a8"; ck=9iia; _pk_id.100001.4cf6=17997f85dc72b3e8.1583492846.4.1583508446.1583505298.','User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36 OPR/66.0.3515.115'}res =requests.get(url,headers = headers)j = json.loads(res.text)lens= len(j['data'])for ind in range(0,lens):title = j['data'][ind]['title']rate = j['data'][ind]['rate']print(title+"---"+rate)ws.write(row, 0, title)ws.write(row, 1, rate)row = row + 1time.sleep(8)wb.save('douban.xls')
start()

python 科幻片采集相关推荐

cvtcolor python opencv_13行代码实现：Python实时视频采集（附源码）
程序逻辑 Python实时视频采集程序主要流程共分为10个步骤,具体如下图所示: 流程描述: 库文件导入:导入程序依赖的python安装包: 摄像头管理对象创建和初始化:是对opencv VideoC ...
python如何采集同花顺股票日度历史数据
今天研究同花顺股票历史数据采集比较有意思,所以记录一下. 抓包请求分析我们通过下面链接访问同花顺某只股票详情页面,这里以[贵州茅台]为例 http://stockpage.10jqka.com.cn ...
Python批量采集无水印短视频内容
前言短视频流行起来可不是一年两年了,现在很多年轻人都在玩短视频,有些的单纯就是看看,而有些的就是自己发视频我每天刷视频,一刷就停不下来,应该还是有蛮多人跟我一样的吧那有没有想法用自己所学的pyt ...
Python爬虫采集抓取：Python3.x+Fiddler 采集抓取 APP 数据
随着移动互联网的市场份额逐步扩大,手机 APP 已经占据我们的生活,以往的数据分析都借助于爬虫采集爬取网页数据进行分析,但是新兴的产品有的只有 APP,并没有网页端这对于想要提取数据的我们就遇到了些问 ...
Python爬虫|采集开源众包的悬赏任务，自动翻页
前言现在互联网,有很多网站提供一些接单外派的形式,提供给有能力的人或者团队去接单.比如说,很多人熟悉的猪八戒,程序员客栈,CODING 码市,开源众包等等平台,相信很多同学也都知道. 如果要第一时间 ...
【python】又拍云采集工具助手exe带python图片采集源码
[python]又拍云采集工具助手exe带python图片采集源码论坛的老哥要的东西!练手试了一下! 技术比较渣,见谅! 拿去玩! 适合想要获取又拍云相册图片的需求! 自己测试了一下,没有用多线 ...
Python批量采集商品数据并使用多线程（含完整源码）
前言嗨喽,大家好,这里是魔王~ 本次目的: Python批量采集商品数据知识点: 爬虫基本流程非结构化数据解析 csv数据保存线程池的使用开发环境: python 3.8 pycharm r ...
Python批量采集亚马逊商品数据 (含完整源代码)
前言嗨喽 ! 大家好吖,这里是魔王~ 亚马逊公司,是美国最大的一家网络电子商务公司,位于华盛顿州的西雅图是网络上最早开始经营电子商务的公司之一,亚马逊成立于1994年今天教大家用Python批量 ...
游戏玩的多，陪玩你了解的多吗？用Python来采集陪玩数据，看看行情和美照
前言 (｡･∀･)ﾉﾞ嗨大家好,这里是池鱼现在应该每个人都玩过游戏吧,有些的上瘾,天天玩停不下来,有些的倒是没啥感觉有游戏就肯定有陪玩啊,毕竟当朋友忙的时候,自己一个人玩着多没意思,所以就是说, ...

python 科幻片采集

python 科幻片采集相关推荐

最新文章

热门文章