Forward团队-爬虫豆瓣top250项目-模块开发过程
项目托管平台地址:https://github.com/xyhcq/top250
开发模块功能: 写入文件功能
开发时间:3小时
实现将爬取到的信息写入到文件中的功能
实现过程:
# 打开文件 f=open("top250.txt","w")
在别的队员写的代码基础上,加入功能代码
def getData(html):# 分析代码信息,提取数据soup = BeautifulSoup(html, "html.parser")# 找到第一个class属性值为grid_view的ol标签movieList=soup.find('ol',attrs={'class':'grid_view'})# 找到所有的li标签for movieLi in movieList.find_all('li'): # 找到第一个class属性值为hd的div标签movieHd=movieLi.find('div',attrs={'class':'hd'})# 找到第一个class属性值为title的span标签 #也可使用.string方法# 获取电影名字movieName=movieHd.find('span',attrs={'class':'title'}).getText()print movieNamef.write('电影名:'+movieName.encode('utf-8')+' ')# 获取电影链接movieUrl=movieHd.find('a class="" href="')print movieUrl# 写入文件f.write('链接:'+str(movieUrl)+' ')# 获取电影导演/演员movieBd = movieLi.find('div', attrs={'class': 'bd'})movieSF=movieBd.find('p',attrs={'class':''}).getText()print movieSF# 写入文件f.write('Staff:'+movieSF.encode('utf-8')+' ')# 获取电影的评分movieScore=movieLi.find('span',attrs={'class':'rating_num'}).getText()print movieScore# 写入文件f.write('评分:'+movieScore.encode('utf-8')+' ')#获取电影的评论数movieEval=movieLi.find('div',attrs={'class':'star'})movieEvalNum=re.findall(r'\d+',str(movieEval))[-1]print movieEvalNumf.write('评论数:'+movieEvalNum.encode('utf-8')+' ')# 获取电影短评movieQuote = movieLi.find('span', attrs={'class': 'inq'})# 有的电影没有短评,为防止报错,加次if(movieQuote):print movieQuote.getText()# 写入文件f.write('短评:'+movieQuote.getText().encode('utf-8')+'\n')else:# 写入文件f.write('短评:'+"这个电影没有短评"+'\n')
最后
# 关闭文件,否则容易写入不全 f.close()
遇到的问题:
刚开始写入文件时会报错,错误提示是不能写入,后来发现文件编码不支持ascii,转换了一下编码 .encode('utf-8') 就正常了
转载于:https://www.cnblogs.com/kasumis/p/7739478.html
Forward团队-爬虫豆瓣top250项目-模块开发过程相关推荐
- 团队-爬虫豆瓣top250项目-模块开发过程
项目托管平台地址:https://gitee.com/ningshuyoumeng/TuanDui-PaChongDouBantop250XiangMu-MoKuaiKaiFa 开发模块功能: 功获取 ...
- 《Forward团队-爬虫豆瓣top250项目-设计文档》
队长博客:http://www.cnblogs.com/mazhuangmz/ 成员:马壮,李志宇,刘子轩,年光宇,邢云淇,张良 设计方案: 1.能分析HTML语言: 2.提取重要数据,并保存为文本文 ...
- Forward团队-爬虫豆瓣top250项目-设计文档
组长地址:http://www.cnblogs.com/mazhuangmz/p/7603594.html 成员:马壮,李志宇,刘子轩,年光宇,邢云淇,张良 设计方案: 1.能分析HTML语言: 2. ...
- 团队-爬虫豆瓣top250项目-项目进度
注: 正则表达式在线检测工具:http://tool.oschina.net/regex/ 进程: 1.源代码HTML #将url转换为HTML源码 def getHtml(url): try ...
- 爬虫豆瓣top250项目-开发文档
项目托管平台地址:https://github.com/gengwenhao/GetTop250.git 负责内容:1.使用python的request库先获取网页内容下来 2.再使用一个好用的lxm ...
- 爬虫豆瓣TOP250电影数据
今天是开通博客的第一天 目的 记录 爬取豆瓣TOP250电影数据 目的 我写博客的目的很简单,主要是想记录一些自己学习python的历程,后期包括一些其他方面的学习,目前在看唐松老师写的<Pyt ...
- 爬虫-豆瓣top250,东方财富网动态数据
~满满干货分享 一.豆瓣top250爬取过程 (学习视频:Python爬虫编程基础5天速成(2021全新合集)Python入门+数据分析_哔哩哔哩_bilibili) 1.爬取网页 def askUR ...
- 爬虫——豆瓣top250电影爬取实验
1.获取头部 我们首先需要去到目标网址豆瓣top250上,点开'检查'选项,获取头部信息,具体见下图: 我们赋值user-agent和host的信息,这是一个爬虫隐身的最好方法. 于是有以下代码: h ...
- 简单团队-爬虫豆瓣top250-项目总结
代码托管平台: https://gitee.com/w789369/PaChong/blob/master/test.py 1. 豆瓣抓站流程 分析url特征 对需要抓取的数据设计正则表达式 处理HT ...
最新文章
- 论信息部门与业务部门的关系
- leetcode算法题--飞地的数量
- 关于bds2006里面的indy 问题!!!!!!
- 信息系统项目管理师备考之旅1---学习计划和方法制定
- Solaris 10装置jdk1.6及改削成默许JDK
- .NET 6 Preview5+VS2022实战千万并发秒杀项目,帅爆了(附源码)
- a critical review of preetham skylight model 笔记
- c linux time微秒_Linux基础知识(Linux系统、Linux中的链表)
- 华为AI战略完整披露!2款AI芯片首次曝光,拳打TPU,争锋英伟达
- java拷贝构造函数
- JWTToken在线编码生成
- java接口vm和dto的区别_第十八节:详解Java抽象类和接口的区别
- gcc include lib路径扩展
- 怎么制作游戏脚本_自动玩游戏,手游脚本究竟是怎么做的?
- 为什么计算机日期最早1970,计算机时间基准——1970.1.1
- 代码中出现的奇怪问题原因
- 路由交换技术-交换机vlan,trunk,access等配置,保证其连通性,telnet远程登陆配置,osf协议配置,默认路由。
- 程序员高效率工作工具归纳(上)
- 1. HTML学习笔记-2021年11月2日
- Excel 2019:二级级联下拉框设置
热门文章
- android如何导入活动,关于android:如何将活动值传递给另一个活动(Kotlin)
- python加密模块教程_Python加密模块的hashlib,hmac模块使用解析
- ajax回复留言,Ajax 留言板模拟
- NYOJ 6 喷水装置(一)
- 拾牙的2021年秋招总结(大概会有帮助?)
- 超图软件试用许可操作步骤_软件中的操作步骤
- uva 1312——Cricket Field
- [Linux]ARP协议
- php做一个微信退款,PHP实现微信退款功能
- 链表题目--2 求链表的中间结点 和 求链表中倒数第k个结点