python分别统计男女人数_python实现爬虫统计学校BBS男女比例(一),python男女比例...
python实现爬虫统计学校BBS男女比例(一),python男女比例
一、项目需求
前言:BBS上每个id对应一个用户,他们注册时候会填写性别(男、女、保密三选一)。
经过检查,BBS注册用户的id对应1-300000,大概是30万的用户
笔者想用Python统计BBS上有多少注册用户,以及这些用户的性别分布
顺带可以统计最近活动用户是多少,其中男、女、保密各占多少
活动用户的限定为“上次活动时间”为 2015年
二、最终结果
性别信息保存在文本里,一行表示一个用户的信息,各列分别表示
【行数,id(涂掉了),性别,最后活跃时间】
三、实现思路
用户性别信息在哪个页面?
得到下面个人主页
把后面的uid=256730数字改成其他数字,就可以得到其他人的主页。
另外,如果上面的链接无法得到性别,可以再通过这个链接,也是修改uid可以访问其他人主页。
http://rs.xidian.edu.cn/home.php?mod=space&uid=256730&do=profile
四、数据如何存储?
用数据库还是其他方案?
为了阅读方便,我们考虑用文本文件存储。
30万的用户存储在一个文本里会导致文本过大。如果程序被意外终止,30 万的用户数据需要重新爬取。
我们我们考虑一个文本里存放1000条记录,理论上可以用30个文本来存放30万条数据。
文本名称为correct1-1001.txt correct47001-48001.txt,注意:1-1001是[1,1001),包含1,不包含1001
1、使用正则匹配找出性别
查看网页源代码
性别女
还可以找到活动时间-->
上次发表时间2015-11-4 20:04
抱歉,您指定的用户空间不存在
我们可以利用re模块来进行正则匹配
sexRe = re.compile(u'em>\u6027\u522b(.*?)
timeRe = re.compile(u'em>\u4e0a\u6b21\u6d3b\u52a8\u65f6\u95f4(.*?)
notexistRe = re.compile(u'(p>)\u62b1\u6b49\uff0c\u60a8\u6307\u5b9a\u7684\u7528\u6237\u7a7a\u95f4\u4e0d\u5b58\u5728
因为中文的原因,需要Unicode 转换 中文工具,可以用站长工具 Unicode 转换 ASCII,ASCII 转换 Unicode,比如下面这个链接:http://tool.chinaz.com/Tools/Unicode.aspx
性别的Unicode 是 \u6027\u522b
上次活动时间 \u4e0a\u6b21\u6d3b\u52a8\u65f6\u95f4
抱歉,您指定的用户空间不存在
\u62b1\u6b49\uff0c\u60a8\u6307\u5b9a\u7684\u7528\u6237\u7a7a\u95f4\u4e0d\u5b58\u5728
这儿是简单获取性别的源代码,通过urllib2对链接myurl发送一个get请求,将得到的html保存下来。注意编码问题unicode(html, 'utf-8'),然后对html正则匹配seWord。
如果该用户有性别信息,返回对应的性别;否则,返回None
#对myurl页面进行seWord匹配查找
#seWord是用unicode表示
def getInfo(myurl, seWord):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'
}
req = urllib2.Request(
url=myurl,
headers=headers
)
time.sleep(0.3)
response = urllib2.urlopen(req)
html = response.read()
html = unicode(html, 'utf-8') #需要进行编码,否则找不到信息
timeMatch = seWord.search(html) #因为seWord是用unicode表示
if timeMatch:
s = timeMatch.groups()
return s[0]
else:
return None
五、错误处理
1、断网情况(热修复方案)
总共爬虫需要几天时间,用的校园网,中间可能有断网的可能。
如果发现断网,我们可以重新连上互联网,这中间有些用户的性别没有获取到。
程序运行时间较长,断一次网就重新从id=1开始跑是不科学的。而且你也不能保证这次就网一直是好的。
为了不让程序重头开始跑,所以我们是记录下断网中漏掉的用户id。
等一次程序跑完了(这需要几天的时间),我们再跑记录下来的id重新跑一次。
2、无法获取性别
这种有两种情况:
一是真的没有性别(用户没有填写)
二是服务器抽了,咱们请求网页失败了。
这种咱们也是和上面类似,记录下失败的id,后面再重新跑。
知识点小结
对于这种错误,SyntaxError: Non-ASCII character '\xe5' in file
需要在文件开头加上# -*- coding: UTF-8 -*-
因为 python 的默认编码文件是用的 ANSCII 码
BBS网页源代码使用utf-8进行编码的。
本项目设计到中文字符,自然会遇到编码问题。
import sys
print sys.getdefaultencoding()
输出ascii从上面的代码可以看出 sys.defaultencoding 是 ANSCII,ANSCII是无法对中文字符进行编码的。UTF-8是Unicode的实现方式之一,可以对中文字符进行编码。遇到中文字符,我们需要加上这行代码
reload(sys)
# sys.setdefaultencoding('utf-8')
更改 sys.defaultencoding 为'utf-8'
后期整理的时候发现了自己一个小问题,因为正则表达式当时用unicode来表示的,所以需要把html进行unicode转换进行查找。
后来发现可以直接用汉字对原来的html进行查找。
# -*- coding: UTF-8 -*-
html = response.read()
sexRe = re.compile('em>性别(.*?)
timeMatch = sexRe.search(html)
if timeMatch:
s = timeMatch.groups()
print "字符串 "+s[0]
html = unicode(html, 'utf-8')
sexRe = re.compile(u'em>\u6027\u522b(.*?)
timeMatch = sexRe.search(html)
if timeMatch:
s = timeMatch.groups()
print "unicode " +s[0]
输出
字符串 女
unicode 女
html = response.read()
print len(html)
html = unicode(html, 'utf-8') #
print len(html)
输出
html = response.read()
print len(html)
html = unicode(html, 'utf-8') #
print len(html)
输出
35423
33658
以上就是python实现爬虫统计学校BBS男女比例的前期准备和方案分析,希望对大家的学习有所帮助。
您可能感兴趣的文章:python实现统计汉字/英文单词数的正则表达式
使用python统计文件行数示例分享
python用字典统计单词或汉字词个数示例
Python统计列表中的重复项出现的次数的方法
python统计一个文本中重复行数的方法
python统计字符串中指定字符出现次数的方法
python实现爬虫统计学校BBS男女比例之多线程爬虫(二)
python实现爬虫统计学校BBS男女比例之数据处理(三)
python分别统计男女人数_python实现爬虫统计学校BBS男女比例(一),python男女比例...相关推荐
- python分别统计男女人数_python实现爬虫统计学校BBS男女比例(一)
一.项目需求 前言:BBS上每个id对应一个用户,他们注册时候会填写性别(男.女.保密三选一). 经过检查,BBS注册用户的id对应1-300000,大概是30万的用户 笔者想用Python统计BBS ...
- python实现爬虫统计学校BBS男女比例(三)数据处理
前言 自己实现的Python 爬虫,目的是统计学校论坛上男女用户各占多少. 转载请注明出处,文章地址如下 python实现爬虫统计学校BBS男女比例(一)前期准备.方案分析 http://blog.c ...
- python词频统计完整步骤_python实现词频统计(wordcount)函数
作为字典(key-value)的经典应用题目,单词统计几乎出现在每一种语言键值对学习后的必练题目,主要需求: 写一个函数wordcount统计一篇文章的每个单词出现的次数(词频统计).统计完成后,对该 ...
- 按分数段统计学生人数python_用Excel统计各分数段学生数
用 Excel 统计各分数段学生数 方法一:用 COUNTIF 函数统计 这是最常用.最容易理解的一种方法,我们用它来统计"语文"学科各分数段学生数. 如果某些学科 (如体育) , ...
- python分别统计男女人数_Python实践-itchat获取微信好友总人数以及男女比例
1 itchat是微信的个人开放接口:本文利用Python+itchat实现简单的个人好友数量以及男女比例的统计 itchat 的安装:pip install itchat(需要权限的可以使用sudo ...
- python分别统计男女人数_Python+ITchart实现微信中男女比例,城市分布统计并可视化显示...
importitchatimportosimportcsvimportpandas as pdfrom pyecharts importBar,Pie,Geoimportshutil as sh#根据 ...
- python队列来做什么_python分布式爬虫中的消息队列是什么?
当排队等待人数过多的时候,我们需要设置一个等待区防止秩序混乱,同时再有新来的想要排队也可以呆在这个地方.那么在python分布式爬虫中,消息队列就相当于这样的一个区域,爬虫要进入这个区域找寻自己想要的 ...
- 爬虫python爬取页面请求_Python网络爬虫第三弹《爬取get请求的页面数据》
一.urllib库 urllib是Python自带的一个用于爬虫的库,其主要作用就是可以通过代码模拟浏览器发送请求.其常被用到的子模块在Python3中的为urllib.request和urllib. ...
- python网页数据存入数据库_python网络爬虫抓取动态网页并将数据存入数据库MySQL...
简述 以下的代码是使用python实现的网络爬虫,抓取动态网页 http://hb.qq.com/baoliao/ .此网页中的最新.精华下面的内容是由JavaScript动态生成的.审查网页元素与网 ...
最新文章
- python基础回顾
- mxnet基础到提高(4)-- Dense层基础
- hash和trie的对比
- ZkServer服务启动的逻辑-NIOServerCnxnFactory.start
- CCNP中单区域OSPF详解(第一部分)
- 前端_网页编程 Form表单与模板引擎(下)
- 不止是 Oracle 读物
- Java中测试异常的多种方式
- 《linux内核完全注释》读书笔记 2
- 天线座和连接器SMA、U.FL、IPX、IPEX
- java连接Oracle乱码_如何解决Java连接数据库oracle中文乱码问题
- Java枚举类与常用方法
- 计算机科学箴言集 -- 编程珠玑续
- 不同图像锐化算子提取的图像信息有哪些不同_opencv数字图像处理(3)- 图像平滑与锐化...
- 计算机没有显示远程桌面连接,连接远程桌面时出现:“这台计算机没有远程桌面客户端访问许可”,怎么处理?...
- 高数——隐函数与参数方程求导
- 兴趣变高薪副业,知名插画师走尺带你感受插画的魅力
- 阿里云天池机器学习task3
- RK系列无线键盘-RK100无限键盘使用说明书
- 【CSS】课程网站 Banner 制作 ① ( Banner 栏测量 | Banner 盒子模型代码 | 代码示例 )
热门文章
- js中firstChild和childNodes[0]以及children[0]之间的点滴问题
- 我要翻译《Think Python》- 006 第四章 学习案例:接口设计
- 金税盘 实时上传服务器信息,金税盘上传参数怎么设置
- 易编远航第三期第3套 穿越火线CF辅助开发实战
- 微服务使用redis操作实例包含redis工具类
- win10用一会就蓝屏重启_电脑总是蓝屏重启怎么办
- 基于php校园网站的毕业设计论文,基于php技术的校园网站的设计与实现_毕设论文.doc...
- 线性代数一(基本概念)
- C#应用程序界面开发进阶——高级窗体控件(1)——图形和图像类控件
- mac使用Sourcetree托管代码流程