学习记录：python糗百爬虫

最近想了解下爬虫是如何运作的，就在酷勤网上找了爬虫的教程学习了下，顺便学下下python的基本语法。
由于网上的代码是无缩进版本的，本人对python产生了奇怪的怨念。
花了半天才调整出能跑的格式。

遇到的问题如下：
1.# -- coding:utf-8 --
这句话很重要，不然连注释都会报错。
2.不能手贱多打空格，不然会出现缩减不匹配的问题
3.网上所给的正则表达式已经不能再匹配当前的糗百网页，需要重新改写。
4.没缩减的代码看起来真的好累，不知道什么地方结束什么地方开始。有几个return不知道该属于哪一块，虽然如此，但是代码能跑起来0 0

另外，对python语句以下了解：
1. __ author __好像没什么用处，只是声明作者，用法很有意思
2.return 和return None意思其实是一样的
3.虽然有些不是很明白，但是好像用到的很多库都是python自带的
4.对方法里的self问题的理解

http://www.cnblogs.com/linuxcat/archive/2012/01/05/2220997.html
首先明确的是self只有在类的方法中才会有，独立的函数或方法是不必带有self的。self在定义类的方法时是必须有的，虽然在调用时不必传入相应的参数。self名称不是必须的，在python中self不是关键词，你可以定义成a或b或其它名字都可以,但是约定成俗，不要搞另类，大家会不明白的。self指的是类实例对象本身(注意：不是类本身)。

运行结果

__author__='ttt'
# -*- coding:utf-8 -*-
import urllib
import urllib2
import re
import thread
import time
class QSBK:
#初始化方法,定义一些变量def __init__(self):self.pageIndex = 1self.user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'#初始化headersself.headers = { 'User-Agent' : self.user_agent }#存放程序是继续运行的变量self.stories=[]#传入某一页的索引获得页面代码def getPage(self,pageIndex):try:url = 'http://www.qiushibaike.com/hot/page/'+str(pageIndex)#构建请求的requestrequest = urllib2.Request(url,headers = self.headers)#利用urlopen获取页面代码response = urllib2.urlopen(request)#讲页面转化为UTF-8编码pageCode = response.read().decode('utf-8')return pageCodeexcept urllib2.URLError, e:if hasattr(e,"reason"):print u"糗事百科失败,错误原因",e.reasonreturn None#传入某一页代码,返回本页不带图片的段子列表def getPageItems(self,pageIndex):pageCode = self.getPage(pageIndex)if not pageCode:print "页面加载失败..."return None         pattern = re.compile('<div.*?class="author.*?<h2>(.*?)</h2>.*?<div.*?class="content".*?<span>(.*?)</span>(.*?)<div.*?class="stats-vote".*?class="number">(.*?)</i>',re.S)items = re.findall(pattern,pageCode)#用来存储每页的段子们pageStories = []#便利正则表达式匹配的信息for item in items:#是否含有图片haveImg = re.search("img",item[2])#如果不含有图片,把它加入list中if not haveImg:#item[0]是一个段子的发布者,item[1]是内容,item[3]是点赞pageStories.append([item[0].strip(),item[1].strip(),item[3].strip()])return pageStories#加载并提取页面的内容,加入到列表中def loadPage(self):#如果当前未看的页数少于2页,则加载新的一页if self.enable == True:if len(self.stories) < 2:   #获取新一页pageStories = self.getPageItems(self.pageIndex)#讲该页的段子存放到全局list中if pageStories:self.stories.append(pageStories)#获取玩之后页码所以加一,表示下次读取下一页self.pageIndex += 1def getOneStory(self,pageStories,page):#遍历一页的段子for story in pageStories:#等待用户输入input = raw_input()#每当输入回车一次,判断一下是否要加载页面self.loadPage()#如果输入Q则程序结束if input == "Q":self.enable = Falsereturnprint u"第%d页\t发布人:%s\n%s\n赞%s\n"%(page,story[0],story[1],story[2])#开始方法def start(self):print u"正在读取糗事百科,按回车查看新段子,Q退出"#使变量为True,程序可以正常运行self.enable = True#先加载一页内容self.loadPage()#局部变量,控制当前读到第几页nowPage = 0while self.enable:if len(self.stories)>0:#从全局list中获取一页的段子pageStories = self.stories[0]#当前读到的页数加一nowPage += 1#将全局list中第一个元素删除 因为已经取出del self.stories[0]#输出该页段子self.getOneStory(pageStories,nowPage)
spider = QSBK()
spider.start()

学习记录：python糗百爬虫相关推荐

python 网页版笔记_系统学习下python网络爬虫笔记一
系统学习下python网络爬虫的知识 1.爬虫的定义 Web Spider,把互联网定义为一个蜘蛛网,网络蜘蛛通过网页的链接地址来寻找网页. 具体过程:从网站的某一个网页(通常是首页)开始,读取网页的 ...
Python3爬虫(一)：Python的入门学习以及Python网络爬虫的初步认识
Author:baiyucraft BLog: baiyucraft's Home IDE:PyCharm 其实对于Python,一直想去学习,但一直没有足够的的时候去研究,这次趁疫情在家的时间, ...
韦玮python视频教程下载_[课程学习]精通Python网络爬虫核心技术框架与项目实战韦玮PDF附源码 rar文件[101.68MB]-码姐姐下载...
只需2积分精通精通Python网络爬虫核心技术.框架与项目实战,韦玮.pdf 大小:101.66MB | 2020-05-14 19:06:39 韦玮老师<精通python网络爬虫>源代码 ...
Node学习记录：图片爬虫
一 const request = require('request'); request 对http进行封装的npm request(url,(err,req)=>{ let body=req ...
[python学习记录]python初步操作mysql
数据库的连接 import MySQLdb # 创建连接对象里面,除了port必须是整数型,其余全是字符类型 conn = MySQLdb.connect(host = 'localhost',por ...
Python学习记录——Python容器：列表、元组、字典与集合（1）
1.列表可以由零个或多个元素组成,元素之间用逗号分开,整个列表被方括号所包裹: empty_list = [ ] weekdays = ['Monday', 'Tuesday', 'Wednesday ...
学习记录:python实现一个简易的校园管理系统7.19
实现一个简易的校园管理系统,使用容器保存学生数据和老师数据. 学员信息有: 姓名, 年龄, 性别,班级,学号讲师信息有:姓名, 年龄, 性别, 课程, 工号 (可以使用列表嵌套字典的方式保存学生和讲 ...
学习记录 Python 计算图片集的像素总平均值
注意stat.mean是一个list,不能直接和int相加,需要写成stat.mean[0]. 得到最后的sum之后除以图片的总数就是整个图片集的总平均像素值.
python网络爬虫权威指南百度云-分析《Python网络爬虫权威指南第2版》PDF及代码...
对那些没有学过编程的人来说,计算机编程看着就像变魔术.如果编程是魔术(magic),那么网页抓取(Web scraping)就是巫术(wizardry),也就是运用"魔术"来实现精 ...
精通python网络爬虫-精通Python网络爬虫：核心技术、框架与项目实战 PDF
给大家带来的一篇关于Python爬虫相关的电子书资源,介绍了关于Python.Python网络爬虫.Python核心技术.Python框架.Python项目实战方面的内容,本书是由机械工业出版社出版, ...

学习记录：python糗百爬虫

学习记录：python糗百爬虫相关推荐

最新文章

热门文章