Python学习笔记(八)爬虫基础（正则和编解码）

知识点

正则

正则匹配url，引用re库，将需要匹配的字段用(.*?)来匹配，可以匹配任何字符串。如果有换行，可以用如下方式解决：
1. ([\s\S]*?)
2. re.findall(reg,html,re.S)
re.S：’ . ‘并且包括换行符在内的任意字符（注意：’ . ‘不包括换行符）
其他re的主要函数：python正则表达式re常用方法

编解码

解码：将任意一种编码格式转换成unicode
编码：将unicode转换成其他编码格式

爬虫使用的是utf-8编码，有的网页是gbk或其他编码的。所以这类编解码的过程为：

gbk->unicode->utf-8

如果是utf-8转换成gbk，则：

uft-8->unicode->gbk

用代码来说为

#该html为gbk编码
html = urllib.urlopen().read()
#gbk转换成utf-8
html4utf_8 = html.decode('gbk').encoding('utf-8')

为什么选用unicode坐中间转换的过程？
Unicode是国际组织制定的可以容纳世界上所有文字和符号的字符编码方案。可以看做编解码的万能中转站。

代码

#encoding=utf-8import urllib
import resort_dict = {1:'玄幻魔法',2:'武侠修真',3:'纯爱耽美',4:'都市言情',5:'职场校园',6:'穿越重生',7:'历史军事',8:'网游动漫',9:'恐怖灵异',10:'科幻小说',11:'美文名著'
}def getNovel(url):html = urllib.urlopen(url).read().decode('gbk').encode('utf-8')#获取书名reg = r'<meta property="og:novel:book_name" content="(.*?)"/>'bookname=re.findall(reg,html)[0]#获取描述reg = r'<meta property="og:description" content="(.*?)"/>'#或者re.findall(reg,html，re.S) 因为有换行符，正则不匹配了#通过这种方式就可以匹配换行description = re.findall(reg,html,re.S)[0]print bookname,descriptiondef getList(sort_id,sort_name):html = urllib.urlopen("http://www.quanshuwang.com/list/%s_1.html"%sort_id).read().decode('gbk').encode('utf-8')reg = r'<a target="_blank" href="(.*?)" class="l mr10">'urlList = re.findall(reg,html)for url in urlList:getNovel(url)#break#print urlListfor sort_id,sort_name in sort_dict.items():getList(sort_id,sort_name)break

效果

Python学习笔记(八)爬虫基础（正则和编解码）相关推荐

Python 学习笔记 D1（基础）
Python 学习笔记 D1(基础) 1.注释 #一个注释 ''' 多行注释 ''' 2.运算符与C++相同:+,-,*,/,%,>,<,=,>=,<=,==,!= 与C++不 ...
Python学习笔记 1.0 基础内容篇章
Python学习笔记 1.0 基础内容篇章注释变量一.定义变量二.使用变量 bug和debug bug: Debug工具: 数据类型认识数据类型在定义数据类型时发生的错误: 数据类型的补表 ...
Python学习教程：Python3内置模块之base64编解码方法小结
Python学习教程:Python3内置模块之base64编解码方法小结概述 Base64 是网络上最常见的用于传输 8Bit 字节码的编码方式之一,Base64 就是一种基于 64 个可打印字符来 ...
Python学习笔记之入门基础
课程链接:Python入门教程--基础阶段_哔哩哔哩_bilibili Python学习笔记注释单行注释: * 多行注释: 1.多行前面加# 2."""注释信息&qu ...
Python学习笔记(八)
Python基础总结 Python基础总结 Python简介 Python是一种解释型.面向对象.动态数据类型的高级程序设计语言.目前分为Python2.X和Python3.X两个版本,且Python ...
python学习笔记之爬虫框架scrapy(十七)
一.安装执行以下命令安装scrapy pip install scrapy 注意: Scrapy是用纯Python编写的,并且依赖于一些关键的Python包(以及其他一些包): lxml,高效的XM ...
爬虫实战学习笔记_1 爬虫基础+HTTP原理
1 爬虫简介网络爬虫(又被称作网络蜘蛛.网络机器人,在某些社区中也经常被称为网页追逐者)可以按照指定的规则(网络爬虫的算法)自动浏览或抓取网络中的信息. 1.1 Web网页存在方式表层网页指的是不 ...
【懒懒的Python学习笔记八】
面向对象编程是最有效的编程方法之一,在面向对象编程中,你编写表示现实世界中事物和情景的类,并基于这些类来创建对象.使用类来创建对象被称为实例化. 创建和使用类使用类可以模拟任何东西.下面的实例编写一 ...
潭州教育学python_潭州教育-Python学习笔记6@函数基础，必备参数，位置参数，可选参数...
6.1 函数定义: def BiJiao(a,b): #驼峰规则(首字母大写),见名知意-函数名大写 if a>b: print(a) elif a==b : print('xiangdeng' ...

Python学习笔记(八)爬虫基础（正则和编解码）

知识点

正则

编解码

代码

效果

Python学习笔记(八)爬虫基础（正则和编解码）相关推荐

最新文章

热门文章