Python网络爬虫与信息提取(三)(正则表达式的基础语法)
①信息组织与提取方法
信息标记的三种形式:XML、JSON、YAML
三种信息标记形式的比较:
XML ==> 最早的通用信息标记语言,可扩展性好,但繁琐;是Internet上的信息交互与传递。
JSON ==> 信息有类型,适合程序处理(js),较XML繁琐;用于移动应用云端和节点的信息通信,无注释。
YAML ==> 信息无类型,文本信息比例较高,可读性好;用于各类系统的配置文件,有注释易读。
实例一:获取中国大学排名信息(定向爬虫)
程序的结构设计
步骤1:从网络上获取大学排名网页内容 getHTMLText()
步骤2:提取网页内容中信息到合适的数据结构 fileUnivList()
步骤3:利用数据结构展示并输出结果printUnivList()
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
②正则表达式的常用操作符
③经典正则表达式实例
^[A-Za-z]+$ 表示由26个字母组成的字符串
^[A-Za-z0-9]+$表示由26个字母和数字组成的字符串
^-?\d+$表示整数形式的字符串
^[0-9]*[1-9][0-9]*$表示正整数形式的字符串
[1-9]\d{5}表示中国境内邮政编码,6位
[\u4e00-\u9fa5]表示匹配中文字符
\d{3}-\d{8}|\d{4}-\d{7}表示国内电话号码,例如010-68913536
④匹配IP地址的正则表达式(IP地址分4段,每段0~255)
精确写法:
0~99: [1-9]?\d
100~199: 1\d{2}
200~249: 2[0-4]\d
250~255: 25[0-5]
则IP地址的正则表达式精确写法:
(([1-9]?\d|1\d{2}|2[0-4]\d|25[0-5]).){3}([1-9]?\d|1\d{2}|2[0-4]\d|25[0-5])
⑤re库(正则表达式库)的使用
调用方法:import re
Re库主要功能函数:
1)re.search() ==> 在一个字符串中搜索匹配正则表达式的第一个位置,返回match对象
2)re.match() ==> 在一个字符串的开始位置起匹配正则表达式,返回match对象
3)re.findall() ==> 搜索字符串,以列表类型返回全部能匹配的子串
4)re.split() ==> 将一个字符串按照正则表达式匹配结果进行分割,返回列表类型
5)re.finditer() ==> 搜索字符串,返回一个匹配结果的迭代类型,每个迭代元素是match对象
6)re.sub() ==> 在一个字符串中替换所有匹配正则表达式的子串,返回替换后的字符串
接下来分别阐述:
1)re.search(pattern,string,flags=0)
pattern:正则表达式的字符串或原生字符串
string:待匹配字符串
flags:正则表达式使用时的控制标记
2)re.match(pattern,string,flags=0)
从一个字符串的开始位置起匹配正则表达式,返回一个match对象
4)re.split(pattern,string,maxsplit=0,flags=0)
将一个字符串按照正则表达式匹配结果进行分割,返回列表类型;
pattern:正则表达式的字符串或原生字符串表示
string:待匹配字符串
maxsplit:最大分割数,剩余部分作为最后一个元素输出
flags:正则表达式使用时的控制标记
⑥re库的match对象
1)Match对象的属性:
.string ==> 待匹配的文本
.re ==> 匹配时使用的pattern对象(正则表达式)
.pos ==> 正则表达式搜索文本的开始位置
.endpos ==> 正则表达式搜索文本的结束位置
2)Match对象的方法
.group(0) ==> 获得匹配后的字符串
.start() ==> 匹配字符串在原始字符串的结束位置
.span() ==> 返回(.start(),.end())
⑦re库的贪婪匹配和最小匹配
最小匹配操作符:
*? ==> 前一个字符0次或无限次扩展,最小匹配
+? ==> 前一个字符1次或无限次扩展,最小匹配
?? ==> 前一个字符0次或1次扩展,最小匹配
{m,n}? ==> 扩展前一个字符m至n次(含n),最小匹配
转载于:https://www.cnblogs.com/jianqiao123/p/11259254.html
Python网络爬虫与信息提取(三)(正则表达式的基础语法)相关推荐
- Python网络爬虫与信息提取(三):网络爬虫之实战
此系列笔记来源于 中国大学MOOC-北京理工大学-嵩天老师的Python系列课程 转载自:http://www.jianshu.com/p/98d0139dacac 7. Re(正则表达式)库入门 r ...
- Python网络爬虫与信息提取
1.Requests库入门 Requests安装 用管理员身份打开命令提示符: pip install requests 测试:打开IDLE: >>> import requests ...
- Python网络爬虫与信息提取笔记08-实例2:淘宝商品比价定向爬虫
Python网络爬虫与信息提取笔记01-Requests库入门 Python网络爬虫与信息提取笔记02-网络爬虫之"盗亦有道" Python网络爬虫与信息提取笔记03-Reques ...
- Python网络爬虫与信息提取笔记(续篇)(文末附教学视频)只供教学讲解,请勿对有robots协议的网站(如淘宝网)造成骚扰
接上篇博客:Python网络爬虫与信息提取笔记(文末附教学视频) 14:基于bs4库的HTML内容遍历方法 标签树的下行遍历: 用len(soup.body.contents)返回body标签的儿子节 ...
- python网络爬虫与信息提取(笔记)【未完】
目录 python网络爬虫与信息提取 Requests库入门 HTTP协议及Requests库方法 Requests库的get()方法 Requests库的安装 Requests库主要方法解析 爬取网 ...
- python 网页爬虫作业调度_第3次作业-MOOC学习笔记:Python网络爬虫与信息提取
1.注册中国大学MOOC 2.选择北京理工大学嵩天老师的<Python网络爬虫与信息提取>MOOC课程 3.学习完成第0周至第4周的课程内容,并完成各周作业. 4.提供图片或网站显示的学习 ...
- 北京理工大学·Python网络爬虫与信息提取·知识整理
学习目标: python爬虫部分的学习 学习内容: mooc北京理工大学·Python网络爬虫与信息提取 对Scrapy内核依然一知半解,但mooc内容已经学完整理 后续将对Scrapy继续进行学习 ...
- python网络爬虫与信息提取_北京理工大学_Python网络爬虫与信息提取(一)
学习 北京理工大学 嵩天 课程笔记 课程体系结构: 1.Requests框架:自动爬取HTML页面与自动网络请求提交 2.robots.txt:网络爬虫排除标准 3.BeautifulSoup框架:解 ...
- 中国大学MOOC·Python网络爬虫与信息提取_思考小结(一)
一. 关于requests库用法的几个辨析 1.requests库内分七个函数,分别为 request,get,head,post,put,patch,delete, 其中最经常使用的是:get/he ...
- Python网络爬虫与信息提取—requests库入门
requests的学习笔记 requests库自动爬取HTML页面,自动网络请求提交 此博客为中国大学MOOC北京理工大学<Python网络爬虫与信息提取>的学习笔记 requests库的 ...
最新文章
- 机器翻译之Facebook的CNN与Google的Attention
- 深入理解 JavaScript 原型
- Windows 外壳扩展编程入门实例
- javascript 【小数转百分数 保留两位小数】
- while opening read connection: jdbc:mysql message from server: Host is not allowed to connect to t
- linux sed p变量,Linux sed 命令详解系列教程之各种问题解决
- linux下更换pip源
- jQuery获取input复选框的值
- wordpress 显示数学公式 (MathJax-LaTeX)
- js上传文件;input上传文件;
- 利用 jQuery 克隆 Object
- 文本前后空格去除工具
- 网站前端_EasyUI.基础入门.0002.带你玩转jQuery EasyUI Panel组件 ?
- 昆明学院C语言期末考试,昆大c试于题b.doc
- ctworklist php开发,DICOM worklist工作原理
- 初来乍到,捣鼓捣鼓前端
- 论文阅读-Combining EfficientNet and Vision Transformers for Video Deepfake Detection(深度鉴伪)
- matlab treeplot,matlab creats phylogenetic tree
- SyntaxError: invalid syntax(遇到问题)(已解决)
- 拼音输入法,提高码字效率
热门文章
- python第三方库有哪些常用的、请列举15个-不吹不擂,你想要的Python面试都在这里了【315+道题】...
- python基础代码事例-菜鸟世界 -python基础---set
- python大数据分析实例-Python大数据处理案例
- python程序能不能在安卓手机上跑-如何在手机上运行Python与及编程
- python该怎么自学-Python 应该怎么学?
- python与php8-别再盲目学 Python 了!
- python中文意思k-Python中_,__,__xx__的区别
- python爬虫入门-Python 爬虫从入门到进阶之路(一)
- c++强大还是python强大-2020,你该学习Python还是C++
- python的优缺点-Python语言的优点和缺点 - 深度剖析