Python_爬虫笔记_2018.3.19
Python_爬虫_笔记
1.前言
1.1爬虫用途:
网站采集、接口采集(地图(jis 热力学 屋里端口/协议)、微信、知乎、)
1.2基本流程:网页下载(requests)+网页解析+爬虫调度
网页解析:在当前网站找信息、下一个入口等信息
调度:调度器/队列(先进先出、谁快谁先...)
1.3Python爬虫库 urllib、bs4/beautiful_soup、lxml/XPath、scripy
学习顺序:urllib→bs4/beautiful_soup→lxml/XPath→scripy
注:lxml/XPath 是指lxml下的Xpth库;具体用法会在下面部分详述
1.4反爬虫 和 反反爬虫 原理
反爬虫原理:检查request的(user-agent[识别爬虫]、Host、refer[来源,防盗链])、js异步加载、其他机制
反反爬虫:控制爬取节奏(time.sleep())、伪装头信息(user-agent、Host、refer)、伪装IP(代理池)、伪装cookie
1.5用到的知识点:
- web前端(css选择器、JS渲染规则)选择器;ajax异步加载、HTTP协议、Python进程线程等
-JSON的序列化dumps()和反序列化loads()
对付(HTTPs的)ssl安全套接层协议
HTTPs 有验证,处理办法:
1.引入ssl躲避 2.设置取消验证
2.IP代理、代理池维护【待完善】
url自带
1.调用urllib.request.ProxyHandler(proxies=None) 代理矩柄
2.创建Opener(类似urlopen)
3.安装Opener
代理IP
透明Ip 附加真实IP(用途少),有的直接就是不生效
高密IP 隐藏自身IP
- cookie-urllib的cookie很复杂,到scrapy上再看
3.网页请求 与 网页解析
3.1 request请求
注:Python最最常用的请求库 - request,其他的可以忽略
#request请求案例(简版):
import request
req = request.urlopen("url地址").read().decode('编码格式')
#request请求案例(标准版)-注:标准请求要加入表头信息
qingqiutou = request.Request(url=url,headers=headers,method="GET")res=request.urlopen(qingqiutou).read().decode('utf-8')
3.2页面解析库【重要!!!】
3.2.1 re模块,Python自带的正则解析库;最基础最不好用的解析库
注:最原始的办法是re模块正则解析,目前只用正则来处理不遵守结构化DOM(Document Object Model)树规范的页面
用法案例:略
3.2.2 Urllib模块
常见问题:
urllib.request 请求模块,打开和读取URLs
urllib.error 异常处理模块 分为:HTTPerror、urlerror
注:HTTPError在URLError之前,因为HTTPError是URLError的子类,若URLError在前报错会覆盖HTTPError
urllib.parse url解析模块
urllib.robotparser robots.txt 解析模块【少,基本不用】print(response.getcode()) #打印出状态码
f.getcode() 等同于 f.status 获取状态码
f.getheaders() 等同于 f.info() 获取表头用法案例:略
3.2.3 bs4解析库【form bs4 import beautiful soup】
主要用于网页数据解析,根据标签机结构化解析
find_all find
节点选取: 子节点、父节点、兄弟节点bs4库能格式化html数据
包含4大(bs4)对象
1.Tag 标签 例如:supe.title 能表示标题,默认第一个【包含NavigableString、Comment】
2.NavigableString 例如:print(soup.p.string) 输出p标签里的内容【包含Comment】
3.BeautifulSoup 是一个特殊的tag对象 能提取name、attr等属性
4.Comment 能提取注释内容
bs4库的4个解析器
1、 Python标准库【主要,系统自带;】
使用方法: BeautifulSoup(markup,"html.parser")【注:markup是html文档】
Python的内置标准库
案例
from bs4 import BeautifulSoup
soup = BeautifulSoup.(html,'html.parser')
print(soup.title.string)
2、 lxmlHTML解析器
BeautifulSoup(markup,"lxml")
速度快、需要安装C语言库3、 lxml XML解析器
使用方法:BeautifulSoup(markup,"xml")
速度快,唯一支持XML的解析器、需要安装C语言库4、 html5lib
BeautifulSoup(markup,"html5lib")
容错性好,以浏览器的形式解析文档,生成html5格式的文档,但是速度慢
3.2.4 lxml.XPath解析库 可以代替re的lxml解析库
XML Path Language是一个小型的查询语言,根据DOM树路径一层层查找
from lxml import etree
select = etree.HTML(html代码) #格式化
selector.xpath(表达式) #返回为一列表XPath四种标签:【注:唯一一个编号是从0开始的】
1. // 根路径,会全局扫描,取得内容后以列表的形式返回
2. / 路径 找当前或下一级内容
3. text() 获取当前路径下的文本内容;例:text(2) 取第二个
4. /@xxx 属性标签 获得当前路径下的属性值(取href值) 案例:/div[@classs="shuxing1"]/...
5. | 分割符 同时取多个路径
6. . 点 取当前节点
7. .. 两个点 取当前节点的父节点
Tips:
集合 content = set(content1) #集合可以去重,当做键
转载于:https://www.cnblogs.com/hellangels333/p/8551528.html
Python_爬虫笔记_2018.3.19相关推荐
- Python 网络爬虫笔记6 -- 正则表达式
Python 网络爬虫笔记6 – 正则表达式 Python 网络爬虫系列笔记是笔者在学习嵩天老师的<Python网络爬虫与信息提取>课程及笔者实践网络爬虫的笔记. 课程链接:Python网 ...
- 以下用于数据存储领域的python第三方库是-南开《网络爬虫与信息提取》19秋期末考核题目【标准答案】...
<网络爬虫与信息提取>19秋期末考核-0001 试卷总分:100 得分:70 一.单选题 (共 20 道试题,共 40 分) 1.如果很多爬虫同时对一个网站全速爬取,那么其实就是对网站进行 ...
- Python 网络爬虫笔记11 -- Scrapy 实战
Python 网络爬虫笔记11 – Scrapy 实战 Python 网络爬虫系列笔记是笔者在学习嵩天老师的<Python网络爬虫与信息提取>课程及笔者实践网络爬虫的笔记. 课程链接:Py ...
- Python 网络爬虫笔记10 -- Scrapy 使用入门
Python 网络爬虫笔记10 – Scrapy 使用入门 Python 网络爬虫系列笔记是笔者在学习嵩天老师的<Python网络爬虫与信息提取>课程及笔者实践网络爬虫的笔记. 课程链接: ...
- Python 网络爬虫笔记9 -- Scrapy爬虫框架
Python 网络爬虫笔记9 – Scrapy爬虫框架 Python 网络爬虫系列笔记是笔者在学习嵩天老师的<Python网络爬虫与信息提取>课程及笔者实践网络爬虫的笔记. 课程链接:Py ...
- Python 网络爬虫笔记8 -- 股票数据定向爬虫
Python 网络爬虫笔记8 – 股票数据定向爬虫 Python 网络爬虫系列笔记是笔者在学习嵩天老师的<Python网络爬虫与信息提取>课程及笔者实践网络爬虫的笔记. 课程链接:Pyth ...
- Python 网络爬虫笔记5 -- Beautiful Soup库实战
Python 网络爬虫笔记5 – Beautiful Soup库实战 Python 网络爬虫系列笔记是笔者在学习嵩天老师的<Python网络爬虫与信息提取>课程及笔者实践网络爬虫的笔记. ...
- Python 网络爬虫笔记4 -- 信息标记与提取
Python 网络爬虫笔记4 – 信息标记与提取 Python 网络爬虫系列笔记是笔者在学习嵩天老师的<Python网络爬虫与信息提取>课程及笔者实践网络爬虫的笔记. 课程链接:Pytho ...
- Python 网络爬虫笔记3 -- Beautiful Soup库
Python 网络爬虫笔记3 – Beautiful Soup库 Python 网络爬虫系列笔记是笔者在学习嵩天老师的<Python网络爬虫与信息提取>课程及笔者实践网络爬虫的笔记. 课程 ...
- Python 网络爬虫笔记2 -- Requests库实战
Python 网络爬虫笔记2 – Requests库实战 Python 网络爬虫系列笔记是笔者在学习嵩天老师的<Python网络爬虫与信息提取>课程及笔者实践网络爬虫的笔记. 课程链接:P ...
最新文章
- Keras Lambda层
- 在CentOS 6.9 x86_64的nginx 1.12.2上开启ngx_req_status模块实录
- 论文笔记:Integrating Classification and Association Rule Mining (即,CBA算法介绍)
- LinuxC高级编程——线程间同步
- 如何从 0 到 1,搭建一个完整的 Kubernetes 集群?
- lock mysql unlock_MySql中Lock命令和unlock命令
- Java面试题:Java垃圾收集有哪些算法,AQS组件总结
- 腾讯CDC:用户流失原因调研四步经
- 一次完整的react hooks实践
- fast软件_ChinaSoft 2020论坛巡礼 : 系统软件安全技术论坛
- Unity2d 坦克大战 (二)道具效果实现
- HTML 调用打印机打印指定区域
- 一个算法面试题的5种不同解法
- 电源管理芯片LDO(Low Dropout Regulator)分析1
- SDN控制器Floodlight源码学习(五)--控制器和交换机交互(3)
- Windows Media Player Network Sharing Service 启动失败
- Golang如何实现排序
- easyui SWFUpload
- 衡量数据集中趋势的方法
- Latex报错:PDF Rendering ErrorSomething went wrong while rendering this PDF.
热门文章
- android 多线程互斥,Android同步类:Mutex和Condition
- pcl dll load failed: 找不到指定的模块。_解决cuda10.1+tensorflow-gpu出现“cudart64_100.dll”问题...
- 重写需要注意哪些方面?
- class括号里的object_使用es5和es6实现继承详解以及class的基本使用
- 电脑大小写怎么切换_小白买了Mac pro电脑学会基本操作
- FISCO BCOS 区块最大最长交易执行时间
- flow-shop调度问题、job shop调度问题、open shop调度问题 是什么 区别
- kubernetes StatefulSet介绍
- android圆盘布局,Android绘制圆盘控件
- 图(一):图的邻接表表示