Python爬虫学习round01

写在前面：
此博客仅用于记录个人学习进度，学识浅薄，若有错误观点欢迎评论区指出。欢迎各位前来交流。（部分材料来源网络，若有侵权，立即删除）

思维导图

简单抓取网页

import   urllib.request
url="http://tieba.baidu.com"
response=urllib.request.urlopen(url)
html=response.read()
print(html.decode('utf-8')

上面的例子通过urllib.requt.urlopen()方法，传入网址从而获得网页源码

设置请求超时

import   urllib.request
url="http://tieba.baidu.com"
response=urllib.request.urlopen(url,timeout=1)
print(response.read().decode('utf-8')

使用data参数提交数据

import.urllib.parse
import urllib.requestdata= bytes(urllib.parse.urlencode({'word','hello'}),encoding='utf-8')
response=urllib.request.urlopen('http://httpbin.org/post',data=data)
print（response.read())

Pequest

import urllib.requesturl="http://tieba.baidu.com"
headers={'User-Agent'='Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36'
}
request=urllib.request.Request(url=url,header=header)
response=urllib.request.urlopen(request)
print(response.read().decode('utf-8'))

headers参数是指定发起的HTTP请求的头部信息；涉及到的’User-Agent’，可在打开任意网页后F12，通过Network任意打开一个请求可得到。

Handler

处理请求（HTTP,HTTPS,FTP等）中的各种事情。

OpenerDirector

Opener对象是由build_opener(handler)方法创建出来的。

使用代理

import urllib.requesturl='http://tieba.baidu.com"
headers={'User-Agent'='Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36'
}
proxy_handler=urllib.request.ProxyHandler({'http':'172.12.24.45:8080'
'http':'120.34.5.46:8080'
})
opener=urllib.request.build_opener(proxy_handler)
urllib.request.install_opener(opener)request=urllib.request.Request(url=url,headers=headers)
response=urllib.request.urlopen(request)
print(response.read().decode('utf-8'))

调用ProxyHandler方法就可以设置代理，模拟成多个不同的客户端，成功”欺骗“网站，获取数据。

认证登录

import urllib.requesturl=”http://tieba.baidu.com"
user='test_user'
password='test_password'
pwdmgr=urllib.request.HTTPPasswordMgrWithDefaultRealm()
pwdmgr.add_password(None,url,user,password)
auth_handler=urllib.request.HTTPBasicAuthHandler(pwdmgr)
opener=urllib.request.build_opener(auth_handler)
response=opener.open(url)
print(response.read().decode('utf-8'))

Cookie设置

针对请求的页面每次都需要身份验证，那就可以使用Cookie来自动登录。

import http.cookiejar
import urllib.requesturl="http://tieba.biadu.com"
fileName='cookie.txt'cookie=http.cookiejar()
handler=urllib.request.HTTPCookieProcessor(cookie)
opener=urllib.request.build_opener(handler)
response=opener.open(url)f=open(fileName,'a')
for item in cookie:f.write(item.name+"="+item.value+'\n')
f.close()

Python爬虫学习round01相关推荐

python爬虫正则表达式实例-python爬虫学习三：python正则表达式
python爬虫学习三:python正则表达式 1.正则表达式基础 a.正则表达式的大致匹配过程: 1.依次拿出表达式和文本中的字符比较 2.如果每一个字符都能匹配,则匹配成功:一旦有匹配不成功的字符 ...
Python爬虫学习系列教程
大家好哈,我呢最近在学习Python爬虫,感觉非常有意思,真的让生活可以方便很多.学习过程中我把一些学习的笔记总结下来,还记录了一些自己实际写的一些小爬虫,在这里跟大家一同分享,希望对Python爬虫 ...
新手python爬虫代码_新手小白必看 Python爬虫学习路线全面指导
爬虫是大家公认的入门Python最好方式,没有之一.虽然Python有很多应用的方向,但爬虫对于新手小白而言更友好,原理也更简单,几行代码就能实现基本的爬虫,零基础也能快速入门,让新手小白体会更大的成 ...
Python爬虫学习系列教程-----------爬虫系列你值的收藏
静觅 » Python爬虫学习系列教程:http://cuiqingcai.com/1052.html 大家好哈,我呢最近在学习Python爬虫,感觉非常有意思,真的让生活可以方便很多.学习过程中我把 ...
Python 爬虫学习系列教程
Python爬虫 --- 中高级爬虫学习路线 :https://www.cnblogs.com/Eeyhan/p/14148832.html 看不清图时,可以把图片保存到本地在打开查看... Pyth ...
从入门到入土：Python爬虫学习|实例练手|爬取LOL全英雄信息及技能||异步加载|初级难度反扒处理|寻找消失的API
此博客仅用于记录个人学习进度,学识浅薄,若有错误观点欢迎评论区指出.欢迎各位前来交流.(部分材料来源网络,若有侵权,立即删除) 本人博客所有文章纯属学习之用,不涉及商业利益.不合适引用,自当删除! 若 ...
从入门到入土：Python爬虫学习|实例练手|详细讲解|爬取腾讯招聘网|一步一步分析|异步加载|初级难度反扒处理|寻找消失的API来找工作吧
此博客仅用于记录个人学习进度,学识浅薄,若有错误观点欢迎评论区指出.欢迎各位前来交流.(部分材料来源网络,若有侵权,立即删除) 本人博客所有文章纯属学习之用,不涉及商业利益.不合适引用,自当删除! 若 ...
从入门到入土：Python爬虫学习|实例练手|爬取猫眼榜单|Xpath定位标签爬取|代码
此博客仅用于记录个人学习进度,学识浅薄,若有错误观点欢迎评论区指出.欢迎各位前来交流.(部分材料来源网络,若有侵权,立即删除) 本人博客所有文章纯属学习之用,不涉及商业利益.不合适引用,自当删除! 若 ...
从入门到入土：Python爬虫学习|实例练手|爬取百度翻译|Selenium出击|绕过反爬机制|
此博客仅用于记录个人学习进度,学识浅薄,若有错误观点欢迎评论区指出.欢迎各位前来交流.(部分材料来源网络,若有侵权,立即删除) 本人博客所有文章纯属学习之用,不涉及商业利益.不合适引用,自当删除! 若 ...

Python爬虫学习round01

思维导图

简单抓取网页

设置请求超时

使用data参数提交数据

Pequest

Handler

OpenerDirector

使用代理

认证登录

Cookie设置

Python爬虫学习round01相关推荐

最新文章

热门文章