python爬虫-Python爬虫入门这一篇就够了
何谓爬虫
所谓爬虫，就是按照一定的规则，自动的从网络中抓取信息的程序或者脚本。万维网就像一个巨大的蜘蛛网，我们的爬虫就是上面的一个蜘蛛，不断的去抓取我们需要的信息。
爬虫三要素
抓取
分析
存储
基础的抓取操作
1、urllib
在Python2.x中我们可以通过urllib 或者urllib2 进行网页抓取，但是再Python3.x 移除了urllib2。只能通过urllib进行操作
import urllib.request
response = urllib.request.urlopen('https://blog.csdn.net/weixin_43499626')
print(response.read().decode('utf-8'))
带参数的urllib
url = 'https://blog.csdn.net/weixin_43499626'
url = url + '?' + key + '=' + value1 + '&' + key2 + '=' + value2
2、requests
requests库是一个非常实用的HTPP客户端库，是抓取操作最常用的一个库。Requests库满足很多需求
import requests
# get请求
response = requests.get(url='https://blog.csdn.net/weixin_43499626')
print(response.text) #打印解码后的返回数据
# 带参数的requests get请求
response = requests.get(url='https://blog.csdn.net/weixin_43499626', params={'key1':'value1', 'key2':'value2'})
需要登录的情况下
1、表单提交登录
向服务器发送一个post请求并携带相关参数，将服务器返回的cookie保存在本地,cookie是服务器在客户端上的"监视器”，记录了登录信息等。客户端通过识别请求携带的cookie，确定是否登录
params = {'username': 'root', 'passwd': 'root'}
response = requests.post("http:xxx.com/login", data=params)
for key,value in response.cookies.items():
print('key = ', key + ' ||| value :'+ value)
2、cookie登录
我们可以将登录的cookie存储在文件中，
import urllib.request
import http.cookiejar
"""
保存登录的cookie
"""
"""
MozillaCookieJar ： cookiejar的子类
从FileCookieJar派生而来，创建与Mozilla浏览器 cookies.txt兼容的FileCookieJar实例。
"""
cookie = http.cookiejar.MozillaCookieJar('cookie.txt')
# 构建一个cookie的处理器
handler = urllib.request.HTTPCookieProcessor(cookie)
# 获取一个opener对象
opener = urllib.request.build_opener(handler)
# # 获取一个请求对象
request = urllib.request.Request('http://flights.ctrip.com/',headers={"Connection": "keep-alive"})
# 请求服务器，获取响应对象。cookie会在response里一起响应
response = opener.open(request)
# 保存cookie到文件
cookie.save(ignore_discard=True, ignore_expires=True)
"""
请求携带文件中的cookie
"""
import urllib.request
import http.cookiejar
cookie = http.cookiejar.MozillaCookieJar()
cookie.load('cookie.txt', ignore_discard=True, ignore_expires=True)
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)
request = urllib.request.Request('http://flights.ctrip.com/')
html = opener.open(request).read().decode('gbk')
print(html)
常见的反爬有哪些
1、通过user-agent来控制访问
user-agent能够使服务器识别出用户的操作系统及版本、cpu类型、浏览器类型和版本。很多网站会设置user-agent白名单，只有在白名单范围内的请求才能正常访问。所以在我们的爬虫代码中需要设置user-agent伪装成一个浏览器请求。有时候服务器还可能会校验Referer，所以还可能需要设置Referer(用来表示此时的请求是从哪个页面链接过来的)
# 设置请求头信息
headers = {
'Host': 'https://blog.csdn.net',
'Referer': 'https://blog.csdn.net/weixin_43499626/article/details/85875090',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'
}
response = requests.get("http://www.baidu.com", headers=headers)
如下是CSDN中的Request Header中的信息
accept: */*
accept-encoding: gzip, deflate, br
accept-language: zh-CN,zh;q=0.9
content-length: 0
cookie: bdshare_firstime=1500xxxxxxxx..............
origin: https://blog.csdn.net
referer: https://blog.csdn.net/weixin_43499626/article/details/85875090
user-agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36
x-requested-with: XMLHttpRequest
2、通过IP来限制
当我们用同一个ip多次频繁访问服务器时，服务器会检测到该请求可能是爬虫操作。因此就不能正常的响应页面的信息了。
解决办法常用的是使用IP代理池。网上就有很多提供代理的网站、
proxies = {
"http": "http://119.101.125.56",
"https": "http://119.101.125.1",
}
response = requests.get("http://www.baidu.com", proxies=random.choices(proxies))
3、设置请求间隔
import time
time.sleep(1)
4、自动化测试工具Selenium
Web应用程序测试的Selenium工具。该工具可以用于单元测试，集成测试，系统测试等等。它可以像真正的用户一样去操作浏览器(包括字符填充、鼠标点击、获取元素、页面切换)，支持Mozilla Firefox、Google、Chrome、Safari、Opera、IE等等浏览器。
5、参数通过加密
某些网站可能会将参数进行某些加密，或者对参数进行拼接发送给服务器，以此来达到反爬虫的目的。这个时候我们可以试图通过js代码，查看破解的办法。
连接xxx
或者可以使用"PhantomJS",PhantomJS是一个基于Webkit的"无界面"(headless)浏览器，它会把网站加载到内存并执行页面上的JavaScript，因为不会展示图形界面，所以运行起来比完整的浏览器更高效。
6、通过robots.txt来限制爬虫
robots.txt是一个限制爬虫的规范，该文件是用来声明哪些东西不能被爬取。如果根目录存在该文件，爬虫就会按照文件的内容来爬取指定的范围。
浏览器访问https://www.taobao.com/robots.txt
可以查看淘宝的robots.txt文件
部分内容如下
User-agent: Baiduspider
Disallow:/product/Disallow:/User-Agent: Googlebot
Disallow:/User-agent: Bingbot
Disallow:/User-Agent: 360Spider
Disallow:/User-Agent: Yisouspider
Disallow:/User-Agent: Sogouspider
Disallow:/User-Agent: Yahoo! Slurp
Disallow:/User-Agent: *Disallow:/
可以看出淘宝拒绝了百度爬虫、谷歌爬虫、必应爬虫、360爬虫、神马爬虫，搜狗爬虫、雅虎爬虫等约束。
分析
我们可以分析爬取的网页内容，获得我们真正需要的数据，常用的有正则表达式，BeautifulSoup,XPath、lxml等
正则表达式是进行内容匹配，将符合要求的内容全部获取；
xpath()能将字符串转化为标签，它会检测字符串内容是否为标签，但是不能检测出内容是否为真的标签；
Beautifulsoup是Python的一个第三方库，它的作用和 xpath 作用一样，都是用来解析html数据的相比之下，xpath的速度会快一点，因为xpath底层是用c来实现的
存储
通过分析网页内容，获取到我们想要的数据，我们可以选择存到文本文件中，亦可以存储在数据库中，常用的数据库有MySql、MongoDB
存储为json文件
import json
dictObj = {
'小明':{
'age': 15,
'city': 'beijing',
},
'汤姆': {
'age': 16,
'city': 'guangzhou',
}
}
jsObj = json.dumps(dictObj, ensure_ascii=False)
fileObject = open('jsonFile.json', 'w')
fileObject.write(jsObj)
fileObject.close()
存储为cvs文件
import csv
with open('student.csv', 'w', newline='') as csvfile:
writer = csv.writer(csvfile)
writer.writerow(['姓名', '年龄', '城市'])
writer.writerows([['小明', 15 , '北京'],['汤姆', 16, '广州']])
存储到Mongo
# mongo服务
client = pymongo.MongoClient('mongodb://127.0.0.1:27017/')
# test数据库
db = client.test
# student表,没有自动创建
student_db = db.student
student_json = {
'name': '小明',
'age': 15,
'city': '北京'
}
student_db.insert(student_json)
欢迎关注我的公众号：程序员共成长
公众号内回复【礼包】，获取程序员专属资料，包括但不限于Java、Python、Linux、数据库、大数据、架构、测试、前端、ui以及各方向电子书
python爬虫-Python爬虫入门这一篇就够了相关推荐
- Python语言入门这一篇就够了-学习笔记(十二万字)
Python语言入门这一篇就够了-学习笔记(十二万字) 友情提示:先关注收藏,再查看,12万字保姆级 Python语言从入门到精通教程. 文章目录 Python语言入门这一篇就够了-学习笔记(十二万字 ...
- python java混合编程_详解java调用python的几种用法(看这篇就够了)
java调用python的几种用法如下: 在java类中直接执行python语句 在java类中直接调用本地python脚本 使用Runtime.getRuntime()执行python脚本文件(推荐 ...
- React入门看这篇就够了
2019独角兽企业重金招聘Python工程师标准>>> 摘要: 很多值得了解的细节. 原文:React入门看这篇就够了 作者:Random Fundebug经授权转载,版权归原作者所 ...
- groovy if 判断字符串_Groovy快速入门看这篇就够了
原标题:Groovy快速入门看这篇就够了 来自:刘望舒(微信号:liuwangshuAndroid) 前言 在前面我们学习了和两篇文章,对Gradle也有了大概的了解,这篇文章我们接着来学习Groov ...
- 强化学习入门这一篇就够了！！！万字长文
强化学习 强化学习入门这一篇就够了万字长文带你明明白白学习强化学习... 强化学习入门这一篇就够了 强化学习 前言 一.概率统计知识回顾 1.1 随机变量和观测值 1.2 概率密度函数 1.3 期望 ...
- 先学python还是ros_ROS学习入门（抛砖引玉篇）
2017.12.11更新:感谢 @jiangxihj 推荐 ROS-Industrial(Indigo) Training Exercises ,一个从零开始的ROS-Idustrial教程,教程还未 ...
- Python 列表数据类型（list）[学习 Python 必备基础知识][看此一篇就够了]
您的"关注"和"点赞",是信任,是认可,是支持,是动力- 如意见相佐,可留言. 本人必将竭尽全力试图做到准确和全面,终其一生进行修改补充更新. 文章目录 1 P ...
- Python 注释详解[学习 Python 必备基础知识][看此一篇就够了]
您的"关注"和"点赞",是信任,是认可,是支持,是动力- 如意见相佐,可留言. 本人必将竭尽全力试图做到准确和全面,终其一生进行修改补充更新. 文章目录 1 P ...
- .NET Core实战项目之CMS 第五章 入门篇-Dapper的快速入门看这篇就够了
写在前面 上篇文章我们讲了如在在实际项目开发中使用Git来进行代码的版本控制,当然介绍的都是比较常用的功能.今天我再带着大家一起熟悉下一个ORM框架Dapper,实例代码的演示编写完成后我会通过Git ...
最新文章
- git查找两个分支的共同节点
- Linux 0.00 代码解析（一）
- Qt Creator用户界面
- ssm整合之六 时间日期装换
- java实现缓存方式_【Java】【器篇】【缓存】一个轻量的缓存实现方式
- Text段、Data段和BSS段
- MYSQLMANAGER实例管理器总结
- html中th 与thead tbody的 使用
- 出版物排版软件——对XML数据进行排版、浏览、转换、打印
- Android开发笔记（一百七十八）更安全的数据仓库DataStore
- WSS 3.0部署备忘 六
- android实例教程_Android内部存储示例教程
- iOS webview 清除缓存
- [AngularJS] 插件ui-grid使用说明
- 关于echarts图表下载
- 2022年信息安全工程师考试知识点：计算机网络基本知识
- 微信 Android 热补丁实践演进之路
- 【网易】网易2018实习生招聘笔试题-测试开发实习生
- leetcode简单1742/867
- 2021年中国股票市场成交情况、政策调整与股票市场异常波动及政策建议分析[图]