Datawhale第十二期组队学习--Python爬虫编程实践 Task03：session和cookie、代理、selenium自动化 拔高：丁香园留言板爬取
一. session和cookie
常用的 web 容器有 Nginx 、 Apache 、 Tomcat 、Weblogic 、 Jboss 、 Resin 等等
http 1.0
- HTTP1.0的特点是无状态无链接的
- 无状态就是指 HTTP 协议对于请求的发送处理是没有记忆功能的，也就是说每次 HTTP 请求到达服务端，服务端都不知道当前的客户端（浏览器）到底是一个什么状态。客户端向服务端发送请求后，服务端处理这个请求，然后将内容响应回客户端，完成一次交互，这个过程是完全相互独立的，服务端不会记录前后的状态变化，也就是缺少状态记录。
session和cookies
Session 是会话的意思，会话是产生在服务端的，用来保存当前用户的会话信息，而 Cookies 是保存在客户端（浏览器），有了 Cookie 以后，客户端（浏览器）再次访问服务端的时候，会将这个 Cookie 带上，这时，服务端可以通过 Cookie 来识别本次请求到底是谁在访问。
可以简单理解为 Cookies 中保存了登录凭证，我们只要持有这个凭证，就可以在服务端保持一个登录状态。
在爬虫中，有时候遇到需要登录才能访问的网页，只需要在登录后获取了 Cookies ，在下次访问的时候将登录后获取到的 Cookies 放在请求头中，这时，服务端就会认为我们的爬虫是一个正常登录用户。
session
那么，Cookies 是如何保持会话状态的呢？
在客户端（浏览器）第一次请求服务端的时候，服务端会返回一个请求头中带有 Set-Cookie 字段的响应给客户端（浏览器），用来标记是哪一个用户，客户端（浏览器）会把这个 Cookies 给保存起来。
当我们输入好用户名和密码时，客户端会将这个 Cookies 放在请求头一起发送给服务端，这时，服务端就知道是谁在进行登录操作，并且可以判断这个人输入的用户名和密码对不对，如果输入正确，则在服务端的 Session 记录一下这个人已经登录成功了，下次再请求的时候这个人就是登录状态了。如果客户端传给服务端的 Cookies 是无效的，或者这个 Cookies 根本不是由这个服务端下发的，或者这个 Cookies 已经过期了，那么接下里的请求将不再能访问需要登录后才能访问的页面。
所以， Session 和 Cookies 之间是需要相互配合的，一个在服务端，一个在客户端。
cookie
Cookies到底有哪些内容，具体操作方式还是在 Chrome 中按 F12 打开开发者工具，选择 Application 标签，点开 Cookies 这一栏。
- Name：这个是 Cookie 的名字。一旦创建，该名称便不可更改。
- Value：这个是 Cookie 的值。
- Domain：这个是可以访问该 Cookie 的域名。例如，如果设置为 .jd.com ，则所有以 jd.com ，结尾的域名都可以访问该Cookie。
- Max Age：Cookie 失效的时间，单位为秒，也常和 Expires 一起使用。 Max Age 如果为正数，则在 Max Age 秒之后失效，如果为负数，则关闭浏览器时 Cookie 即失效，浏览器也不会保存该 Cookie 。
- Path：Cookie 的使用路径。如果设置为 /path/ ，则只有路径为 /path/ 的页面可以访问该 Cookie 。如果设置为 / ，则本域名下的所有页面都可以访问该 Cookie 。
- Size：Cookie 的大小。
- HTTPOnly：如果此项打勾，那么通过 JS 脚本将无法读取到 - Cookie 信息，这样能有效的防止 XSS 攻击，窃取 Cookie 内容，可以增加 Cookie 的安全性。
- Secure：如果此项打勾，那么这个 Cookie 只能用 HTTPS 协议发送给服务器，用 HTTP 协议是不发送的。
那么有的网站为什么这次关闭了，下次打开的时候还是登录状态呢？
这就要说到 Cookie 的持久化了，其实也不能说是持久化，就是 Cookie 失效的时间设置的长一点，比如直接设置到 2099 年失效，这样，在浏览器关闭后，这个 Cookie 是会保存在我们的硬盘中的，下次打开浏览器，会再从我们的硬盘中将这个 Cookie 读取出来，用来维持用户的会话状态。
第二个问题产生了，服务端的会话也会无限的维持下去么，当然不会，这就要在 Cookie 和 Session 上做文章了， Cookie 中可以使用加密的方式将用户名记录下来，在下次将 Cookies 读取出来由请求发送到服务端后，服务端悄悄的自己创建一个用户已经登录的会话，这样我们在客户端看起来就好像这个登录会话是一直保持的。
一个重要概念
当我们关闭浏览器的时候会自动销毁服务端的会话，这个是错误的，因为在关闭浏览器的时候，浏览器并不会额外的通知服务端说，我要关闭了，你把和我的会话销毁掉吧。
因为服务端的会话是保存在内存中的，虽然一个会话不会很大，但是架不住会话多啊，硬件毕竟是会有限制的，不能无限扩充下去的，所以在服务端设置会话的过期时间就非常有必要。
当然，有没有方式能让浏览器在关闭的时候同步的关闭服务端的会话，当然是可以的，我们可以通过脚本语言 JS 来监听浏览器关闭的动作，当浏览器触发关闭动作的时候，由 JS 像服务端发起一个请求来通知服务端销毁会话。
由于不同的浏览器对 JS 事件的实现机制不一致，不一定保证 JS 能监听到浏览器关闭的动作，所以现在常用的方式还是在服务端自己设置会话的过期时间
代码：
# 实战案例：模拟登录163
import time
from selenium import webdriver
from selenium.webdriver.common.by import By"""
使用selenium进行模拟登陆
1.初始化ChromeDriver
2.打开163登陆页面
3.找到用户名的输入框，输入用户名
4.找到密码框，输入密码
5.提交用户信息
"""
# driver打卡163登录地址
# 测试写真实的name， passwd 可以登录
name = '*'
passwd = '*'
# webdriver 版本不对，打开chrome就有问题
# chorme版本81.0.4044.122（正式版本） （32 位）， driver版本81.0.4044.69（win）
driver = webdriver.Chrome('./chromedriver.exe')
driver.get('https://mail.163.com/')
# 将窗口调整最大
driver.maximize_window()
# 休息5s
time.sleep(5)
current_window_1 = driver.current_window_handle
print(current_window_1)# 打卡输入用户名，密码登录
button = driver.find_element(by=By.ID, value='lbNormal')
button.click()
driver.switch_to.frame(driver.find_element(by=By.XPATH, value="//iframe[starts-with(@id, 'x-URS-iframe')]"))# 输入用户名，密码，模拟登录
# email = driver.find_element_by_name('email')
email = driver.find_element(by=By.NAME, value='email')
#email = driver.find_element_by_xpath('//input[@name="email"]')
email.send_keys(name)
# password = driver.find_element_by_name('password')
password = driver.find_element(by=By.NAME, value='password')
#password = driver.find_element_by_xpath("//input[@name='password']")
password.send_keys(passwd)
# submit = driver.find_element_by_id("dologin")
submit = driver.find_element(by=By.ID, value="dologin")
time.sleep(15)
submit.click()
time.sleep(10)
# print(driver.page_source)
driver.quit()二. IP 代理
为什么会出现IP被封
网站为了防止被爬取，会有反爬机制，对于同一个IP地址的大量同类型的访问，会封锁IP，过一段时间后，才能继续访问
如何应对IP被封的问题
有几种套路：
- 修改请求头，模拟浏览器（而不是代码去直接访问）去访问
- 采用代理IP并轮换
- 设置访问时间间隔
代码：
import requests
import re
import json
from lxml import etree
from bs4 import BeautifulSoup# 获取ip list
def get_ip_list():url = "https://www.xicidaili.com/"headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.122 Safari/537.36',}res = requests.get(url, headers=headers)# print(res.text)html = etree.HTML(res.text)ip_list = html.xpath('//*[@id="ip_list"]/tr')print('ip list=', len(ip_list))if ip_list:print('ip=', ip_list[0].xpath('//td[2]/text()'))def open_proxy_url(url):headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.122 Safari/537.36',}try:r = requests.get(url, headers=headers, timeout=20)r.raise_for_status()r.encoding = r.apparent_encodingreturn r.textexcept:print('无法访问网页' + url)def get_proxy_ip(response):proxy_ip_list = []soup = BeautifulSoup(response, 'html.parser')proxy_ips = soup.find(id='ip_list').find_all('tr')for proxy_ip in proxy_ips:if len(proxy_ip.select('td')) >= 8:# print('==', proxy_ip.select('td'))ip = proxy_ip.select('td')[1].textport = proxy_ip.select('td')[2].textprotocol = proxy_ip.select('td')[5].textif protocol in ('HTTP', 'HTTPS', 'http', 'https'):proxy_ip_list.append(f'{protocol}://{ip}:{port}')return proxy_ip_list# 使用代理ip打开百度页面
def open_url_using_proxy(url, proxy):headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.122 Safari/537.36',}proxies = {}if proxy.startswith('HTTPS'):proxies['https'] = proxyelse:proxies['http'] = proxytry:r = requests.get(url, headers=headers, proxies=proxies, timeout=10)r.raise_for_status()r.encoding = r.apparent_encodingreturn r.text, r.status_codeexcept:print('无法访问网页' + url)return False# 检查代理ip的有效性
def check_proxy_avaliability(proxy):url = 'http://www.baidu.com'result = open_url_using_proxy(url, proxy)VALID_PROXY = Falseif result:text, status_code = resultif status_code == 200:r_title = re.findall('<title>.*</title>', text)if r_title:if r_title[0] == '<title>百度一下，你就知道</title>':VALID_PROXY = Trueif VALID_PROXY:check_ip_url = 'https://jsonip.com/'try:text, status_code = open_url_using_proxy(check_ip_url, proxy)except:returnprint('有效代理IP: ' + proxy)with open('valid_proxy_ip.txt', 'a') as f:f.writelines(proxy)try:source_ip = json.loads(text).get('ip')print(f'源IP地址为：{source_ip}')print('='*40)except:print('返回的非json,无法解析')print(text)else:print('无效代理IP: ' + proxy)if __name__ == '__main__':# 获取代理ip# proxy_url = 'https://www.xicidaili.com/'# text = open_proxy_url(proxy_url)# proxy_ip_filename = 'proxy_ip.txt'# with open(proxy_ip_filename, 'w') as f:# f.write(text)# text = open(proxy_ip_filename, 'r').read()# proxy_ip_list = get_proxy_ip(text)# print(len(proxy_ip_list))# print(proxy_ip_list)## # 测试代理ip打开# url = 'http://www.baidu.com'# text = open_url_using_proxy(url, proxy_ip_list[0])# Data whale testproxy_url = 'https://www.xicidaili.com/'proxy_ip_filename = 'proxy_ip.txt'text = open(proxy_ip_filename, 'r').read()proxy_ip_list = get_proxy_ip(text)for proxy in proxy_ip_list:check_proxy_avaliability(proxy)三. selenium自动化
selenium是什么：一个自动化测试工具（大家都是这么说的）
selenium应用场景：用代码的方式去模拟浏览器操作过程（如：打开浏览器、在输入框里输入文字、回车等），在爬虫方面很有必要
准备工作：
安装selenium（pip install selenium）
安装chromedriver（一个驱动程序，用以启动chrome浏览器，具体的驱动程序需要对应的驱动，在官网上可以找到下载地址）
# 基本的操作
from selenium import webdriver # 启动浏览器需要用到driver = webdriver.Chrome(".chromedriver.exe")
driver.get("http://www.python.org")
driver.close() # 关闭浏览器一个Tab
查找元素
element = driver.find_element_by_name("q")
页面交互（键盘输入）
element.send_keys(“some text”） # 往一个可以输入对象中输入“some text”element.send_keys(Keys.RETURN） # 模拟键盘回车# 一般来说，这种方式输入后会一直存在，而要清空某个文本框中的文字，就需要：
element.clear() # 清空element对象中的文字
等待页面加载（wait）
- 应用场景：含有ajax加载的page！因为在这种情况下，页面内的某个节点并不是在一开始就出现了，而在这种情况下，就不能“查找元素”，元素选择不到，就不好进行交互操作！等待页面加载这两个模块经常是一起导入的：
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
- 显示等待：触发某个条件后才能够执行后续的代码
driver = webdriver.Firefox()
driver.get("http://somedomain/url_that_delays_loading")
try: element = WebDriverWait(driver, 10).until( EC.presence_of_element_located((By.ID, "myDynamicElement")))
finally: driver.quit()
#其中，presence_of_element_located是条件，By.ID是通过什么方式来确认元素（这个是通过id），"myDynamicElement"这个就是某个元素的ID
- 隐示等待：设置某个具体的等待时间
driver = webdriver.Firefox()
driver.implicitly_wait(10) # seconds
driver.get("http://somedomain/url_that_delays_loading")
myDynamicElement = driver.find_element_by_id("myDynami")
四. 小作业
Q1: 怎么在ip被封之后实现自动更换代理池内的代理？
A1: 用random.choice 随机选取ip
Q2: 如何用一句通俗的语言解释清楚request、beautifulsoup和selenium三者与浏览器之间的关系？
A2: BeautifulSoup：处理速度快，同时可以连续查找，主要用于静态网页
经过BeautifulSoup处理以后，编码方式都变成了Unicode,需要将其变成所需的编码方式：可以利用encode(‘需要的编码’)，还可以利用 BeautifulSoup(网页/html, lxml/xml”).prettify(‘需要的编码’) 可以利用soup.originalencoding检测原来的编码。 Selenium：主要用于动态网页，查找速度慢，解析时要注意 .findelements_byxpath和.findelement_by_xpath有区别，同时利用浏览器时要配置。 .PhantomJS： drive=webdriver.PhantomJS(‘D:\Anaconda2\phantomjswindows\binphantomjs.exe’)
Q3: 构建好代理池后，如何在一次爬虫中自动切换代理？ 比如代理无效，或者代理ip被封，这时自动切换下一个ip。
A3: 首先你要有一个ip代理池（如果比较豪可以自己买真实ip自行搭建，好处独享有技术门槛,或者找第三方ip代理商对接,好吃廉价,但ip不独享）， 真实ip需要自己写程序来代理转发，第三方ip代理商则会提供相关转发API,直接调用就可以，这东西没什么技术难度
Q4: ip_list.append(f’{protpcol}
这一节看的比较懂些,Chromedrive下载开始出现一些问题后来解决了,主要路径要确定到 .exe,有些细节不是太清楚,但自己应该多查找会就能明白. 例如 把内容写进一个txt然后又读这个txt的操 ... 文章目录 IP代理 获取代理IP地址的方法 代码实现 selenium session 和 cookie 动态网页和静态网页 静态网页 动态网页 session和cookies session coo ... 经常听到有朋友说,学习编程是一件非常枯燥无味的事情.其实,大家有没有认真想过,可能是我们的学习方法不对? 比方说,你有没有想过,可以通过打游戏来学编程? 今天我想跟大家分享几个网站,教你如何通过边打游 ... 文章目录 1.互联网.HTTP 互联网 HTTP 2.开发者工具 3.request库 request.get request.post request.get进阶:爬取豆瓣电影 1.互联网.HTTP ... 主要内容 HTTP基础 HTML基础 requests.get的使用 API的使用 HTTP HTTP是一个客户端(用户)和服务器端(网站)之间进行请求和应答的标准.通过使用网页浏览器.网络爬虫或者其 ... 主要学习内容: Beautiful Soup库的入门 xpath的使用 re的使用 1. Beautiful Soup库入门 Beautiful Soup 是一个HTML/XML 的解析器,主要用于解 ... 爬取腾讯新闻 了解ajax加载 通过chrome的开发者工具,监控网络请求,并分析 用selenium完成爬虫 具体流程如下: 用selenium爬取https://news.qq.com/ 的热点精 ... 文章目录 一.Xpath Xpath常用的路径表达式 使用lxml解析 实战:爬取丁香园-用户名和回复内容 二.正则表达式 re库 正则表达式的语法 正则表达式re库的使用 re库的主要功能函数 re ... 文章目录 百度关键词收录数爬取 需求 TODO 实现 使用说明 代码 爬取结果 百度关键词收录数爬取 需求 根据百度搜索,输入关键词,获得相应关键词的收录数. 收集完数据后,根据指定的阈值进行数据分类 ...Datawhale第十二期组队学习--Python爬虫编程实践 Task03：session和cookie、代理、selenium自动化 拔高：丁香园留言板爬取相关推荐
最新文章
热门文章