python urllib.request ssl失败_python requests SSL证书问题
错误信息:
requests.exceptions.SSLError: ("bad handshake: Error([('SSL routines', 'tls_process_server_certificate', 'certificate verify failed')],)",)
python做爬虫,对于有的网站,需要验证证书,比如:12306。
百度查报错信息,stack overflow里讲的比较好。
cafile = 'cacert.pem' # http://curl.haxx.se /ca/cacert.pem
r = requests.get(url, verify=cafile)
requests的官方相关帮助
就是说加上一个参数:verify=证书路径,或verify=False
我测试了一下,后者会有警告,提示安全问题
InsecureRequestWarning: Unverified HTTPS request is being made. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.io/en/latest/advanced-usage.html#ssl-warnings InsecureRequestWarning)
使用证书的最大问题是证书在哪儿弄?,经过探索得到解决:通过浏览器查看网页证书,然后另存为
百度经验贴:下载安全证书
#!/usr/bin/env python3
# -*- coding: utf-8 -*-
# @Author : 西瓜,2017/4/29 0:30
# @File : 12306测试.py
# python版本:python3.5
my_header = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:52.0) Gecko/20100101 Firefox/52.0',
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Accept-Language': 'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3',
'Accept-Encoding': 'gzip, deflate',
'Referer': 'http://www.baidu.com',
'Connection': 'keep-alive',
'Cache-Control': 'max-age=0',
'Host':None
}
import requests
from bs4 import BeautifulSoup
geturl ="https://kyfw.12306.cn/otn/leftTicket/query?leftTicketDTO.\
train_date=2017-04-29&leftTicketDTO.from_station=WHN&leftTicketDTO.\
to_station=SZN&purpose_codes=ADULT"
# 测试网址
# geturl = "http://blog.csdn.net/wangming520liwei/article/details/53896964"
# res = requests.get(geturl,headers=my_header)
res = requests.get(geturl,headers=my_header,verify=False)
# res = requests.get(geturl,headers=my_header,verify="E:/SRCA.crt")
res.encoding = 'utf-8'
soup = BeautifulSoup(res.text,'html5lib')
python urllib.request ssl失败_python requests SSL证书问题相关推荐
- python ssl连接 证书验证失败_python foursquare – SSL3证书验证失败
我正在尝试使用Mike Lewis的 Python包装器( https://github.com/mLewisLogic/foursquare)向Foursquare API发出无用的请求: clie ...
- python urllib.request 爬虫 数据处理-python爬虫1--urllib请求库之request模块
urllib为python内置的HTTP请求库,包含四个模块: request:最基本的HTTP请求模块, 只需要传入URL和参数 error:异常处理模块 parse:工具模块,处理URL,拆分.解 ...
- python urllib.request 爬虫 数据处理-Python网络爬虫(基于urllib库的get请求页面)
一.urllib库 urllib是Python自带的一个用于爬虫的库,其主要作用就是可以通过代码模拟浏览器发送请求.其常被用到的子模块在Python3中的为urllib.request和urllib. ...
- python urllib.request 爬虫 数据处理-python 爬虫之 urllib库
文章更新于:2020-03-02 注:代码来自老师授课用样例. 一.初识 urllib 库 在 python2.x 版本,urllib 与urllib2 是两个库,在 python3.x 版本,二者合 ...
- python urllib.request 爬虫 数据处理-运维学python之爬虫基础篇(二)urllib模块使用...
1 何为爬虫 网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本.另外一些不常使用的名字还有蚂蚁.自动索引. ...
- python urllib.request 爬虫 数据处理-python之爬虫(三) Urllib库的基本使用
什么是Urllib Urllib是python内置的HTTP请求库 包括以下模块 urllib.request 请求模块 urllib.error 异常处理模块 urllib.parse url解析模 ...
- python urllib.request 爬虫 数据处理-Python爬虫学习之(二)| urllib进阶篇
作者:xiaoyu 微信公众号:Python数据科学 知乎:Python数据分析师 前情回顾,urllib的基本用法 urllib库的基本组成 利用最简单的urlopen方法爬取网页html 利用Re ...
- Python3 内置http.client,urllib.request及三方库requests发送请求对比
一.HTTP,GET请求,无参 GET http://httpbin.org/get Python3 http.client import http.client # 1. 建立HTTP连接 conn ...
- python urllib.request 爬虫 数据处理-使用Python3.5写简单网络爬虫
<一>用urllib库访问URL并采集网络数据 -1. 直接采集 发送请求,打开URL,打印传回的数据(html文件) - 2. 模拟真实浏览器访问 1)发送http头信息(header) ...
最新文章
- 156 13.67用matlab答案,数学实验(MATLAB版韩明版)5.1,5.3,5.5,5.6部分答案
- linux触摸屏两指缩放_自定义TextView实现单指拖动,双指缩放旋转
- 【Groovy】闭包 Closure ( 闭包参数列表规则 | 默认参数列表 | 不接收参数 | 接收自定义参数 )
- Android中五种常用对话框的使用
- 分别是什么意思_美国FBA头程:空派/海派分别是什么意思?
- 机器学习著名定理之—No Free Lunch定理详解
- C# 9 新特性:代码生成器、编译时反射
- Spring入门(四)之BeanFactory
- matlab ssb,MatlabSSB信号的仿真分析.doc
- 【Flutter】Dart中的类和对象
- bat怎么发起网络请求_接口测试实战| GETPOST 请求区别详解
- python教育版_pycharm教育版下载
- Epicor 调试 customization
- idea 中部署 tomcat
- 浅析Promise的then方法
- 幼儿园案例经验迁移_【投石问路】让案例分析成为幼儿教师自我成长的阶梯
- mysql没有data文件夹
- 《51CTO博客2.0——活跃之星评选大赛》送的获奖书籍及个人感言
- 16 岁少年前往腾讯总部要求解封 QQ 账号;微软发内部信辟谣:没有关闭微软苏州的相关计划;Go 1.20 发布|极客头条
- 数字滚动效果(number-flip)
热门文章
- 006_Maven仓库
- 004_常用浏览器内核
- fpga驱动rgb液晶屏_正点原子开拓者FPGA开发板资料连载第五十四章基于的数字识别实验...
- python分解word文档为多个_将一个word文档按一页或多页拆分成多个文档
- iphone双卡_内部消息:iPhone 12不支持双卡5G,但国行问题不大|iphone|国行|手机|高通|骁龙...
- Java数据结构和算法:HashMap,哈希表,哈希函数
- 英语四级比计算机等级难多少,英语四级难考吗?学长:掌握方法,过“425”分不困难...
- android 时间转换 工具下载,时间转换器手游下载_时间转换器安卓版下载v1.09.25_3DM手游...
- mysql bypass_Bypass MySQL Safedog
- android 检测当前wifi是否又网络,android判断连接的wifi是否能访问网络