错误信息:

requests.exceptions.SSLError: ("bad handshake: Error([('SSL routines', 'tls_process_server_certificate', 'certificate verify failed')],)",)

python做爬虫,对于有的网站,需要验证证书,比如:12306。

百度查报错信息,stack overflow里讲的比较好。

cafile = 'cacert.pem' # http://curl.haxx.se /ca/cacert.pem

r = requests.get(url, verify=cafile)

requests的官方相关帮助

就是说加上一个参数:verify=证书路径,或verify=False

我测试了一下,后者会有警告,提示安全问题

InsecureRequestWarning: Unverified HTTPS request is being made. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.io/en/latest/advanced-usage.html#ssl-warnings InsecureRequestWarning)

使用证书的最大问题是证书在哪儿弄?,经过探索得到解决:通过浏览器查看网页证书,然后另存为

百度经验贴:下载安全证书

#!/usr/bin/env python3

# -*- coding: utf-8 -*-

# @Author : 西瓜,2017/4/29 0:30

# @File : 12306测试.py

# python版本:python3.5

my_header = {

'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:52.0) Gecko/20100101 Firefox/52.0',

'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',

'Accept-Language': 'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3',

'Accept-Encoding': 'gzip, deflate',

'Referer': 'http://www.baidu.com',

'Connection': 'keep-alive',

'Cache-Control': 'max-age=0',

'Host':None

}

import requests

from bs4 import BeautifulSoup

geturl ="https://kyfw.12306.cn/otn/leftTicket/query?leftTicketDTO.\

train_date=2017-04-29&leftTicketDTO.from_station=WHN&leftTicketDTO.\

to_station=SZN&purpose_codes=ADULT"

# 测试网址

# geturl = "http://blog.csdn.net/wangming520liwei/article/details/53896964"

# res = requests.get(geturl,headers=my_header)

res = requests.get(geturl,headers=my_header,verify=False)

# res = requests.get(geturl,headers=my_header,verify="E:/SRCA.crt")

res.encoding = 'utf-8'

soup = BeautifulSoup(res.text,'html5lib')

python urllib.request ssl失败_python requests SSL证书问题相关推荐

  1. python ssl连接 证书验证失败_python foursquare – SSL3证书验证失败

    我正在尝试使用Mike Lewis的 Python包装器( https://github.com/mLewisLogic/foursquare)向Foursquare API发出无用的请求: clie ...

  2. python urllib.request 爬虫 数据处理-python爬虫1--urllib请求库之request模块

    urllib为python内置的HTTP请求库,包含四个模块: request:最基本的HTTP请求模块, 只需要传入URL和参数 error:异常处理模块 parse:工具模块,处理URL,拆分.解 ...

  3. python urllib.request 爬虫 数据处理-Python网络爬虫(基于urllib库的get请求页面)

    一.urllib库 urllib是Python自带的一个用于爬虫的库,其主要作用就是可以通过代码模拟浏览器发送请求.其常被用到的子模块在Python3中的为urllib.request和urllib. ...

  4. python urllib.request 爬虫 数据处理-python 爬虫之 urllib库

    文章更新于:2020-03-02 注:代码来自老师授课用样例. 一.初识 urllib 库 在 python2.x 版本,urllib 与urllib2 是两个库,在 python3.x 版本,二者合 ...

  5. python urllib.request 爬虫 数据处理-运维学python之爬虫基础篇(二)urllib模块使用...

    1 何为爬虫 网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本.另外一些不常使用的名字还有蚂蚁.自动索引. ...

  6. python urllib.request 爬虫 数据处理-python之爬虫(三) Urllib库的基本使用

    什么是Urllib Urllib是python内置的HTTP请求库 包括以下模块 urllib.request 请求模块 urllib.error 异常处理模块 urllib.parse url解析模 ...

  7. python urllib.request 爬虫 数据处理-Python爬虫学习之(二)| urllib进阶篇

    作者:xiaoyu 微信公众号:Python数据科学 知乎:Python数据分析师 前情回顾,urllib的基本用法 urllib库的基本组成 利用最简单的urlopen方法爬取网页html 利用Re ...

  8. Python3 内置http.client,urllib.request及三方库requests发送请求对比

    一.HTTP,GET请求,无参 GET http://httpbin.org/get Python3 http.client import http.client # 1. 建立HTTP连接 conn ...

  9. python urllib.request 爬虫 数据处理-使用Python3.5写简单网络爬虫

    <一>用urllib库访问URL并采集网络数据 -1. 直接采集 发送请求,打开URL,打印传回的数据(html文件) - 2. 模拟真实浏览器访问 1)发送http头信息(header) ...

最新文章

  1. 156 13.67用matlab答案,数学实验(MATLAB版韩明版)5.1,5.3,5.5,5.6部分答案
  2. linux触摸屏两指缩放_自定义TextView实现单指拖动,双指缩放旋转
  3. 【Groovy】闭包 Closure ( 闭包参数列表规则 | 默认参数列表 | 不接收参数 | 接收自定义参数 )
  4. Android中五种常用对话框的使用
  5. 分别是什么意思_美国FBA头程:空派/海派分别是什么意思?
  6. 机器学习著名定理之—No Free Lunch定理详解
  7. C# 9 新特性:代码生成器、编译时反射
  8. Spring入门(四)之BeanFactory
  9. matlab ssb,MatlabSSB信号的仿真分析.doc
  10. 【Flutter】Dart中的类和对象
  11. bat怎么发起网络请求_接口测试实战| GETPOST 请求区别详解
  12. python教育版_pycharm教育版下载
  13. Epicor 调试 customization
  14. idea 中部署 tomcat
  15. 浅析Promise的then方法
  16. 幼儿园案例经验迁移_【投石问路】让案例分析成为幼儿教师自我成长的阶梯
  17. mysql没有data文件夹
  18. 《51CTO博客2.0——活跃之星评选大赛》送的获奖书籍及个人感言
  19. 16 岁少年前往腾讯总部要求解封 QQ 账号;微软发内部信辟谣:没有关闭微软苏州的相关计划;Go 1.20 发布|极客头条
  20. 数字滚动效果(number-flip)

热门文章

  1. 006_Maven仓库
  2. 004_常用浏览器内核
  3. fpga驱动rgb液晶屏_正点原子开拓者FPGA开发板资料连载第五十四章基于的数字识别实验...
  4. python分解word文档为多个_将一个word文档按一页或多页拆分成多个文档
  5. iphone双卡_内部消息:iPhone 12不支持双卡5G,但国行问题不大|iphone|国行|手机|高通|骁龙...
  6. Java数据结构和算法:HashMap,哈希表,哈希函数
  7. 英语四级比计算机等级难多少,英语四级难考吗?学长:掌握方法,过“425”分不困难...
  8. android 时间转换 工具下载,时间转换器手游下载_时间转换器安卓版下载v1.09.25_3DM手游...
  9. mysql bypass_Bypass MySQL Safedog
  10. android 检测当前wifi是否又网络,android判断连接的wifi是否能访问网络