PySpider问题记录http599
问题简述
背景说明:
python版本 3.5.2
操作流程:
- 1.执行pyspider安装:
pip install pyspider
- 2.运行pyspider
pyspider all
- 3.打开浏览器进行任务配置
localhost:5000
- 4.新增并执行task
错误如下描述
[E 171009 20:37:58 base_handler:203] HTTP 599: SSL certificate problem: unable to get local issuer certificate
Traceback (most recent call last):File "d:\python\python35\lib\site-packages\pyspider\libs\base_handler.py", line 196, in run_taskresult = self._run_task(task, response)File "d:\python\python35\lib\site-packages\pyspider\libs\base_handler.py", line 175, in _run_taskresponse.raise_for_status()File "d:\python\python35\lib\site-packages\pyspider\libs\response.py", line 172, in raise_for_statussix.reraise(Exception, Exception(self.error), Traceback.from_string(self.traceback).as_traceback())File "d:\python\python35\lib\site-packages\six.py", line 692, in reraiseraise value.with_traceback(tb)File "d:\python\python35\lib\site-packages\pyspider\fetcher\tornado_fetcher.py", line 378, in http_fetchresponse = yield gen.maybe_future(self.http_client.fetch(request))File "d:\python\python35\lib\site-packages\tornado\httpclient.py", line 102, in fetchself._async_client.fetch, request, **kwargs))File "d:\python\python35\lib\site-packages\tornado\ioloop.py", line 458, in run_syncreturn future_cell[0].result()File "d:\python\python35\lib\site-packages\tornado\concurrent.py", line 238, in resultraise_exc_info(self._exc_info)File "<string>", line 4, in raise_exc_info
Exception: HTTP 599: SSL certificate problem: unable to get local issuer certificate
排除过程
- 1.更新pyspider(使用最新版本),仍存在该问题
- 2.使用代码 validate_cert =false 仍存在给问题;
self.crawl(it.href, validate_cert = False)
后仔细查看报错信息:
File "d:\python\python35\lib\site-packages\tornado\concurrent.py", line 238, in resultraise_exc_info(self._exc_info)
后搜索得之:https://laracasts.com/discuss/channels/general-discussion/curl-error-60-ssl-certificate-problem-unable-to-get-local-issuer-certificate/replies/37017
讲述了类似的场景:
- 下载 http://curl.haxx.se/ca/cacert.pem
- 将文件报错到上述目录:d:\python\python35\lib\site-packages\tornado
- 问题解决。
转载于:https://www.cnblogs.com/sky_Great/p/7643036.html
PySpider问题记录http599相关推荐
- Python 爬虫框架 - PySpider
Python爬虫进阶四之PySpider的用法:http://cuiqingcai.com/2652.html 网络爬虫剖析,以Pyspider为例:http://python.jobbole.com ...
- python网络爬虫学习(六)利用Pyspider+Phantomjs爬取淘宝模特图片
本篇博文在编写时参考了http://cuiqingcai.com/2652.html,向作者表示感谢 一.新的问题与工具 平时在淘宝上剁手的时候,总是会看到各种各样的模特.由于自己就读于一所男女比例三 ...
- 网络字体反爬之pyspider爬取起点中文小说
这段时间正在看爬虫框架-pyspider,觉得这种网站用框架还是很方便的,所以今天就给大家带来这篇---起点中文网小说爬取.可视化我们放到下一集. 加vx:tanzhouyiwan或qq群813622 ...
- Python一个月实训记录
文章目录 Python一个月实训 0701 0702 0703 0706 0707 0708 0709 0710 0713 1.爬虫介绍 1.1 大数据时代 1.2 什么爬虫? 1.3 爬虫如何爬取网 ...
- win10下安装pyspider总结
win10下安装pyspider有很多坑,为了记录下来,专门新建了虚拟环境从头安装加以记录,所有出错信息和截图均来自安装过程,不对你的症请找其他大夫,不喜勿喷. 安装: pip install pys ...
- Python 库的记录
GitHub - jobbole/awesome-python-cn: Python资源大全中文版,内容包括:Web框架.网络爬虫.网络内容提取.模板引擎.数据库.数据可视化.图片处理.文本处理.自然 ...
- mysql建立联合索引,mysql建立唯一键,mysql如何解决重复记录联合索引
在项目中,常常要用到联合唯一 在一些配置表中,一些列的组合成为一条记录. 比如,在游戏中,游戏的分区和用户id会形成一条记录.(比如,一个qq用户可以在艾欧尼亚.德玛西亚创建两个账号) 添加联 ...
- 实现 连续15签到记录_MySQL和Redis实现用户签到,你喜欢怎么实现?
现在的网站和app开发中,签到是一个很常见的功能 如微博签到送积分,签到排行榜 微博签到 如移动app ,签到送流量等活动, 移动app签到 用户签到是提高用户粘性的有效手段,用的好能事半功倍! 下面 ...
- 记录一次http请求失败的问题分析
问题背景 当前我有一个基于Flask编写的Restful服务,由于业务的需求,我需要将该服务打包成docker 镜像进行离线部署,原始服务的端口是在6661端口进行开启,为了区分,在docker中启动 ...
最新文章
- android ui自动化测试框架有哪些,自动化测试框架对比(UIAutomator、Appium、Robotium)...
- 利用DBMS_FILE_TRANSFER传输数据库文件
- spring mvc学习(15)Referenced file contains errors
- php实现加密解密,php实现加密与解密的原理与用法
- SECS/GEM EAP介绍
- PyTorch 单机多GPU 训练方法与原理整理
- AIM 2020 Challenge on Learned Image Signal Processing Pipeline(个人笔记,勿喷)
- ADNI数据集下载(详细)
- linux里php如何执行文件,linux如何执行文件
- 计算机专业朋友圈文案,朋友圈文案合集_用来发微信朋友圈的句子
- 基于深度学习的单目视觉深度估计研究综述
- Comparing Mongo DB and Couch DB
- 交换机access接口
- appium怎么测试ios_使用Appium,Cucumber和Serenity测试iOS应用程序—质量秘诀
- Ashen的成长,从CSDN博客开始!
- 论文笔记:HIE-SQL:History Information Enhanced Network for Context-Dependent Text-to-SQL Semantic Parsing
- Win10 NVIDIA Container占用CPU高的处理方法
- android 模拟输入,Android开发中如何模拟输入
- 计算机电源大小,电源功率到底选多大?老司机告诉你电源功率怎么选?
- 自动化立体仓库都有哪些优点?
热门文章
- 社区计生民生工程知识竞赛小结_幸福之基 和谐之本 内江经开区打造精品民生工程...
- 【php-laravel框架】第三节:利用composer安装laravel-admin开源管理系统
- 小程序滑动到底部进行分页的功能实例
- es6 filter函数的用法_Python 函数式编程指北,不只是面向对象哦!超级详细!
- 表单元素聚焦状态回车提交表单问题小记
- Qt笔记-拖动文件到QWidget(获取拖动文件路径)
- Spring Boot中静态文件获得Thymeleaf支持(配置porm.xml)
- 使用paintEvent()对窗口进行OpenGL2D绘图
- Qt文档阅读笔记-关于Qt Core的进一步认识
- php自动关闭页面代码,自动生成伪静态页面代码(简易版)