问题简述

背景说明:

python版本 3.5.2

操作流程

  • 1.执行pyspider安装:
  •   pip install pyspider
  • 2.运行pyspider
  •   pyspider all
  • 3.打开浏览器进行任务配置
  •   localhost:5000
  • 4.新增并执行task

错误如下描述

    [E 171009 20:37:58 base_handler:203] HTTP 599: SSL certificate problem: unable to get local issuer certificate
Traceback (most recent call last):File "d:\python\python35\lib\site-packages\pyspider\libs\base_handler.py", line 196, in run_taskresult = self._run_task(task, response)File "d:\python\python35\lib\site-packages\pyspider\libs\base_handler.py", line 175, in _run_taskresponse.raise_for_status()File "d:\python\python35\lib\site-packages\pyspider\libs\response.py", line 172, in raise_for_statussix.reraise(Exception, Exception(self.error), Traceback.from_string(self.traceback).as_traceback())File "d:\python\python35\lib\site-packages\six.py", line 692, in reraiseraise value.with_traceback(tb)File "d:\python\python35\lib\site-packages\pyspider\fetcher\tornado_fetcher.py", line 378, in http_fetchresponse = yield gen.maybe_future(self.http_client.fetch(request))File "d:\python\python35\lib\site-packages\tornado\httpclient.py", line 102, in fetchself._async_client.fetch, request, **kwargs))File "d:\python\python35\lib\site-packages\tornado\ioloop.py", line 458, in run_syncreturn future_cell[0].result()File "d:\python\python35\lib\site-packages\tornado\concurrent.py", line 238, in resultraise_exc_info(self._exc_info)File "<string>", line 4, in raise_exc_info
Exception: HTTP 599: SSL certificate problem: unable to get local issuer certificate

排除过程

  • 1.更新pyspider(使用最新版本),仍存在该问题
  • 2.使用代码 validate_cert =false 仍存在给问题;
  •               self.crawl(it.href, validate_cert = False)

后仔细查看报错信息:

    File "d:\python\python35\lib\site-packages\tornado\concurrent.py", line 238, in resultraise_exc_info(self._exc_info)

后搜索得之:https://laracasts.com/discuss/channels/general-discussion/curl-error-60-ssl-certificate-problem-unable-to-get-local-issuer-certificate/replies/37017

讲述了类似的场景:

  1. 下载 http://curl.haxx.se/ca/cacert.pem
  2. 将文件报错到上述目录:d:\python\python35\lib\site-packages\tornado
  3. 问题解决。

转载于:https://www.cnblogs.com/sky_Great/p/7643036.html

PySpider问题记录http599相关推荐

  1. Python 爬虫框架 - PySpider

    Python爬虫进阶四之PySpider的用法:http://cuiqingcai.com/2652.html 网络爬虫剖析,以Pyspider为例:http://python.jobbole.com ...

  2. python网络爬虫学习(六)利用Pyspider+Phantomjs爬取淘宝模特图片

    本篇博文在编写时参考了http://cuiqingcai.com/2652.html,向作者表示感谢 一.新的问题与工具 平时在淘宝上剁手的时候,总是会看到各种各样的模特.由于自己就读于一所男女比例三 ...

  3. 网络字体反爬之pyspider爬取起点中文小说

    这段时间正在看爬虫框架-pyspider,觉得这种网站用框架还是很方便的,所以今天就给大家带来这篇---起点中文网小说爬取.可视化我们放到下一集. 加vx:tanzhouyiwan或qq群813622 ...

  4. Python一个月实训记录

    文章目录 Python一个月实训 0701 0702 0703 0706 0707 0708 0709 0710 0713 1.爬虫介绍 1.1 大数据时代 1.2 什么爬虫? 1.3 爬虫如何爬取网 ...

  5. win10下安装pyspider总结

    win10下安装pyspider有很多坑,为了记录下来,专门新建了虚拟环境从头安装加以记录,所有出错信息和截图均来自安装过程,不对你的症请找其他大夫,不喜勿喷. 安装: pip install pys ...

  6. Python 库的记录

    GitHub - jobbole/awesome-python-cn: Python资源大全中文版,内容包括:Web框架.网络爬虫.网络内容提取.模板引擎.数据库.数据可视化.图片处理.文本处理.自然 ...

  7. mysql建立联合索引,mysql建立唯一键,mysql如何解决重复记录联合索引

    在项目中,常常要用到联合唯一   在一些配置表中,一些列的组合成为一条记录.   比如,在游戏中,游戏的分区和用户id会形成一条记录.(比如,一个qq用户可以在艾欧尼亚.德玛西亚创建两个账号) 添加联 ...

  8. 实现 连续15签到记录_MySQL和Redis实现用户签到,你喜欢怎么实现?

    现在的网站和app开发中,签到是一个很常见的功能 如微博签到送积分,签到排行榜 微博签到 如移动app ,签到送流量等活动, 移动app签到 用户签到是提高用户粘性的有效手段,用的好能事半功倍! 下面 ...

  9. 记录一次http请求失败的问题分析

    问题背景 当前我有一个基于Flask编写的Restful服务,由于业务的需求,我需要将该服务打包成docker 镜像进行离线部署,原始服务的端口是在6661端口进行开启,为了区分,在docker中启动 ...

最新文章

  1. android ui自动化测试框架有哪些,自动化测试框架对比(UIAutomator、Appium、Robotium)...
  2. 利用DBMS_FILE_TRANSFER传输数据库文件
  3. spring mvc学习(15)Referenced file contains errors
  4. php实现加密解密,php实现加密与解密的原理与用法
  5. SECS/GEM EAP介绍
  6. PyTorch 单机多GPU 训练方法与原理整理
  7. AIM 2020 Challenge on Learned Image Signal Processing Pipeline(个人笔记,勿喷)
  8. ADNI数据集下载(详细)
  9. linux里php如何执行文件,linux如何执行文件
  10. 计算机专业朋友圈文案,朋友圈文案合集_用来发微信朋友圈的句子
  11. 基于深度学习的单目视觉深度估计研究综述
  12. Comparing Mongo DB and Couch DB
  13. 交换机access接口
  14. appium怎么测试ios_使用Appium,Cucumber和Serenity测试iOS应用程序—质量秘诀
  15. Ashen的成长,从CSDN博客开始!
  16. 论文笔记:HIE-SQL:History Information Enhanced Network for Context-Dependent Text-to-SQL Semantic Parsing
  17. Win10 NVIDIA Container占用CPU高的处理方法
  18. android 模拟输入,Android开发中如何模拟输入
  19. 计算机电源大小,电源功率到底选多大?老司机告诉你电源功率怎么选?
  20. 自动化立体仓库都有哪些优点?

热门文章

  1. 社区计生民生工程知识竞赛小结_幸福之基 和谐之本 内江经开区打造精品民生工程...
  2. 【php-laravel框架】第三节:利用composer安装laravel-admin开源管理系统
  3. 小程序滑动到底部进行分页的功能实例
  4. es6 filter函数的用法_Python 函数式编程指北,不只是面向对象哦!超级详细!
  5. 表单元素聚焦状态回车提交表单问题小记
  6. Qt笔记-拖动文件到QWidget(获取拖动文件路径)
  7. Spring Boot中静态文件获得Thymeleaf支持(配置porm.xml)
  8. 使用paintEvent()对窗口进行OpenGL2D绘图
  9. Qt文档阅读笔记-关于Qt Core的进一步认识
  10. php自动关闭页面代码,自动生成伪静态页面代码(简易版)