every blog every motto: a bold attempt is half success

0. 前言

关于pyspider的安装及遇到坑的解决。
个人感觉pyspider不是太稳定,一个简单的安装都要折腾好久,而且binux好像很久没更新了。废话不多说,下面进入正文。
说明: 下面好像漏了一步,想不起来了,有空再补上吧。

1. 正文

1. 前期准备

为了版本兼容问题需要用anconda 创建虚拟环境,方便管理。

1.1 虚拟环境

1.1.1 创建虚拟环境

注: 因为关键字的原因,对于python3.7,要修改关键字,所以这里直接用python3.6。关于3.7可参考文献 [1]

conda create -n pys python=3.6
1.1.2 激活虚拟环境(延伸) [2]
activate pys
1.1.3 删除虚拟环境(延申)
conda remove -n pys --all
1.1.4 查看已有虚拟环境(延申)
conda env list

1.2 删除windows defender

不删除也行,但是好像要关闭它。因为我已有安全软件(火绒),一方面,就不需要defender,另一方面,defender 不好关闭,有时关闭了,好像还会起作用。索性就删除了。
Warning: 一定要确保有安全软件,再删除,别盲目!
具体可参考文献[3]

2. 正式开始

2.1 安装 pyspider

目前(2020.3.17)版本为0.3.10

pip install pyspider

2.2 配置PHantomJS

下载地址
,下载完以后配置到python的同级目录下,如下图(我这是时在虚拟环境中)

2.2 wsgidav版本问题

a. 第一种方法:修改代码[5]

找到安装包pys->Lib->site-packages->pyspider->webui->webdav.py。如下图:

修改209行代码,如下:

'domaincontroller': NeedAuthController(app),

修改为:

'http_authenticator':{'HTTPAuthenticator':NeedAuthController(app),},
a. 第二种方法:降低版本

因为3.0的版本不兼容,所以替换为2.4.1[4]

pip uninstall wsgidav
pip install wsgidav==2.4.1

2.3 验证

在命令行输入如下代码:
一定要退出重新进入刚才的终端!!!,否则,会一直等待 result_worker starting…!!!
注: 如果创建了虚拟环境,要激活虚拟环境,后输入

pyspider

正确输出如下:

在浏览器输入http://localhost:5000/

2.4 问题

如果一直卡在result_worker starting…,如下图所示。

-------------------------------------------------------第一个终端
可以新打开一个终端(这个终端暂时不关),再依次输入pyspider,输入完成后再关闭第一个终端。

-------------------------------------------------------第二个终端
运行后:

参考文献

[1] https://segmentfault.com/q/1010000015188569/a-1020000015213575
[2] https://blog.csdn.net/weixin_39190382/article/details/104113028
[3] http://www.winwin7.com/JC/16052.html
[4] https://blog.csdn.net/weixin_33842328/article/details/94538000
[5] https://blog.csdn.net/qq_37253540/article/details/88196994

pyspider 安装及问题处理(pyspider一直卡在result_worker starting的解决办法)相关推荐

  1. MacPS安装服务器当前无响应,最新:M1芯片Mac安装Photoshop2021闪退/卡在启动屏页解决办法...

    原标题:最新:M1芯片Mac安装Photoshop2021闪退/卡在启动屏页解决办法 最近M1芯片的版本更新和PS更新,好多M1用户终于可以在M1芯片上安装PS2020以上的版本了! 但是,可能很多小 ...

  2. 卸载MySQL以及重装卡到Start Services的解决办法(亲测有效,刚重装成功)

    卸载MySQL以及重装卡到Start Services的解决办法 重装系统永远是个好办法,但是对于我们程序员来说只要一想到电脑上的环境变量和其他的配置就蔫了.所以这一条就当作是废话吧. 一般来说装My ...

  3. vmware虚拟机运行速度卡慢原因分析及解决办法大全(二)

     很多人在使用虚拟机系统的时候,经常对虚拟机的运行速度不甚满意,甚至经常很恼火.虚拟机速度慢有很多原因,每个人需要根据自己的情况具体分析,本文根据笔者的使用经验将从17个方面进行分析和总结,以期能尽量 ...

  4. vmware虚拟机运行速度卡慢原因分析及解决办法大全(一)

     虚拟机能在现有的系统上虚拟出多个独立的系统,尤其是开发人员测试人员经常会使用,但是大家经常对虚拟机的运行速度不甚满意,甚至经常很恼火.虚拟机速度慢有很多原因,需要根据自己的情况具体分析,本文根据笔者 ...

  5. 在 ubuntu 20.04 LTS 上安装 ROS2 执行 rosdep update 命令时出现的问题的解决办法

    在 ubuntu 20.04 LTS 上安装 ROS2 执行 rosdep update 命令时出现的问题的解决办法 1.sudo rosdep init 在执行 sudo rosdep init 命 ...

  6. 妖怪手帐获取服务器信息失败,妖怪手账闪退怎么办 卡在加载页面解决办法

    妖怪手账闪退怎么办?很多玩家下载了游戏之后发现一直卡在加载页面,完全进不去怎么办呢?有什么办法可以解决这种情况呢?接下来就跟随小编一起来看看吧! 妖怪手账闪退怎么办 卡在加载页面解决办法 很多玩家都发 ...

  7. Win7安全模式卡在ClassPNP sys位置解决办法之一

    Win7安全模式卡在ClassPNP.sys位置解决办法之一: 笔记本Win7操作系统突然启动不了,启动过程中死机. 通过安全模式启动发现卡在ClassPnp.sys位置并死机,以为是即插即用设备出问 ...

  8. ipad更新9.0系统更新服务器,iPhone/iPad升级iOS9出现卡顿的原因及解决办法

    iOS 9正式版目前已经正式推送了,不过在一部分热火朝天升级的时候,有一部分人还在处在观望的状态.现在有很多升级之后的用户反馈说自己的iPhone或者iPad等苹果设备在升级到iOS 9系统会出现暂时 ...

  9. Win11的两个实用技巧系列之解决dns异常的三种方法、win10/win11卡顿的三种解决办法

    电脑dns异常怎么修复win10? Win10解决dns异常的三种方法 电脑dns异常怎么修复win10?最近有很多win10用户遇到dns配置错误的问题,这让用户非常苦恼,下面我们就来看看Win10 ...

  10. 表格使用格式刷卡顿的一种解决办法

    表格使用格式刷卡顿的一种解决办法 一.这种方法的适用条件 二.解决方法 三.小补充 一.这种方法的适用条件 1.即便少量的格式刷也会卡顿 2.其他表格无相似情况 1.2两点基本排除与电脑性能.软件无关 ...

最新文章

  1. Git基础之(二十)——标签管理——创建标签
  2. 配置System Center Data Protection Manager 2007
  3. 基于Unity的弹幕游戏多人联机尝试
  4. sap idoc techniques
  5. 4x4矩阵键盘工作原理及扫描程序_基于复杂可编程逻辑器件实现键盘接口电路的设计...
  6. openstack用户列表_什么是OpenStack超级用户?
  7. python xlrd导入后怎么保存_Python xlrd模块导入过程及常用操作
  8. 抢占计算机与通信设备未来产业制高点 ——《信息产业发展指南》解读
  9. 人脸对齐—级联回归模型和深度学习模型
  10. Html 中的Body 标签
  11. 编程猫海龟编辑器 附使用教程
  12. css向右箭头形状按钮,详解Bootstrap的纯CSS3箭头按钮样式
  13. ML之lightgbm.sklearn:LGBMClassifier函数的简介、具体案例、调参技巧之详细攻略
  14. 聊聊 iOS 15 新特性
  15. java 绘制长方形_用java画矩形与正方形
  16. 转:Spark案例:Scala版统计单词个数
  17. 尹成学院区块链 Go 学习大纲-取得大纲试看视频联系微信yinchengak48
  18. js如何获取元素内容
  19. 六大维度让你彻底明白机器视觉与计算机视觉的区别!
  20. 人机协作,小i机器人搭档杨澜主持上海科技节闭幕式

热门文章

  1. 鸿蒙20支持哪些设备,华为鸿蒙OS 2.0支持哪些机型,有哪些区别
  2. Nacos服务注册发现
  3. python写math函数_pythonmathcot函数_Matplotlib 编写数学表达式
  4. android连接airprint打印机,AirPrint:iOS的打印机
  5. 中科院计算机考研对外调剂吗,考研调剂信息:2020年中科院接收调剂研究生!...
  6. JavaWeb:生成简单随机图片验证码返回给客户端
  7. Javascript:Ajax讲解
  8. Openlaye:学习笔记之事件
  9. 计算机开机后在干啥,电脑开机时到底在干什么
  10. 论文翻译 | ORB-SLAM3:一个用于视觉、视觉惯性和多地图SLAM系统