好久没有写爬虫了,最近用Python的BeautifulSoup4、Scrapy分别对以前写的spider进行优化,发现python3.5后这些库变化了很多,遇到了许多问题,在这里做一下总结。

切换环境:

由于我在windows上安装了Python2.7和Python3.5,在PyCharm上切换环境时,即使已经在setting的interpreter里面切换了相应的版本号,但是仍需要重启PyCharm才能起作用。

另外,如果不想节外生枝,直接把系统变量PATH改掉。

#如果是python3.5.x,改成C:\Users\Administrator\AppData\Local\Programs\Python\Python35\Scripts\;C:\Users\Administrator\AppData\Local\Programs\Python\Python35\;C:\Users\Administrator\AppData\Roaming\npm
#如果是python2.7.x,改成
D:\Python27\Scripts\;D:\Python27\;C:\Users\Administrator\AppData\Roaming\npm

除此之外,如果由于环境变量的切换不完全,使用pip安装各种库时,非常容易出错,建议把“\Lib\site-packages”中类似“\beautifulsoup4-4.5.1.dist-info”的信息数据删除,再重新使用pip安装。

忽略信任报错:

以下代码可以解决访问Https时不受信任SSL证书问题

import ssl
ssl._create_default_https_context = ssl._create_unverified_context

这段时间继续深入优化我的爬虫,如果遇到其他问题再总结更新..

转载于:https://www.cnblogs.com/MrHandler/p/python_problem.html

python安装BeautifulSoup注意事项相关推荐

  1. python安装beautifulsoup失败_Win10环境下python36安装BeautifulSoup出现错误的解决办法

    说明:win10 64位系统,Python3.6.3 Win10环境下安装BeautifulSoup4貌似没有任何问题,但是当使用时就会报错,错误如下: 通过报错信息到相应的位置去查看文件 try: ...

  2. python怎么安装beautifulsoup,python – 安装BeautifulSoup

    我在我的ubuntu 10.04上运行python 3.1.2 我需要安装哪个版本的BeautifulSoup以及如何安装? 我已经下载了3.2版并运行sudo python3 setup.py in ...

  3. Python 安装beautifulsoup失败

    尝试了各种方法安装, 最后发现可能是因为python版本太新,旧版本的这个包不适合 并且提示我们应该安装beautifulsoup4 所以尝试pip install  beautifulsoup4,成 ...

  4. python beautifulsoup_Python3 安装Beautifulsoup

    Python3 安装Beautifulsoup admin • 2019 年 11 月 22 日 [title]Beautifulsoup介绍[/title] HTML 文档本身是结构化的文本,有一定 ...

  5. Windows下Python 3.6 安装BeautifulSoup库

    " 介绍Python库BeautifulSoup安装." 01 - BeautifulSoup库介绍 Beautiful Soup是Python的一个库,支持Python 2和Py ...

  6. linux安装python虚拟环境_linux环境下安装python虚拟环境及注意事项

    创建python虚拟环境virtualenv.virtualenvwrapper 1,为什么需要搭建虚拟环境 由于当机器上两个项目依赖于相同包的不同版本时,会导致项目运行失败,此时可以安装虚拟环境 . ...

  7. Python安装笔记之注意事项

    Python安装笔记与注意事项 (Python3.6x安装及环境变量设置,pip安装,scrapy的安装,pycharm的激活及其汉化) 手贱,好不容易写的第一篇被自己删除了. 其实早就装好了Pyth ...

  8. python安装流程-python安装流程和注意事项

    Python安装流程 点击下载选项进入下载界面,选择你需要下载的python版本,一般我们选择win系统的下载: 选择你对应的机器位数的版本,如果不知道电脑是多少位的,可以点击我的电脑右键--> ...

  9. python下载在哪个盘_Windows下载安装python详情和注意事项

    因为Python是跨平台的,它可以运行在Windows.Mac和各种Linux/Unix系统上.在Windows上写Python程序,放到Linux上也是能够运行的. 首先就得把Python安装到你的 ...

  10. mac电脑安装python_【mac电脑怎么安装python】mac版python安装教程

    mac 下怎么安装python 搭建开发环境 调用了 TThreadPoolServer 的 serve 方法后,server 进入阻塞监听状态,塞在 TServerSocket 的 accept 方 ...

最新文章

  1. 2021暨南大学计算机考研,暨南大学2021广播电视专硕经验贴
  2. webbrowser php,C# WinForm WebBrowser 设置为编辑模式的示例代码
  3. Ajax的XMLHttpRequest对象
  4. 【英语学习】【Level 08】U04 What I love L2 My favorite sport
  5. C# MysqlHelper 执行reader时,遇到致命错误或者超时
  6. n1盒子救砖_新手教程教你N1盒子纯净刷机教程,实现OMV、HomeAssistant功能
  7. 武汉工程大学计算机学院吴云韬,周华兵-武汉工程大学计算机科学与工程学院...
  8. 这么简单!安卓手机投屏到电脑的神器
  9. 解决XP系统每次关机都自动重启问题
  10. CDH安装Tez 0.8.5
  11. 世界上最有名的十大思想实验
  12. Win10安装Docker和k8s
  13. mac 卸载 redis
  14. DevOps之不中断服务的蓝绿部署
  15. 驰为v10刷linux,V10HD强势回归 3G双系统聚划算首发
  16. operator*() 和 operator-()
  17. 非结构化数据怎么存?
  18. 第一个Android 程序的源代码: TxtReader文本阅读器
  19. Android KK(4.4) 以太网和DHCP启动过程介绍
  20. 20210316_23期_心跳检测_Task01

热门文章

  1. sqli-labs(24)
  2. postgresql 数据库的备份和还原
  3. Linux 安装Zookeeper
  4. day41 - 异步IO、协程
  5. 7-将本地的javaweb项目部署到Linux服务器的一般操作
  6. 做技术的你,如果别人找你创业,该怎么办?
  7. 如何在windows平台下使用hsdis与jitwatch查看JIT后的汇编码
  8. CG之菲涅尔效果简单实现
  9. XCode使用自带SVN,SVN命令
  10. HDU-1226 超级密码