pycharm安装scrapy失败_Scrapy ——环境搭配与一个简单的例子
在我刚接触爬虫的时候就已经听过Scrapy大名了,据说是一个很厉害的爬虫框架,不过那个时候沉迷于Java爬虫。现在终于要来揭开它神秘的面纱了,来一起学习一下吧
欢迎关注公众号:老白和他的爬虫
1.环境搭配
使用Scrapy的话,我建议使用Anaconda+pycharm的环境配置,首先Anaconda为我们继承好了很多的第三方库非常方便实用,pycharm是一个非常好用的python IDE,如果你不太清楚这两者的配置的话,那么请出门右拐,去这里配置一下环境——Anaconda+pycharm配置,还有如果你是python小白的话,什么环境都没有配,你可能更需要Anaconda,直接安装Anaconda不用自己配环境了。
通过这一步,先使用pycharm建立一个简单的项目,随便你起什么名字,例如我自己起的名字是MyTest,再在这个项目下面新建一个Test1.py的文件
第一次打开pycharm,我们可以在左下角打开控制台和终端的窗口
我们可以在终端输入各种命令非常方便
2.简单例子
把环境配好了之后尝试一个简单的例子,在你新建的Test1.py文件里copy这段代码,还有记得在这步之前去Anaconda里面安装Scrapy,如果你不知道怎么在Anaconda里面安装第三方库的话,那么,出门右拐,Anaconda+pycharm配置
import scrapy
class mingyanSpider(scrapy.Spider):
name =
"quotes"
start_urls =
[
'http://lab.scrapyd.cn/',
]
def parse(self, response):
for quote in response.css('div.quote'):
yield
{
'内容': quote.css('span.text::text').extract_first(),
'作者': quote.xpath('span/small/text()').extract_first(),
}
next_page = response.css('li.next a::attr("href")').extract_first()
if next_page is
not
None:
yield scrapy.Request(next_page,
self.parse)
然后我们在终端里输入这段命令
scrapy runspider Test1.py -o mingyan.json
运行成功后看一下你的终端是不是有这样的数据
并且你的当前文件夹下面会生成一个mingyan.json文件,虽然里面的文件是unicode编码,但是稍加调整就可以显示正常
好了,能成功运行这个例子你就已经迈出了第一步,主要是把环境搭好,后面好方便写更高级的代码
最后,关注一波吧
pycharm安装scrapy失败_Scrapy ——环境搭配与一个简单的例子相关推荐
- pycharm安装scrapy失败_运行Scrapy程序时出现No module named win32api问题的解决思路和方法...
有小伙伴在群里边反映说在使用Scrapy的时候,发现创建项目一切顺利,但是在执行Scrapy爬虫程序的时候却出现下列报错:"No module named win32api",如下 ...
- 安装了pygame、但是在python无法导入_详解有关PyCharm安装库失败的问题的解决方法...
最近因为要使用Python的缘故,安装了python IDE+pycharm,如此安装的原因是因为Pycharn 并不像anaconda一样拥有相对完整的依赖库和开发包,可以直接运行python,但因 ...
- PyCharm安装scrapy框架
PyCharm安装scrapy框架 一.系统环境说明: 操作系统:windows10 64位专业版: python版本:python 3 ...
- pycharm安装django失败
pycharm安装django失败,原因是报了一个ssl异常,也就是说和国外源站服务器ssl失败. 所以选用国内源站安装: 选中Options,输入:" -i https://pypi.tu ...
- pycharm 安装numpy失败的解决办法
pycharm安装numpy失败,问题是 解决办法: 配置系统变量 path 新加 然后在cmd 命令行里添加 之后pycharm里面就有了 numpy
- fedora mysql gui_fedora8安装 mysql++失败!!装了一个晚上没搞定!!伤心阿!
fedora8安装 mysql++失败!!装了一个晚上没搞定!!伤心阿! 发布时间:2008-02-24 05:15:27来源:红联作者:lygzx [root@F8 mysql++-3.0.0]# ...
- 安装开源在线教育平台edX的一个简单方法
开放式在线教育平台edX在今年六月份开源,当时按着Google Group中的方法"Clean install on Ubuntu Server 12.04"在一台全新的VPS上安 ...
- Python3.7安装Scrapy失败,解决方法
今天用命令安装python的scrapy框架的时候,竟然提示安装失败,报了一堆红色的错误. 大致错误开头是这个样子的:Command "d:\python3.7\python.exe -u ...
- 搭建Vue.js环境,建立一个简单的Vue项目
基于vue-cli快速构建 Vue是近年来比较火的一个前端框架,所以搭建Vue.js环境,要装webpack,vue-cli,Vue 安装webpack命令如下 $ cnpm install webp ...
最新文章
- C++对象的内存分析(5)
- android 实现微信分享多张图片的功能
- axios拦截器_浅谈vue-resource和vue-axios的区别
- 带缓冲的IO和不带缓冲的IO
- Power Designer介绍
- swiper移入暂停_react中swiper注意事项及鼠标划入停止轮播
- 每日一题:leetcode190.颠倒二进制位
- 搞IT也不能不懂“五险一金”啊
- 神经网络与深度学习——TensorFlow2.0实战(笔记)(三)(第一个Python程序)
- linux的arp指令
- Mutex和内存可见性
- 解决Zarp报错,成功运行
- Hive MetaStore 配置
- 英特尔第十代处理器为什么不支持win7_Intel最新CPU和主板不能装Win7?解决办法来了...
- 苹果分屏软件_苹果iOS14曝光,全是安卓已有的功能!
- UltraVNC远程控制其他电脑
- 轻量应用服务器腾讯云,腾讯云轻量应用服务器 ECS云服务器使用对比
- 2023年重庆邮电大学计算机科学与技术(802)初试经验贴
- 用四阶RungeKutta方程解二阶常微分方程,并计算船舶在规则波中的横摇角(附Matlab代码)
- 工业生产ERP系统常见的五大统计分析功能
热门文章
- bzoj1202[HNOI2005]狡猾的商人
- HDU 1875 畅通工程再续 (最小生成树)
- 某房产中介服务器托管及安全方案(下)
- 自定义键盘keyfere——pcsensor
- Windons Server2008R2_向域中批量创建用户
- django-vue-admin前端设置后台接口地址为127.0.0.1产生跨域问题解决办法
- ubuntu apt-get update 由于没有公钥,无法验证下列签名: NO_PUBKEY 3B4FE6ACC0B21F32
- 从 k8s 上卸载 KubeSphere
- k8s修改kube-apiserver的service-node-port-range端口范围
- Linux stat命令显示文件的状态信息