Scrapy-Splash是一个Scrapy中支持JavaScript渲染的工具，本节来介绍它的安装方式。

Scrapy-Splash的安装分为两部分。一个是Splash服务的安装，具体是通过Docker，安装之后，会启动一个Splash服务，我们可以通过它的接口来实现JavaScript页面的加载。另外一个是Scrapy-Splash的Python库的安装，安装之后即可在Scrapy中使用Splash服务。

知识结构图

相关链接

※GitHub：https://github.com/scrapy-plugins/scrapy-splash

※PyPI：https://pypi.python.org/pypi/scrapy-splash

※使用说明：https://github.com/scrapy-plugins/scrapy-splash#configuration

※Splash官方文档：http://splash.readthedocs.io

安装Splash

Scrapy-Splash会使用Splash的HTTP API进行页面渲染，所以我们需要安装Splash来提供渲染服务。这里通过Docker安装，在这之前请确保已经正确安装好了Docker。

安装命令如下：

docker run -p 8050:8050 scrapinghub/splash

安装完成之后，会有类似的输出结果：

这样就证明Splash已经在8050端口上运行了。这时我们打开http://localhost:8050，即可看到Splash的主页，如下图所示。

当然，Splash也可以直接安装在远程服务器上。我们在服务器上以守护态运行Splash即可，命令如下：

docker run -d -p 8050:8050 scrapinghub/splash

这里多了-d参数，它代表将Docker容器以守护态运行，这样在中断远程服务器连接后，不会终止Splash服务的运行。

Scrapy-Splash的安装

成功安装Splash之后，接下来再来安装其Python库，命令如下：

pip3 install scrapy-splash

命令运行完毕后，就会成功安装好此库，后面会详细介绍它的用法。

scrapy安装_「从零开始Python爬虫」1.8.3 Scrapy-Splash的安装相关推荐

  1. android studio安装部署及sdk下载_「从零开始Python爬虫」1.7.3 APPium的安装

    Appium是移动端的自动化测试工具,类似于前面所说的Selenium,利用它可以驱动Android.iOS等设备完成自动化测试,比如模拟点击.滑动.输入等操作,其官方网站为:http://appiu ...

  2. charles 安装 ssl_「从零开始Python爬虫」1.7.1 Charles的安装与配置

    Charles的安装 Charles是一个网络抓包工具,相比Fiddler,其功能更为强大,而且跨平台支持得更好,所以这里选用它来作为主要的移动端抓包工具. 相关链接 官方网站:https://www ...

  3. kodi pvr 不能安装_「保姆级教程」家庭影音多媒体中心第5节—KODI18安装/设置IPTV...

    一.本章前言: 上一章节万晓博SEO带领大学习安装了kodi18播放群晖NAS或者本地视频教程,本节课我们讲讲如何使用kodi播放器看IPTV央视/地方卫视频道,我们遐想下,如果我们使用kodi播放I ...

  4. python爬虫开发环境中几个爬虫库的主要用途_分分钟了解Python爬虫

    一:Scrapy框架 在python爬虫时我们需要使用Scrapy框架,来提取结构化数据,他是Python开发的一个快速,高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据 ...

  5. python ocr安装_详解Python安装tesserocr遇到的各种问题及解决办法

    tesseract的安装及配置 在python爬虫过程中,难免遇到各种各样的验证码问题,最简单的就是 ​这种验证码了,那么在遇到验证码的时候该怎么办呢?我们就需要ocr技术了,ocr-即optical ...

  6. python爬虫灰产_「docker实战篇」python的docker爬虫技术-在linux下mitmproxy介绍和安装（四）...

    上次说了fiddler的抓包和参数介绍,通过fiddler抓包工具可以完成app和web端的数据,这次介绍另一款抓包公司mitmproxy,可以和python语言结合通过爬虫抓取数据. 源码:http ...

  7. python docker自动化_「docker实战篇」python的docker爬虫技术-移动自动化控制工具安卓ADB的使用（15）...

    原创文章,欢迎转载.转载请注明:转载自 IT人故事会,谢谢! 原文链接地址: 「docker实战篇」python的docker爬虫技术-移动自动化控制工具安卓ADB的使用(15) adb(Androi ...

  8. python docker自动化_「docker实战篇」python的docker爬虫技术-移动自动化控制工具appium工具（17）...

    原创文章,欢迎转载.转载请注明:转载自 IT人故事会,谢谢! 原文链接地址: 「docker实战篇」python的docker爬虫技术-移动自动化控制工具appium工具(17) Appium是一个开 ...

  9. bat 自动输入密码_「docker实战篇」python的docker爬虫技术移动自动化uiautomator工具（16）...

    uiautomator 是 安卓4.3之后发布的测试工具,uiautomator是用来做UI测试的.也就是普通的手工测试,点击每个控件元素 看看输出的结果是否符合预期.比如 登陆界面 分别输入正确和错 ...

最新文章

  1. python3 with中异常的问题
  2. 3分钟把区块链的技术与应用彻底讲清楚
  3. 关于SQLserver 的windows验证
  4. ASP调用web services
  5. 活水亭观书有感其一_如何将iPad置于“信息亭”模式，将其限制为单个应用程序...
  6. 动态规划-01背包问题详解
  7. ArcGIS js api 手动构建FeatureLayer
  8. 数学常用公式及规律、结论（一）
  9. 项目管理实例—— 点评
  10. laravel--模型中各种属性详解
  11. BAT中for循环如何执行多条命令
  12. python surprise库_Python推荐系统库--Surprise实战
  13. python爬虫做毕业论文_基于Python的网络爬虫（智联招聘）开发与实现毕业论文+作品源码+演示视频...
  14. 从USGS Earth Explorer网站查找和下载MODIS数据
  15. python删除csv某一行_python删除csv行
  16. Docker之docker基础
  17. Java使用ObjectInputStream时报错：java.lang.ClassNotFoundException: commen.User
  18. [渝粤教育] 宁波财经学院 财务管理 参考 资料
  19. 火车头采集器百度知道聚合采集插件说明文档！
  20. 热插拔技术--以ADM1177为例说明

热门文章

  1. 今天写了个商品采购入得存储过程，使用游标实现的，实现了多个商品库存的增加...
  2. 1. rc 目录结构
  3. 【转】PLI是什么以及怎么用
  4. 微软复合文档二进制格式实例分析
  5. VBS 访问WMI读取IP地址，并将其设置为静态IP
  6. Windows安装CUDAcuDNNanaconda
  7. Gstreamer之可变长参数实现(十)
  8. Android Camera架构浅析
  9. Mac触发角锁屏不睡眠
  10. Android5.1--电源管理之省电模式分析