一、前言

由于最近使用Python爬虫框架scrapy练习爬虫,在爬取动态网页的时候,需要用到splash,进行对动态网页进行JavaScript渲染,但是使用splash又必须安装Docker。因为对Docker比较陌生,只能进行恶补。其中很多教程是基础Linux和windows环境下的安装,Mac下的相对较少,今天基于我自己的实践,给大家分享一下Mac环境下的安装运行教程,有不妥的地方欢迎指正。

二、安装Splash之前需要安装Docker的原因

Splash是一个利用webkit或者基于webkit库 Javascript渲染服务。它是一个实现了HTTP API的轻量级浏览器,Splash是用Python实现的,同时使用Twisted和QT。官方文档解释是必须使用Docker容器!之所以用容器技术,好处是你可以一坨的安装好splash,而不必一点一点的去为安装splash填坑。

三、Mac下Docker下载及安装

下载地址传送

1、打开连接后找到如下图所示的位置,点击Mac图标,进入Mac下载页面

2、在下载页面,点击 Get Docker进行下载

3、下载完成后进行安装

四、按照如下命令进行安装运行Splash

1、安装命令:

docker pull scrapinghub/splash

2、运行命令:

docker run -p 8050:8050 -p 5023:5023 scrapinghub/splash

3、按照命令提示,在浏览器运行 localhost:8050

如果出现一下界面则证明运行成功。

之后你就可以愉快的玩耍Docker以及Splash了。

五、需要注意的地方

1、安装好splash之后,你可能访问不到,很大一定程度是你把ip弄错了,你访问的应该是你虚拟机的ip:8050,所以你首先要用ifconfig得到linux的ip地址,然后再在你本地浏览器输入ip:8050,则可打开如上图界面。因为网上查的都是liunx下的资料,ip直接用localhost就可以,一直访问不了,其实mac下面,docker splash是会虚拟出一个新的ip的,这个地址需要用上面的命令ifconfig查出。

2、你虚拟机地址可能每次重启都在变,所以你在渲染的时候一定要注意更改middleware里面ip的地址,不然无法渲染,你原因都找不到

最后再给大家一个Docker中文教程地址,以及Windows下的教程。

转载于:https://www.cnblogs.com/suxianglun/p/9012867.html

Mac环境下Docker及Splash的安装运行教程相关推荐

  1. Mac环境下Docker(19.03.5)镜像加速器配置

    1.进入Preferences 2.进入Docker Engine选项 3.添加镜像加速器->registry-mirrors {"experimental": false, ...

  2. mac环境下分别用vim和Xcode运行C++(hello word)程序

    1.用vim写第一个C++程序 1)  打开mac终端        2) 用vim新建一个test.cpp文件 vim test.cpp 3) 写hello word代码          输入插入 ...

  3. Mac环境下安装Pod

    Mac 环境下安装Pod Pod安装需要ruby,ruby需要rvm 可以终端中查看rvm 安装没有 如果没有安装则按以下步骤安装 rvm安装 $ curl -L https://get.rvm.io ...

  4. liunx 环境下docker安装mysql

    liunx 环境下docker安装mysql 1.链接虚拟机 无界面启动 vagrant ssh name(虚拟机的名) 2.虚拟机上下载mysql5.7 docker pull mysql5.7 s ...

  5. MAC环境下Nessus的安装与使用

    MAC环境下Nessus的安装与使用 一.Nessus简介 Nessus是目前全世界最多人使用的系统漏洞扫描与分析软件.总共有超过75,000个机构使用Nessus作为扫描该机构电脑系统的软件. 二. ...

  6. mac环境下ananconda安装失败,已经设置为所有来源可安装

    mac环境下安装anaconda 各位大神,我在mac环境下安装anaconda时候出现以下提示,该怎么办 已经设置了任何来源都可以进行安装 mac环境下 欢迎使用Markdown编辑器 你好! 这是 ...

  7. Mac环境下pandas的安装与学习

    安装 Mac 环境下有的包是自带的比如numpy, 我们直接用pip install pandas 是会报这些错. Installing collected packages: numpy, pyth ...

  8. Mac环境下配置Java开发环境(jdk+maven+tomcat+idea)

    记录下在Mac环境下配置java开发环境,包括jdk,maven,tomcat和idea 下载及安装jdk 首先到官网下载jdk,这里就用目前官网最新的9.0.4 无脑双击安装就可以: 配置jdk 进 ...

  9. mac环境下node.js和phonegap/cordova创建ios和android应用

    mac环境下node.js和phonegap/cordova创建ios和android应用 一介布衣  2015-01-12   nodejs  6888 分享到:QQ空间新浪微博腾讯微博人人网微信 ...

最新文章

  1. pandas使用itertuples函数迭代dataframe中的数据行并自定义修改行中的数值(update row while iterating over the rows)
  2. 如何制作自己的gem
  3. 推荐13个CSS3快速开发工具
  4. Spring Cache抽象-缓存管理器
  5. python 中 for使用小技巧
  6. SQL Server 数据库优化
  7. 设计爬虫Hawk背后的故事
  8. 你的main函数规范吗?
  9. linux 文件-s,Linux下访问文件的基本模式
  10. Android 模拟器连接异常:Unable to connect to ADB server
  11. iText制作表格比较好的文章
  12. 获取 NodeJS 程序退出码
  13. Java概述、Jdk的安装、关键字
  14. 可重入锁 ReentrantLock
  15. 如何读取通用配置文件conf?
  16. 使用 VirtualBox 虚拟机在电脑上运行 Android 4.0 系统,让电脑瞬间变安卓平板
  17. Linux之日志服务及管理
  18. 微信小程序连接mysql_微信小程序连接MySQL数据库(读取+写入)demo
  19. 【51nod】2059 上台阶 easy
  20. 项目管理基础案例分析答案

热门文章

  1. DeepFake 新高度:一阶运动模型让“万物皆可动”
  2. 半小时训练亿级规模知识图谱,亚马逊这个 AI 框架要火
  3. 谷歌最新发布数据集:Open Images V6 来了!新增局部叙事标注形式
  4. 9大数据集6大度量指标完胜,周志华等提出深度森林处理多标签学习
  5. Jeff Dean:一年开源12款新工具,谷歌负责任AI原则落地生根
  6. Lyft估值目标近200亿美元 有望成今年来美国最大IPO
  7. 「压缩」会是机器学习的下一个杀手级应用吗?
  8. (深入理解)强化学习中on policy和off policy的区别
  9. 小白如何在Windows如何安装双系统Centos7
  10. python的try exception捕获异常