记在服务器部署selenium爬虫

1、安装chrome

wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb

sudo dpkg -i google-chrome*

安装完后以下命令查看chrome版本信息，为了下载chromedriver用的：

google-chrome --version

2、去以下链接下载所需的chromedriver

http://chromedriver.storage.googleapis.com/index.html

3、下载完scp命令传到服务器相关的路径下

注意路径一定要是包含chromedriver程序的路径，比如

CHROME_WEBDRIVER_PATH = '/users/username/downloads/chromedriver'

如果是

CHROME_WEBDRIVER_PATH = '/users/hutaiyi/downloads/'

以下代码会报错

driver = webdriver.Chrome(setting.CHROME_WEBDRIVER_PATH, options=chrome_options)

4、如果没有上传到github那么就用scp将写好的代码传到服务器，穿了直接git clone

运行的时候想要在后台运行

nohup python -u main.py > main.out 2>&1 &

即后台运行main.py，并将输出的日志信息写入到main.out中，每次运行，main.out会被清空重新记录，若想保留之前的日志，需要更改输出日志文件的名字。

记在服务器部署selenium爬虫相关推荐

一步一步教你使用云服务器部署爬虫
一步一步教你使用云服务器部署爬虫 1. 注册阿里云,可以免费试用一个月的云服务器.每天十点0元抢购 2. 点击进入阿里云领取页面 3. 点击管理可以修改密码 4.用显示的公网ip远程登录服务器,默认r ...
ubuntu selenium爬虫部署
Ubuntu python部署selenium(踩坑日记) 菜鸟的配置过程下载selenium #更新源 sudo apt-get update #pip3安装(ubuntu自带python但是没有 ...
Python爬虫总结——Scrapy+Gerapy部署网络爬虫
Python爬虫总结--从基础爬虫到Scrapy+Gerapy部署网络爬虫前言一.常用pip模块介绍 1.NumPy库 2.Pandas库 3.Requests库 4.BeautifulSoup库 ...
Web网站远程服务器部署总结
一,语言编程: 1.1 目前编程语言多达上百种,每种语言都有各自的领域和优势,下面是最新的语言排行版 1.2 Python 可以说是发展非常块的,5年时间从20多名之外,凭借着语言的简单,语法的简洁, ...
Crawlab运行selenium爬虫
上篇文章学习了Crawlab运行scrapy爬虫和单文件爬虫,这次学习Crawlab运行selenium爬虫,我的例子是单文件的. 环境准备 Crawlab虽然自带了一些爬虫用的第三方库,但是不全,总 ...
__init__在python中的用法知乎_python使用selenium爬虫知乎的方法示例
说起爬虫一般想到的情况是,使用 python 中都通过 requests 库获取网页内容,然后通过 beautifulSoup 进行筛选文档中的标签和内容.但是这样有个问题就是,容易被反扒机制所拦住. ...
win系统的阿里云服务器部署IDEASpringBoot项目保姆级教程
win系统的阿里云服务器部署SpringBoot项目保姆级教程前言配置阿里云服务器配置环境环境配置中的坑还有别的坑的话,私信我我补充......毕竟配置是最基本的,还想咋样... jar包导 ...
有关Eclipse的使用以及远端服务器部署的总结
关联的逻辑对于一个Eclipse用的不熟练的人,面对往Linux系统的远端服务器部署后台服务器这样的任务,走了好多弯路跳了很多坑,但功夫不负有心人,凭着一股"阿基米德"和&quo ...
python selenium爬虫实例_python使用selenium爬虫知乎的方法示例
说起爬虫一般想到的情况是,使用 python 中都通过 requests 库获取网页内容,然后通过 beautifulSoup 进行筛选文档中的标签和内容.但是这样有个问题就是,容易被反扒机制所拦住. ...

记在服务器部署selenium爬虫

记在服务器部署selenium爬虫相关推荐

最新文章

热门文章