linux下部署selenium爬虫程序
文章目录
- 前言
- 一、selenium是什么?
- 二、使用步骤
- 1.引入库
- 2.测试代码
- 三、部署程序
- 1.安装chrome
- 2.安装chromedriver驱动
- 3.运行测试代码
- 总结
前言
我这里是工作需要把selenium 爬虫程序部署到Linux 服务器上面 顺便跟大家交流一下 如果有兴趣的话可以看一下,
一、selenium是什么?
Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样, 爬虫用它来抓取一些js动态加载的数据
二、使用步骤
1.引入库
代码如下
from selenium.webdriver import Chrome
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options # 使用无头浏览器
from selenium.webdriver import ChromeOptions
chrome_options = Options()
options = ChromeOptions()
options.add_experimental_option('excludeSwitches', ['enable-automation']) # =>去掉浏览器正在受到自动测试软件的控制
options.add_experimental_option('useAutomationExtension', False)
chrome_options.add_argument("--headless") # => 为Chrome配置无头模式
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--disable-gpu')
chrome_options.add_argument('--disable-dev-shm-usage')
2.测试代码
代码如下:
s = Service(r"/home/driver/chromedriver")
driver = Chrome(service=s, options=chrome_options)driver.get("https://www.baidu.com")print(diiver.title)
三、部署程序
1.安装chrome
命令如下:
yum install https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm
检查chrome的版本
google-chrome --version
2.安装chromedriver驱动
命令如下:
按照对应的chrome版本下载chromedriver驱动
地址: https://npm.taobao.org/mirrors/chromedriver
我的版本号是: 96.0.4664.45
wget https://npm.taobao.org/mirrors/chromedriver/96.0.4664.45/chromedriver_linux64.zip
yum install -y unzip zip
unzip chromedriver_linux64.zip # 解压zip文件
mkdir driver #新建文件夹用来存放驱动
chmod 777 driver/chromedriver # 这是权限 我这里给的是 777
3.运行测试代码
新建test.py文件
vi test.py
保存 test.py run 一下看看
看到这个我么就算请求成功了
总结
以上就是今天要讲的内容,本文仅仅简单介绍了selenium的使用,和 在linux下部署selenium的方法, 如果还有不明白的地方记得给我留言哦
linux下部署selenium爬虫程序相关推荐
- linux下部署tomcat没起成功,linux下部署tomcat 上线jpress博客系统
tomcat Tomcat服务器是一个免费的开放源代码的Web应用服务器,属于轻量级应用服务器. tomcat有三个端口 开始部署 安装tomcat 第一步:下载tomcat 安装包 tomcat官网 ...
- 用C语言编写一个Linux下的简单shell程序
这是一个简单的C程序,展示了如何进行系统调用执行logout cd ls pwd pid rm mkdir mv cp等命令,这是一个简单的命令解释程序shell,其源代码如下: #include & ...
- Linux打开rtf文档,在linux下设置开机自动启动程序的方法_精品.rtf
您所在位置:网站首页 > 海量文档  > 计算机 > linux/Unix相关 在linux下设置开机自动启动程序的方 ...
- Linux 下查看某一个程序所使用的内存方法介绍
Linux 下查看某一个程序所使用的内存方法介绍 在 Linux 上进行开发和运营维护的时候,免不了要查看某一个程序所占用内存的情况.常用方法总结如下(注意第四种方法): 第一种:ps -aux | ...
- Linux下部署多个Tomcat
Linux下部署多个Tomcat 1.环境: 1.1.Centos 5.0 1.2.apache-tomcat-6.0.18 2.需要解决一下几个问题 2.1.不同的tomcat启动和关闭监听不同的端 ...
- STM32串口通信代码、ASCII码、XU4串口通信,printf只会转换为无符号类型,linux下的串口通信程序
1.其里面的的通信协议是是自己定的,这里 是检测到数据的结尾是以0x0d.0x0a结尾,则表示接受的数据完成了,这个数据是我想要的,这样子就不会出现一些错乱的数据信息.其中的0x8000.0x4000 ...
- Linux下优雅的让程序后台运行
Linux下优雅的让程序后台运行 假设在终端上启动运行了一个程序,跑了几天,如果不小心把terminal关了,那么程序就会终止,这是SIGHUP信号的原因,即使通过bg置为后台运行同样会如此,应该让程 ...
- linux加法计算器程序,Linux下实现一个计算器程序
(集体内容详见ChinaUnix社区) 现在要在Linux下实现一个计算器程序, 它有如下的要求: 1. 能识别英文数字:比如 three hundred and ninety two, 要能转换为 ...
- linux下的在线围棋程序--CGoban。(转)
linux下的在线围棋程序--CGoban.(转)[@more@]在网上搞到的,我试过了,能在红旗5.0beta3下使用. 可以下在线游戏.网上还说可以单机对弈,不过我没找到此功能. 第一个附件是rp ...
- linux应用程序的编写实验原理,操作系统实验 1.在linux下编写一个应用程序 联合开发网 - pudn.com...
操作系统实验 所属分类:Linux/Unix编程 开发工具:C/C++ 文件大小:1KB 下载次数:3 上传日期:2019-05-01 20:34:21 上 传 者:烟雨南风起 说明: 1.在lin ...
最新文章
- OpenCV中导向滤波介绍与应用
- c++ vector向量直接赋值_vector-Jacobian product 解释 ---- pytorch autograd
- Linux下多线程同步方式之互斥量,信号量,条件变量
- Spring中的Spring JSR-250 注释之@Resource
- leetcode712. 两个字符串的最小ASCII删除和(动态规划)-Gogo
- Css 3d轮播样式
- 1.gloox开发环境搭建
- 隔行变色java代码_纯js实现隔行变色效果
- c++ 写文件怎么让0x00不被识别成结束符_使用docker-copyedit工具删除镜像中不需要的环境变量和VOLUME...
- python爬虫-Python爬虫学习之(一)| 从零开始
- VMWare 各版本下载地址
- 用HTML+CSS仿网易云音乐网站(6个页面)
- 孪生网络keras实现minist
- 如何快速看懂英文论文?
- 通俗易懂的欧拉回路——哥尼斯堡七桥问题
- 爬取影评python_爬虫 | 战狼2 影评爬取及分析
- 腾讯起诉抖音播放《王者荣耀》获赔 60 万
- CAD转JPG图片,在线转换成高质量彩色图片
- [P3374 【模板】树状数组 1](单点修改,区间查询)
- Collection集合和Map集合循环遍历三种方法
热门文章
- MCGS 昆仑通态触摸屏 modbus TCP 数据转发
- 支付宝手机网站支付 错误代码 insufficient-isv-permissions 错误原因: ISV权限不足
- 完全小白向win10安装配置Java运行环境
- 基于切比雪夫多项式的简单GCN网络
- 什么是客户管理系统?
- 计算机机械和设计专业介绍,机械类包括哪些专业
- python机器学习手写字体识别,机器学习之路: python 支持向量机 LinearSVC 手写字体识别...
- 桌面壁纸被计算机管理员禁用,Win7更改桌面壁纸时出现“此功能已被禁用”如何解决...
- 软件开发项目计划书编写说明
- 【原创】《管理的实践》阅读有感