Linux下安装Python,并在Linux下运行python代码文件
CentOS配置源
1.查看本地yum源
ll /etc/yum.repos.d/
2.把默认yum源备份
mkdir /opt/centos-yum.bak
mv /etc/yum.repos.d/* /opt/centos-yum.bak/
3.查看系统的版本
cat /etc/redhat-release
4.下载对应的YUM源:
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
5.清除缓存
yum clean all
yum makecache
yum list
6.检测你的环境中是否有python,查看版本:
python -V
默认带的有python2.7.5,我们需要安装个python3.7.4,别的版本也可以
wget https://www.python.org/ftp/python/3.7.4/Python-3.7.4.tgz
下载完之后,命令ls查看当前目录下的文件,可以看到Python-3.7.4.tgz,我们需要解压这个文件
tar -zxf Python-3.7.4.tgz -C /opt/soft/
进入解压后的目录,进行编译,指定编译后生成文件的位置
cd soft/Python-3.7.4/
./configure --prefix=/usr/local/python3
7.安装python可能用到的包和依赖:
yum install openssl-devel bzip2-devel expat-devel gdbm-devel readline-devel sqlite-devel
yum install gcc
yum - y install zlib*
yum install libffi-devel -y
8.安装python:
make && make install
9.安装完成设置软连接:
ln -s /usr/local/python3/bin/python3 /usr/bin/python3
ln -s /usr/local/python3/bin/pip3 /usr/bin/pip3
10.查看版本:
python3 -V
pip3 -V
安装spark
1.解压缩重命名
tar -zxf spark-2.4.4-bin-hadoop2.6.tgz -C /opt/soft
mv spark-2.4.4-bin-hadoop2.6 spark244
2.配置spark/conf下的spark-env.sh和sbin下的spark-config.sh文件:
cp spark-env.sh.template spark-env.sh
vi spark-env.sh
export SPARK_MASTER_HOST=192.168.181.132 #主节点IP
export SPARK_MASTER_PORT=7077 #任务提交端口
export SPARK_WORKER_CORES=2 #每个worker使用2核
export SPARK_WORKER_MEMORY=2g #每个worker使用3g内存
export SPARK_MASTER_WEBUI_PORT=8888 #修改spark监视窗口的端口默认8080
vi spark-config.sh
export JAVA_HOME=/opt/soft/jdk180
配置并激活spark环境变量:无需配置PATH
#spark
export SPARK_HOME=/opt/soft/spark244
source /etc/profile
设置pip豆瓣源
root目录下新建.pip文件夹:然后新建文件pip.conf
#豆瓣源,可以换成其他的源
index-url = https://pypi.douban.com/simple
#添加豆瓣源为可信主机,要不然可能报错
trusted-host = pypi.douban.com
Python代码:
import findspark
findspark.init()
from pyspark.sql import SparkSession
from pyspark.ml.clustering import KMeans
from pyspark.sql.types import DoubleType
from pyspark.sql.functions import col
from pyspark.ml.feature import VectorAssemblerif __name__ == '__main__':spark = SparkSession.builder.master("local[8]").config("spark.debug.maxToStringFields","120").config("spark.executor.memory", "3g")\.appName("mymodel").getOrCreate()df = spark.read.format("CSV").option("header","true")\.load("hdfs://192.168.181.132:9000/events/data/events.csv")cols = [c for c in df.columns if c.startswith("c_")]feas = cols.copy()cols.insert(0,"event_id")df1 = df.select([col(c).cast(DoubleType()) for c in cols])#可以将多列合成一列,但是输入的数据必须不能是str或者floatva = VectorAssembler().setInputCols(feas).setOutputCol("features")res = va.transform(df1).select("event_id", "features")model = KMeans().setK(35).setFeaturesCol("features").setPredictionCol("predict").fit(res)r= model.transform(res).select(col("event_id").alias("eventid"), col("predict").alias("eventtype"))r.coalesce(1).write.option("sep", ",").option("header", "true").csv("hdfs://192.168.181.132:9000/events/eventtype",mode="overwrite")spark.stop()
把上面python的代码文件myps.py放到lunix的一个路径下,我的是在/opt下
导包:
pip3 install findspark
pip3 install numpy
然后运行改文件
python3 /opt/myps.py
查看hdfs上的文件,验证代码是否执行成功
hdfs dfs -cat /events/eventtype/part-00000-96155969-937f-481e-a8c0-255488d96433-c000.csv|wc -l
Linux下安装Python,并在Linux下运行python代码文件相关推荐
- 深度linux腾讯视频,在UOS/Deepin 20/Ubuntu 18.04下安装腾讯视频Linux版的方法
要想在UOS.Deepin 20.Ubuntu 18.04操作系统下安装腾讯视频Linux版,必须先去下载Tenvideo_universal_1.0.10_amd64.deb包,然后使用dpkg命令 ...
- linux 商业游戏,Ubuntu下安装试玩原生Linux版商业游戏Braid
这款原生Linux版商业游戏Braid国外出售价大约在80美元左右.每年在Linux平台上发布的原生商业游戏是屈指可数,而且这些游戏的质量也是参差不齐. 不过这款原生Linux版商业游戏Braid还是 ...
- Win7下安装Ubuntu11.10(解决linux try(hd0,0):NTFS5:no ang0引导问题)
Win7下安装Ubuntu11.10(解决linux try(hd0,0):NTFS5:no ang0引导问题) 参考文章: (1)Win7下安装Ubuntu11.10(解决linux try(hd0 ...
- 在openSUSE-Leap-15.4-DVD-x86_64下安装网易云音乐linux客户端
在openSUSE-Leap-15.4-DVD-x86_64下安装网易云音乐linux客户端 打开https://software.opensuse.org/--版本不用选择保持ALL Distrib ...
- 【在Linu系统下安装 TeXstudio、mplayer、WPS、Python、mendeley、WeChat、搜狗输入法】
在Linu系统下安装 TeXstudio.mplayer.WPS.Python.mendeley.WeChat.搜狗输入法 文章目录 在Linu系统下安装 TeXstudio.mplayer.WPS. ...
- linux上安装osg_如何在 Linux 上安装并启用 Flatpak 支持? | Linux 中国
Flatpak 提供了一种通用的包封装格式,可以在任何 Linux 发行版中使用.它提供了一个沙箱(隔离的)环境来运行应用程序,不会影响其他应用程序和发行版核心软件包.-- Magesh Maruth ...
- Linux(Ubuntu)使用setsid命令后台运行python代码并记录终端输出,并实现开机自启
1.摘要 本文主要讲解:Linux(Ubuntu)使用setsid命令后台运行python代码并记录终端输出,并实现开机自启 主要思路: setsid命令 比nohub命令好用,setsid有些系统默 ...
- 优麒麟linux安装教程,百度网盘Linux版安装指引:搭配优麒麟运行更完美
原标题:百度网盘Linux版安装指引:搭配优麒麟运行更完美 感谢优麒麟的投递 近日,百度官宣推出了百度网盘 Linux 版(在此之前已发布 Windows.Android.iPhone.iPad.Wi ...
- windows下安装pycharm并连接Linux的python环境
1. 下载安装Pycharm专业版 具体方法略.Pycharm5激活方法参考http://www.cnblogs.com/snsdzjlz320/p/7110186.html 2. 添加配置连接远程服 ...
- linux手动安装unzip_怎样在Linux下搭建接口自动化测试平台?
前言 之前在学习HttpRunner时,我们都是把用例写在 YAML/JSON 中进行维护,使用起来也很方便.其实,现在有不少大佬都喜欢开发自动化测试平台,比如我们今天要搭建的HttpRunnerMa ...
最新文章
- pyqt5教程6:信号和事件
- MySQL安装及可能出现的问题
- 现代制造工程课堂笔记06-集成电路制造工程
- 直博5年!叹我年少轻狂!头4年一篇1作SCI也没有...
- 张勇云栖大会谈科技担当与责任:做开放共享人人受益的好科技
- 统一归档助企业撑起信息的保护伞
- Intel 64/x86_64/IA-32/x86处理器 - 锁原子操作(1) - 处理器保证的原子操作
- BZOJ-1050-[HAOI2006]旅行comf(并查集)
- React-Native从搭建环境到 发布 APP 指北
- 服务器搭建docker环境的过程
- 获取网络时间(国家标准时间)
- MySQL数据库索引
- innerHTML、innerText和outerHTML的区别
- 充电速度公式_锂电充电时间计算公式
- java实现微信网页授权登录
- C#桌面办公应用-工资管理系统系列二
- 【推荐算法论文】矩阵分解算法
- Sqlite3 学习记录
- springBoot 双数据源配置 (Oracle+ SQL sever)主数据源配置setMapperLocations多个路径
- 中央一号文件力推乡村振兴,VR全景如何构建数字乡村?