Linux jq 、vim以及LInux集群安装miniconda并配置虚拟环境(笔记)
https://github.com/QInzhengk/Math-Model-and-Machine-Learning
Linux jq 、vim以及LInux集群安装miniconda并配置虚拟环境
- 一、jq
- 常用选项
- 案例
- 用法详解
- 二、vim
- 命令行模式下相关命令
- 1.移动光标
- 2.删除字符
- 3.撤销操作
- 4.复制粘贴
- 5.可视模式
- 6.查找操作
- 7.替换操作
- 8.文本行移动
- 9.Man Page
- 文本模式下相关命令
- 1. 进入输入模式
- 末行模式下相关命令
- 1.行跳转
- 2.替换
- 3.执行shell命令
- 4.分屏操作
- 三、LInux集群安装miniconda并配置虚拟环境
- 1.下载软件
- 2.安装
- 3.激活
- 4.添加频道
- 5.添加镜像(清华源)
- 6.查看
- 7.环境管理
一、jq
zcat cent_g_20226/*.gz | head -n 10000 | jq .event | sort | uniq -c
jq 是一个轻量级的json处理命令。可以对json数据进行分片、过滤、映射和转换
jq . 对json数据进行格式化输出
常用选项
- -c 紧凑输出json数据
- -s 读取所有输入到一个数组
- -r 输出原始字符串,而不是一个JSON格式
- -S 排序对象
1、紧凑输出json数据
jq -c . test.json
[{"lon":113.30765,"name":"广州市","code":"4401","lat":23.422825},{"lon":113.59446,"name":"韶关市","code":"4402","lat":24.80296}]
2、读取所有输出到一个数组(也就是所在json数据最外层套一个数组)
echo '{"safd":"fsafd"}'
{"safd":"fsafd"}echo '{"safd":"fsafd"}' | jq -r .
{"safd": "fsafd"
}echo '{"safd":"fsafd"}' | jq -s .
[{"safd": "fsafd"}
]
3、输出原始字符串,而不是一个JSON格式
echo '{"safd":"fsafd"}' | jq .[]
"fsafd"echo '{"safd":"fsafd"}' | jq -r .[]
fsafd
4、排序对象
jq . test.json
[{"lon": 113.30765,"name": "广州市","code": "4401","lat": 23.422825},{"lon": 113.59446,"name": "韶关市","code": "4402","lat": 24.80296}
]jq -S . test.json
[{"code": "4401","lat": 23.422825,"lon": 113.30765,"name": "广州市"},{"code": "4402","lat": 24.80296,"lon": 113.59446,"name": "韶关市"}
]
5、获取上面地理json数据里的name值
jq '.[]|{name}' test.json
{"name": "广州市"
}
{"name": "韶关市"
}
6、获取第一个name值
jq '.[0]|{name}' test.json
{"name": "广州市"
}
7、只打印出第一个map的值:
jq '.[0]|.[]' test.json
113.30765
"广州市"
"4401"
23.422825
8、打印出一个map的name值
jq '.[0]|.name' test.json
"广州市"
9、打印出一个map的name值并用普通字符串显示
jq -r '.[0]|.name' test.json
广州市
案例
测试json数据,如下:
{"name": "xueyuan","age": 21,"birthday": "10th August","email": "im.hexueyuan@outlook.com","skills" : ["C/C++","Python","Golang","Node.js"]
}
使用python的json库把它处理为一个字符串,如下:
{"skills": ["C/C++", "Python", "Golang", "Node.js"], "age": 21, "birthday": "10th August", "name": "xueyuan", "email": "im.hexueyuan@outlook.com"}
这个格式是我们在实际生产中经常看到的格式,比如我们使用curl请求一个接口,返回了一个json,比如我们在自己的项目中测试输出了一个json数据,这种格式往往可读性较差,我们需要进行处理后才能查看。
要转换成python处理前的那一种易读形式很简单,执行:
cat test.json | jq '.'
#也可以写作 cat json2.data | jq .
#不加引号,但是为了标准最好写上,因为某些时候不加会有问题.
jq把数据转换成易读格式,还添加了颜色高亮说明,其中key和value使用了不同的颜色。
{"skills": ["C/C++","Python","Golang","Node.js"],"age": 21,"birthday": "10th August","name": "xueyuan","email": "im.hexueyuan@outlook.com"
}
如果json数据很大,我们只想看其中某个字段数据,那么使用如下语法:
#key是字段名称
jq '.<key>'
cat test.json | jq .skills
["C/C++","Python","Golang","Node.js"
]cat test.json | jq .name
"xueyuan"
当某个字段是一个列表,jq可以对其进行切片
jq '.<list-key>[s:e]'
cat test.json | jq '.skills[0]'
"C/C++"cat test.json | jq '.skills[0:3]'
["C/C++","Python","Golang"
]cat test.json | jq '.skills[:3]'
["C/C++","Python","Golang"
]cat test.json | jq '.skills[:]'
jq: error: syntax error, unexpected ']' (Unix shell quoting issues?) at <top-level>, line 1:
.skills[:]
jq: 1 compile errorcat test.json | jq '.skills[2:]'
["Golang","Node.js"
]cat test.json | jq '.skills[]'
"C/C++"
"Python"
"Golang"
"Node.js"
注意和python列表切片方式进行区分。区别一下’.skills’和’.skills[]'两种,可以看到前者输出是一个列表,后者是非json格式的列表成员。
用法详解
jq从linux管道或者文件中获取文本输入,如果文本不满足json格式,那么jq会报错,可以用这个方法来检查一个文本是否满足json检查:
jq '.' json_file > /dev/null
jq使用filter来处理json文本,并输出filter处理后的内容到标准输出,filter是用来过滤满足需求的字段的,比如最简单的filter ‘.’,这个表示无过滤策略,因此会输出全部json文本。
key filter
'.<key>'
过滤满足key的字段名,输出这个key的值。
key-value filter
'<key>'
输出key和value,区别key filter,如下
cat test.json | jq '{age}'
{"age": 21
}cat test.json | jq '.age'
21
因为key-value必须归属于某个对象,所以添加外层{}。
index filter
'.<list-key>[index]'
'.<list-key>[index1, index2]'
'.<list-key>[s:e]'
'.<list-key>[:e]'
'.<list-key>[s:]'
'.<list-key>[]'
数组索引和切片,用来操作列表元素。
嵌套层级filter
'.key1.key2.key3'
用于嵌套的json数据filter。
多个filter
'.key1, .key2, .key3'
使用英文单字节逗号分隔filter,用于在一个filter中过滤多个字段。
filter管道
'filter1 | filter2 | filter3'
jq '.contact | .phone | .home' people.json
由于大部分filter之后,输出仍然是一个json数据,所以可以将filter通过管道连接。
重新组织filter后输出的数据
有时候我们需要重新构造json的结构,比如去掉某一层嵌套,比如取某几个字段组成一个新的json,这时候我们需要重新改变json的结构,我们可以使用[]和{}来重新组织json。
#把输出组织成一个列表
jq '[filter1, filter2, filter3]' data.json
cat test.json | jq '[.age,.name]'
[21,"xueyuan"
]
#把输出组织为新的json对象
jq '{filter1, filter2, filter3}' data.json
cat test.json | jq '{age,name,email,skills: .skills[2:]}'
{"age": 21,"name": "xueyuan","email": "im.hexueyuan@outlook.com","skills": ["Golang","Node.js"]
}
递归展开json结构
有时候我们需要在一个json里边查找某个字段,但是确不知道这个字段在哪个嵌套里边,如果嵌套很深那么很难找到,jq可以把嵌套展开打平之后再查找。
#展开嵌套
jq '..' data.json
cat test.json | jq '..'
{"skills": ["C/C++","Python","Golang","Node.js"],"age": 21,"birthday": "10th August","name": "xueyuan","email": "im.hexueyuan@outlook.com"
}
["C/C++","Python","Golang","Node.js"
]
"C/C++"
"Python"
"Golang"
"Node.js"
21
"10th August"
"xueyuan"
"im.hexueyuan@outlook.com"
展开之后结合管道再次filter可以查找key。
length filter
计算元素长度,对于对象,length表示对象里的元素个数,对于string,length表示string字符数,对于列表,表示列表元素个数。
cat test.json | jq '. | length'
5cat test.json | jq '.age | length'
21cat test.json | jq '.name | length'
7cat test.json | jq '.skills | length'
4
keys filter
输出全部的key,列表形式
cat test.json | jq '. | keys'
["age","birthday","email","name","skills"
]
检查某个key是否存在
如果输入是一个对象,那么对象的元素是以"key-value"形式存在的,使用
jq 'has("key-name")' data.json
检查json对象是否含有某个key。
列表遍历
jq支持使用map()或者map_values()遍历列表,或者对象的值。
echo '{"a":1,"b":2,"c":3}' | jq 'map_values(1 + .)'
{"a": 2,"b": 3,"c": 4
}echo '[1,2,3]' | jq 'map(1 + .)'
[2,3,4
]
删除某个key
jq 'del(filter)' json.data
使用del()删除filter描述的key-value。
jq支持管道线 |,它如同linux命令中的管道线——把前面命令的输出当作是后面命令的输入。
二、vim
退出编辑模式:按esc键
命令行模式下相关命令
1.移动光标
- h: ← 左移
- l: → 右移
- j: ↓ 下移
- k: ↑ 上移
- gg: 光标移动文件开头
- G: 光标移动到文件末尾
- ^: 光标移动到行头
- 0: 光标移动到行首
- $: 光标移动到行尾
- 123G:跳转到第123行
2.删除字符
- x: 删除光标后一个字符,相当于 Del
- X: 删除光标前一个字符,相当于 Backspace
- dd: 删除光标所在行
- n dd 删除光标(含)后多少行
3.撤销操作
- u: 撤销上一步
- Ctr-r: 反撤销
4.复制粘贴
- yy: 复制光标当前行,n yy 复制光标所在行(含)后多少行
- p: 在光标所在位置向下新开辟一行,粘贴
- P: 从光标所在行, 开始粘贴
5.可视模式
- v:按字移动
- 配合 h、j、k、l 使用
- 使用y复制选中内容
6.查找操作
- /hello -> 从光标所在位置向后查找 hello
- n: 下一个
- N:上一个
- ?hello -> 从光标所在位置向前查找 hello
- n: 上一个
- N:下一个
7.替换操作
- r: 替换当前字符
8.文本行移动
- >>: 文本行右移
- <<: 文本行左移
9.Man Page
- 光标移动到函数上,Shift-k 光标移动到函数上
文本模式下相关命令
1. 进入输入模式
- i: 插入光标前一个字符
- I: 插入行首
- a: 插入光标后一个字符
- A: 插入行未
- o: 向下新开一行,插入行首
- O: 向上新开一行,插入行首
- s: 删除光标所在的字符
- S:删除当前行
末行模式下相关命令
1.行跳转
- :123 -> 跳转到第123行
2.替换
(1) 替换一行
- : s/abc/123
- -> 将当前行中的第一个abc替换为123
- : s/abc/123/g
- ->将当前行中的abc全部替换为123
(2) 替换全部
- :%s/abc/123
- -> 将所有行中的第一个abc替换为123
- :%s/abc/123/g
- -> 将所有行中的abc全部替换为123
(3)替换指定行
- :10,30s/abc/123/g
- -> 将10-30行中的abc全部替换为123
3.执行shell命令
- 末行模式里输入!,后面跟命令
4.分屏操作
(1) 进入分屏模式
- 命令:sp 将屏幕分为两部分 --> 水平
- 命令:vsp 将屏幕分为两部分 --> 垂直
- 命令:sp(vsp) + 文件名 水平或垂直拆分窗口显示两个不同的文件
(2) 退出分屏模式
- 命令:wqall 保存并退出所有屏幕
- 命令:wq保存并退出光标所在的屏幕
- Ctrl+ww 切换两个屏幕
在一般模式当中,输入『 : / ?
』3 个中的任何一个按钮,就可以将光标移动到最底下那一行。
在这个模式当中, 可以提供你『搜寻资料』的动作,而读取、存盘、大量取代字符、离开 vi 、显示行号等动作是在此模式中达成的!
- :w 保存
- :q 退出
- :! 强制执行
- :set nu 显示行号
- :set nonu 关闭行号
- ZZ(shift+zz) 没有修改文件直接退出,如果修改了文件保存退出
- :nohl 去除高亮显示
- :wq! 强制保存退出
参考:https://blog.csdn.net/Cheat1173010256/article/details/118230562
三、LInux集群安装miniconda并配置虚拟环境
1.下载软件
wget -c https://repo.continuum.io/miniconda/Miniconda3-latest-Linux-x86_64.sh
2.安装
sh Miniconda3-latest-Linux-x86_64.sh
3.激活
source ./miniconda3/bin/activate
4.添加频道
conda config --add channels bioconda
conda config --add channels conda-forge
5.添加镜像(清华源)
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/bioconda/
conda config --set show_channel_urls yes
6.查看
conda config --get channels
or
cat ~/.condarc
7.环境管理
查看已安装的python环境
conda info -e #conda info --envs
conda env list
#当前环境会通过一个星号 (*) 标识
创建环境
#基于python3.6版本创建一个名字为test的python独立环境
conda create --name test python=3.7 #指定python3版本
conda create -n test2 python=3#指定环境路径
conda create --prefix=/path/to/py37 python=3.7 #注-p/--prefix和-n/--name参数不能同时用#如果不指定python,安装会默认为conda自带的python版本,即如果是conda3,就是python3.
#最好是每个环境指定python,尤其是和自己使用的保持一致
启动或关闭环境
#激活环境
source activate(后接环境名,不加默认为base)
source activate test
#退出环境
source deactivate test
#PS:若未加入环境变量,需进入conda的bin目录下执行
删除环境
conda env remove -n test
conda remove -n test --all
重命名环境
即先克隆,再删除
conda create -n python2 --clone py2
conda remove -n py2 --all
关闭环境
conda deactivate
Linux jq 、vim以及LInux集群安装miniconda并配置虚拟环境(笔记)相关推荐
- Nginx 集群安装以及常用配置详解开机自启动
Nginx 配置文件详解 main: 全局配置 event: 配置工作模式以及连接数 http: http 模块相关配置 server 虚拟主机配置,可以有多个 location 路由规则,表达式 u ...
- Hadoop服务器集群安装部署及配置
配置Hadoop 配置jdk 配置从节点服务器主机名称:
- MongoDB的集群安装搭建配置
1. MongoDB介绍 1.1.MongoDB 简介 MongoDB 是由C++语言编写的,是一个基于分布式文件存储的开源数据库系统.具有以下特点: 面向集合文档型存储,易于存储对象类型的数据, 以 ...
- linux nacos启动_Nacos集群安装配置
上篇文章讲到Nacos从v1.3.2开始,windows系统启动脚本默认改成了集群模式(也就是不带参数"-m standalone"),那么如果双击startup.cmd启动就会失 ...
- biee 12c linux 安装,oracle biee 12c linux ha 集群安装配置手册.pdf
oracle biee 12c linux ha 集群安装配置手册 Oracle BIEE 12c Linux 系统集群安装配置文档 仇 辉 2017 年 2 月 1 1 文档控制 编制 日期 作者 ...
- redis伪集群安装linux,redis伪集群搭建(亲测无坑)
一.单机版安装部署,伪集群只需要操作前1-8步即可,再往下浏览找到:二.单机版-伪集群 安装部署继续搭建,如需设置密码参照第10步 1.安装基本工具 yum install -y gcc-c++ v ...
- 微信公众号 多台服务器,在多台 Linux 服务器上搭建 Pulsar 集群
作者:高天赐 编辑:Irene Pulsar 是一个支持多租户的.高性能的消息中间件.上一篇我们介绍了如何在 Mac 上搭建 Pulsar 集群,本文详细介绍如何在 3 台 Linux 服务器上搭建 ...
- Linux下搭建Lotus Domino集群
Linux下搭建Lotus Domino 集群 本文内容是Linux平台下Lotus Domino服务器部署案例(http://chenguang.blog.51cto.com/350944/1334 ...
- 向基于Linux的Oracle RAC 10g集群添加新节点
在多数业务中,Oracle真正应用集群 (RAC) 配置的主要业务要求是整个系统中数据库层的可伸缩性 - 这样,当用户数增加时,可将额外实例添加到该集群来分发该负载. 在Oracle RAC ...
最新文章
- TSR交通标志检测与识别
- 智能车竞赛动力锂电池
- 用 Flask 来写个轻博客 (35) — 使用 Flask-RESTful 来构建 RESTful API 之四
- 让ASP.NET5在Jexus上飞呀飞
- 中南林科大c语言程序设计,2017年中南林业科技大学计算机与信息工程学院802C语言与数据结构之C程序设计考研题库...
- python 为html页面增加背景_Python 给html css自动添加注释
- 一套比较完整的前端技术选型,需要规整哪些东西,你知道不?
- IBM 收购 RedHat(红帽)!340 亿美元
- 开发缺点_开发移动端手机APP有哪些优缺点?
- Truncated Signed Distance Function: Experiments on Voxel Size
- Scala:类,对象和特征(接口)
- IT讲师韩顺平:我为什么辞去百万年薪,自己创业?
- [opencv]学习之帧差法实现运动物体检测
- 梯度和法向量的统一理解
- msvcr100.dll解决方法
- 关于unity3d多点触控的研究
- OpenCV 5种图像滤波辨析:方框、均值、高斯、中值、双边
- Linux进程中的RSS和VSZ
- 操作系统、计算机网络、数据库系统概论等相关面试问题
- perl q qq qr qw qx 区别与使用方法
热门文章
- 计算机网络 (2)标准化工作、性能指标、分层结构
- java disconnect_Java BlockingConnection.disconnect方法代碼示例
- 安卓端调用相机拍照返回并预览---清晰原图
- 常识整理-windows7旗舰版x86用激活程序激活失败,提示:请用管理员运行
- pycharm 激活码2018年9月22日亲测有效
- 理光R5445系列 单节锂电池保护芯片,内置驱动器高位Nch FET开关温度保护
- 数据智能公司袋鼠云完成 6000 万元 A 轮融资
- unity 创建Txt文件并写入数据
- July, 15(R)
- LeetCode刷题之T46全排列(中等)