【大数据离线开发】1、大数据准备环境之Linux配置

大数据准备环境

1.1 Linux实验环境

1.1.1 准备Linux操作系统

Linux操作系统：RedHat 7.4  64位 自带netcat服务器（测试：Spark Streaming）
VMware版本不能太低：12版本
类型：Redhat Linx 7 64位
网卡：仅主机模式
一共5台虚拟机：安装JDK、配置主机名、关闭防火墙192.168.157.111   bigdata111192.168.157.112   bigdata112192.168.157.113   bigdata113192.168.157.114   bigdata114192.168.157.115   bigdata115

1.1.2配置Linux和Linux的目录结构

1、关闭防火墙
查看防火墙的状态：systemctl status firewalld.service
关闭防火墙：      systemctl stop firewalld.service
禁用防火墙（永久）systemctl disable firewalld.service

2、修改ip地址
查看ip地址   ifconfig
修改IP地址   vi /etc/sysconfig/network-scripts/ifcfg-ensXXBOOTPROTO=static...IPADDR=192.168.157.111PREFIX=24GATEWAY=192.168.157.2IPV6_PRIVACY=no修改完成后重启ip  service network restart
查看ip地址是否修改成功 ifconfig

3、设置主机名和IP的对应关系 （配置文件） /etc/hostsvi /etc/hosts192.168.157.111 bigdata111...112 bigdata112...113

4、Linux目录结构特别目录：Linux的tmp目录（*）特点：一旦Linux重启，该目录下的所有数据将会删除（*）HDFS默认的数据保存的目录是/tmp

1.1.3 vi编辑器

三种模式：1、编辑模式：等待命令的输入按i--> 进入：插入模式按：（冒号）进入命令模式2、插入模式: 按esc键回到编辑模式3、命令模式(*) w: 保存(*) q: 退出(*) wq: 保存退出(*)wq!:强制保存退出(*) 打开行号：set number(*) 关闭行号: set nonumber(*) 换行: set wrapset nowrap

1.1.4 Linux的基本操作

（*）ls 显示文件和目录列表 -l列出文件的详细信息   等价于ll-a列出当前目录所有文件，包含隐藏文件隐藏文件：.bash_profile 设置环境变量：JAVA_HOME、HADOOP_HOME隐藏目录：.ssh   ----> 配置Hadoop和Spark的免密码登录查询Hadoop的中文件：hdfs dfs -ls /（*）当前目录：pwd/root ---> root用户的HOME目录（快捷方式： ~）
（*）mkdir 创建目录-p父目录不存在情况下先生成父目录约定：mkdir /root/tools        ---> 所有的安装包mkdir /root/training      ---> 安装目录在Hadoop中创建目录：hdfs dfs-mkdir /aaa
（*）cd 切换目录
（*）touch 生成一个空文件echo 生成一个带内容文件 ----> 更常用的用法：查看环境变量echo $JAVA_HOME
（*）cat、tac 显示文本文件内容cat是从第一行开始写；tac是从最后一行开始写举例: cat a.txt查看Hadoop中文件的内容： hdfs dfs -cat /a.txt
（*）cp 复制文件或目录cp a.txt data.txt在Hadoop中拷贝数据:  hdfs dfs -cp /a.txt /b.txt（*）rm 删除文件-r 同时删除该目录下的所有文件-f 强制删除文件或目录rm -rf a.txt在Hadoop中删除文件：hdfs dfs
-rmr /a.txt（*）kill：杀死参数:  -9  强制杀死一个进程-3 Java进程，打印Java进程的Thread Dump（*）tar命令：打包压缩

1.1.5Linux的权限管理（类似HDFS的权限管理）

权限的类型

r	读
w	写
x	执行

使用ls -l或者ll命令查看权限

1.1.6Java的死锁分析（或者产生了性能的瓶颈）

参考博客：https://www.cnblogs.com/toSeeMyDream/p/7151635.html

JDK heap dump:分析OOM的问题

JDK Thread dump：分析性能瓶颈（线程信息）

Java提供了一个非常强大的性能诊断工具：Thread Dump（文本信息）

1、Linux：kill -3 PID（就是Java的进程号）
2、Windows: 按ctrl+break（fn+B）键

[root@bigdata111 ~]# mkdir temp
[root@bigdata111 ~]# cd temp/
[root@bigdata111 temp]# ls
DeadLock.java
[root@bigdata111 temp]# javac DeadLock.java
[root@bigdata111 temp]# java DeadLock
*** Thread A: ***: Lock A
*** Thread B: ***: Lock B切换窗口
[root@bigdata111 ~]# which jps
/root/training/jdk1.8.0_144/bin/jps
[root@bigdata111 ~]# jps
1217 Jps
1180 DeadLock
[root@bigdata111 ~]# kill -3 1180

【大数据离线开发】1、大数据准备环境之Linux配置相关推荐

大数据平台开发：大数据系统架构模块解析
企业要开展大数据相关业务,首先就需要基于自身的需求,来设计搭建数据系统平台.而大数据系统平台的搭建,需要基于实际需求,来进行系统架构规划.今天我们就从大数据平台开发的角度,来对大数据系统架构模块做一个 ...
大恒相机开发（大恒SDK+opencv开发）笔记1
大恒相机开发(大恒SDK+opencv开发一.项目简介在大三上学期做过人脸识别的开发,刚好下学期老师手中有相机的项目,然后项目就到了我手上,下面是我开发这个项目的一些经历,进程还在调试中.笔记会按 ...
【大数据应用开发】大数据的概念
一. 大数据的概念维基百科定义: 大数据是指利用常用软件工具捕获,管理和处理数据所耗时间超过可容忍时间的数据集. 二. 大数据4V特征 Volume:体量巨大 Velocity:处理速度快 Vari ...
大数据的数据服务开发技术与数据中台
· 一.大数据知识图谱参照TOGAF架构框架来看,大数据的数据架构仍适用于"4+1"视图理论(逻辑.过程.开发和物理),同样是情景驱动的(Scenario-Driven),其要素 ...
百度地图离线开发demo-海量数据绘制
demo内容有:(海量数据地图绘制,迁徙图,弹窗边界避让的问题,热力图,初始化离线地图),不要订阅了.有需要可以评论问我....demo列的都是我有写过,并且实现的.有需求也可以说.我有时间写demo ...
html5网页制作代码_好程序员HTML5大前端常用开发工具大集合
好程序员HTML5大前端分享常用开发工具大集合HTML5作为当前最为流行的编程语言,广为适用.语言的使用人数急剧增长,更多地开发人员使用这种语言来创建各种内容并放到互联网上.随着每一个新版本的发布,H ...
linux大疆sdk开发教程,大疆Linux Onboard-SDK例程运行指南
对DJI Onboard-SDK Developer网站上的说明进行整理,第一次开发OSDK时可以参照这个来配置环境运行一个例程应用,也方便之后运行自己的app. 准备 1.一个DJI设备 2.一个U ...
PHP移动互联网开发笔记（1）——环境搭建及配置
开篇说明:记得我上大二的时候第一次听到PHP,当时只知道这是一个开发网站的语言,并没有深入学习,在学了Java Web开发和Android开发之后我对互联网的发展方向有了一个我自己的认识,现在我们不能 ...
迁移到其他机器_有赞大数据离线集群迁移实战
‍‍ 点击关注"有赞coder" 获取更多技术干货哦- 作者:郭理想 & 任海潮部门:数据中台一.背景有赞是一家商家服务公司,向商家提供强大的基于社交网络的,全渠道经营 ...

【大数据离线开发】1、大数据准备环境之Linux配置

大数据准备环境

1.1 Linux实验环境

1.1.1 准备Linux操作系统

1.1.2配置Linux和Linux的目录结构

1.1.3 vi编辑器

1.1.4 Linux的基本操作

1.1.5Linux的权限管理（类似HDFS的权限管理）

1.1.6Java的死锁分析（或者产生了性能的瓶颈）

【大数据离线开发】1、大数据准备环境之Linux配置相关推荐

最新文章

热门文章