大数据技术与应用实验报告1

大数据技术与应用实验报告1

Hadoop的安装配置、运行一个WordCount 例子

根据文件里的word文档以及百度的教程进行一下的安装配置（包括后面的实验需要的）

1.VMWare Workstation pro安装激活

2.使用VMWare Workstation pro安装CentOS 7

3.安装并配置hadoop

4.安装并配置jdk

5.安装并配置HBase

6.安装redis

7.安装并配置Hive,MySQL,JDBC驱动

8.安装Spark，Scala

第一次实验需要实现伪分布式与分布式部署，运行wordcount

在CentOS 7 安装过程中，网络和主机名设置中网络部分出现问题，没有生成IP地址和网关，所以根据网上教程配置静态IP，重点在于将虚拟机的网络适配器选定为“自定义”中的“VMnet 8 ”（NAT设置），再以root身份登录CentOS修改网卡配置文件。

一：修改网卡配置文件

1、进入修改目录

[root@localhost ~]# clear   # 1： root 用户登录 并清理屏幕
[root@localhost ~]# cd /etc/sysconfig/network-scripts/    #2：进入 设置ip 信息的  /etc/sysconfig/network-scripts/ 目录下
[root@localhost network-scripts]# ls        #3 查看该目录下的文件信息ifcfg-ens33 ifdown-ipv6 ifdown-TeamPort ifup-ippp ifup-routes network-functions 5 ifcfg-lo ifdown-isdn ifdown-tunnel ifup-ipv6 ifup-sit network-functions-ipv6 6 ifdown  ifdown-post ifup  ifup-isdn ifup-Team 7 ifdown-bnep ifdown-ppp ifup-aliases ifup-plip ifup-TeamPort 8 ifdown-eth ifdown-routes ifup-bnep ifup-plusb ifup-tunnel 9 ifdown-ib ifdown-sit ifup-eth ifup-post ifup-wireless 10 ifdown-ippp ifdown-Team ifup-ib ifup-ppp init.ipv6-global 11

2：查看网卡 ifcfg-ens33

  1 [root@localhost network-scripts]# cat ifcfg-ens33 2 TYPE="Ethernet"3 BOOTPROTO="dhcp"4 DEFROUTE="yes"5 PEERDNS="yes"6 PEERROUTES="yes"7 IPV4_FAILURE_FATAL="no"8 IPV6INIT="yes"9 IPV6_AUTOCONF="yes"10 IPV6_DEFROUTE="yes"11 IPV6_PEERDNS="yes"12 IPV6_PEERROUTES="yes"13 IPV6_FAILURE_FATAL="no"14 IPV6_ADDR_GEN_MODE="stable-privacy"15 NAME="ens33"16 UUID="59469ff2-89aa-4cb0-9304-bb1ca20c9db3"17 DEVICE="ens33"18 ONBOOT="yes"19

3：备份网卡 ifcfg-ens33 信息

[root@localhost network-scripts]# cp ifcfg-ens33 ifcfg-ens33_bak_20170827

4：编辑网卡网卡 ifcfg-ens33 信息

默认该文件中还有其他配置，可以都删除或注释。

1 [root@localhost network-scripts]# vi ifcfg-ens33 2 [root@localhost network-scripts]# cat ifcfg-ens33 3 TYPE="Ethernet" 4 BOOTPROTO="static" 5 IPADDR=192.168.1.21 6 NETMASK=255.255.255.0 7 NETWORK=192.168.1.1 8 NAME="ens33" 9 ME="ens33" 10 ONBOOT="yes" 11 DNS1=192.168.1.1 12 13 14 #DEFROUTE="yes" 15 #PEERDNS="yes" 16 #PEERROUTES="yes" 17 #IPV4_FAILURE_FATAL="no" 18 #IPV6INIT="yes" 19 #IPV6_AUTOCONF="yes" 20 #IPV6_DEFROUTE="yes" 21 #IPV6_PEERDNS="yes" 22 #IPV6_PEERROUTES="yes" 23 #IPV6_FAILURE_FATAL="no" 24 #IPV6_ADDR_GEN_MODE="stable-privacy" 25 #NAME="ens33" 26 #UUID="59469ff2-89aa-4cb0-9304-bb1ca20c9db3" 27 #DEVICE="ens33" 28 #ONBOOT="yes"

二：修改网关配置文件

1：切换目录，查看文件信息

1 [root@localhost network-scripts]# cd .. 2 [root@localhost sysconfig]# ls 3 atd cgred ebtables-config init iptables-config kernel man-db network-scripts pluto rdisc rsyncd saslauthd svnserve virtlogd 4 authconfig console fcoe ip6tables iptables.rpmnew ksm modules nfs qemu-ga readonly-root rsyslog selinux sysstat wpa_supplicant 5 autofs cpupower firewalld ip6tables-config irqbalance libvirtd netconsole ntpd radvd rpcbind run-parts smartmontools sysstat.ioconf 6 cbq crond grub iptables kdump libvirt-guests network ntpdate raid-check rpc-rquotad samba sshd virtlockd 7 [root@localhost sysconfig]# pwd 8 /etc/sysconfig 9 [root@localhost sysconfig]# cat network 10 # Created by anaconda

2：修改 network 文件信息

  1 [root@localhost sysconfig]# vi  network2 [root@localhost sysconfig]# cat network3 # Created by anaconda4 5 NETWORKING=yes6 NETWORKING_IPV6=no7 HOSTNAME=localhost.localdomain8 GATEWAY=192.168.1.1

重启服务：

[root@localhost sysconfig]# systemctl restart network

大数据技术与应用实验报告1相关推荐

大数据技术与应用实验报告2
大数据技术与应用实验报告2 HDFS常用shell命令的使用,以及用JAVA API实现HDFS常用shell命令的功能实现上传文件,下载文件实现上传和下载文件的主要的shell命令把本地文件上 ...
大数据技术与应用实验报告3
大数据技术与应用实验报告3 用JAVA写一个WordCount例子,并生成jar包运行于集群上编写MapReduce程序 MapReduce 1.编程调试WordCount程序 2.生成jar包,在 ...
大数据技术与应用实验报告4
大数据技术与应用实验报告4 Hbase的安装.配置以及进行使用环境: Linux ubuntu 16.04 jdk-1.8.0_144 hadoop-2.8.3 hbase-1.2.6 在已安装好 ...
大数据技术与应用实验报告5
大数据技术与应用实验报告5 NoSQL数据库的简单使用(Redis,MongoDB等) 安装Redis: 1,redis的安装环境需要安装gcc(编译依赖gcc) yum install gcc-c ...
熟悉大数据存储基础（实验报告）
[实验与思考] 实验目的 (1) 熟悉大数据存储基础 (2)熟悉大数据技术的基本概念 (3)熟悉开源技术及其商业支援熟悉分布式系统,了解hadoop分布式处理技术 (4)熟悉大数据的数据处理基础知识, ...
大数据技术基础实验十三：Kafka实验——订阅推送示例
大数据技术基础实验十三:Kafka实验--订阅推送示例文章目录大数据技术基础实验十三:Kafka实验--订阅推送示例一.前言二.实验目的三.实验要求四.实验原理 1.Kafka简介 2.K ...
大数据技术基础实验三：HDFS实验——部署HDFS
大数据技术基础实验三:HDFS实验--部署HDFS 文章目录大数据技术基础实验三:HDFS实验--部署HDFS 一.前言二.实验要求三.实验原理 1.什么是HDFS? 2.HDFS的体系结构 3 ...
FinTech研发报告-之大数据技术
前序: 手记血泪史:2016年底~2017年是自己技术生涯的元年,所以逼着自己写一般书籍(原打算,后来发现自律性和俗事太多最后没有实现),当时一直关注FinTech个方面的内容,所以决定先写大数据方面 ...
Hadoop十岁！Doug Cutting成长史+他眼中大数据技术的未来
上次见到(膜拜)Hadoop之父Doug Cutting是在2年前,2014中国大数据技术大会上.今年Hadoop10岁,刚看到他的Hadoop十周年贺词,感觉时间飞逝.最近CSDN和InfoQ都在制 ...

大数据技术与应用实验报告1

大数据技术与应用实验报告1相关推荐

最新文章

热门文章