2022全国职业技能大赛大数据技术与应用赛项赛题环境准备
前言
根据2022全国职业技能大赛大数据技术与应用赛项赛题进行整理,如果有错误指出请提出改正,谢谢!
资料
赛程文件
链接:https://pan.baidu.com/s/1TAygWqDkYOW9TDn-3HnHzA
提取码:yikm
平台搭建组件包
链接:https://pan.baidu.com/s/1vNBF0JTKo2g5IpweyyM9Cw
提取码:yikm
前提条件
竞赛内容
竞赛软件环境
技能要求
依据大数据平台的技术特点独立解压、安装、配置。对不同的组件 4 进行文件参数配置,日志查看、状态查看、服务启动、组件部署等。
赛题及解析
大数据平台搭建(容器环境)
环境说明
服务端登录地址详见各模块服务端说明。
补充说明:宿主机可通过Asbru工具或SSH客户端进行SSH访问;
相关软件安装包在宿主机的/opt目录下,请选择对应的安装包进行 安装,用不到的可忽略;
所有模块中应用命令必须采用绝对路径;
从本地仓库中拉取镜像,并启动3个容器
进入Master节点的方式为
docker exec –it master /bin/bash
进入Slave1节点的方式为
docker exec –it slave1 /bin/bash
进入Slave2节点的方式为
docker exec –it slave2 /bin/bash
同时将/opt目录下的所有安装包移动到3个容器节点中。
前期准备
在ubantu中安装docker ce
1.安装一些必要的系统工具
sudo apt-get update
sudo apt-get -y install apt-transport-https ca-certificates curl software-properties-common
安装gpg证书并写入阿里源 docker ce镜像信息
curl -fsSL https://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add -
sudo add-apt-repository "deb [arch=amd64] https://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"
更新安装docker ce
sudo apt-get -y update
sudo apt-get -y install docker-ce
查看docker ce 版本
docker version
启动docker服务
sudo service docker start
docker默认是只有root才能执行Docker命令,因此我们还需要添加用户权限:
创建docker用户组:
sudo groupadd docker
添加当前用户到Docker用户组:
sudo gpasswd -a $USER docker
更新用户组:
newgrp docker
创建docker虚拟机的时候,注意需要让虚拟机使用静态ip, docker设置固定ip地址,步骤如下
1. (在主机)创建网络
docker network create --subnet=172.18.0.0/16 mynetworkdocker network ls
2. (在主机)创建虚拟机
docker run -itd --name staticIp-privileged --net mynetwork --ip 172.18.0.2 --privileged=true centos:7 /sbin/init
docker ps -a
3. (在主机)登录虚拟机(用docker方式)
docker exec -it staticIp-privileged /bin/bash
进入docker虚拟机后,centos7默认很多软件没有安装,需要自己手动安装软件
yum install net-tools openssh-server openssh-clients initscripts vim -y
等待安装完毕后开启ssh服务
vim /etc/ssh/sshd_config
开启ssh服务
systemctl start sshd.service
systemctl status sshd.service
设置密码
passwd
4. (在主机)登录虚拟机(用ssh方式)
ssh root@172.18.0.2
5. 安装大数据环境的软件
将主机中的软件安装包传入ubantu宿主机
使用xshell连接ubantu
连接失败
原因:ubuntu没有安装ssh远程连接服务
解决方法:安装ssh远程连接服务
sudo apt-get install openssh-server
再次尝试成功
打开xftp传输文件
报错
解决方法:修改权限 假设要上传的目录是/opt 它的权限应该是777
sudo chmod 777 /opt
重新打开xftp再次尝试成功
将ubantu宿主机中的安装包传输镜像文件中
docker cp /opt/package/ staticIp-privileged:/opt
6. (在主机)将docker虚拟机/docker容器 保存为 docker镜像文件Filex
docker stop staticIp-privileged
docker images
docker commit -m "first docker" staticIp-privileged centos:hadoop
docker images
7. (在主机)使用docker镜像文件filex,创建虚拟机master,slave1,salve2。
docker ps -a
docker run -itd --name master --net mynetwork --ip 172.18.0.10 --privileged=true centos:hadoop /sbin/init
docker run -itd --name slave1 --net mynetwork --ip 172.18.0.11 --privileged=true centos:hadoop /sbin/init
docker run -itd --name slave2 --net mynetwork --ip 172.18.0.12 --privileged=true centos:hadoop /sbin/init
docker ps -a
至此容器镜像配置完毕,准备工作完毕!
2022全国职业技能大赛大数据技术与应用赛项赛题环境准备相关推荐
- 2021年全国职业院校技能大赛 “大数据技术与应用”—模拟赛题(三)
2021年全国职业院校技能大赛 "大数据技术与应用" --模拟赛题(三) 文章适合了解大数据技术与应用技能大赛 赛题.文章在编写过程中难免有疏漏和错误,欢迎大佬指出文章的不足之处: ...
- 2021年全国职业院校技能大赛 “大数据技术与应用”—模拟赛题(二)
2021年全国职业院校技能大赛 "大数据技术与应用" --模拟赛题(二) 文章适合了解大数据技术与应用技能大赛 赛题.文章在编写过程中难免有疏漏和错误,欢迎大佬指出文章的不足之处: ...
- 2021年全国职业院校技能大赛 “大数据技术与应用”—模拟赛题(一)
2021年全国职业院校技能大赛 "大数据技术与应用" --模拟赛题(一) 文章适合了解大数据技术与应用技能大赛 赛题.文章在编写过程中难免有疏漏和错误,欢迎大佬指出文章的不足之处: ...
- 【2019全国职业技能大赛大数据技术】任务四:14-数据可视化(20分_题目+答案<图片+分值>)
[任务说明] 任务四 : 数据可视化 (20 分 ) 本任务中 所需要 的原始数据四 存放于任务四 MySQL 的 的 project_hotels 数据库 和 计算机 桌面/H3CU_hotel/d ...
- 【2019全国职业技能大赛大数据技术】任务三:10-数据清洗与分析(25分_题目+答案<图片+分值>)
[题目] 7. OTA 全称为 Online Travel Agency,中文译为"在线旅行社",是旅游电子商务行业的专业词语.指"旅游消费者通过网络向旅游服务提供商预定 ...
- 2021全国职业技能大赛浙江省杭州市“网络空间安全赛项”赛题及赛题解析(超详细)
2021年中职组浙江省杭州市"网络空间安全"赛项 2021浙江省杭州市竞赛任务书及解析 A模块基础设施设置/安全加固(200分) B模块安全事件响应/网络安全数据取证/应用安全(4 ...
- 2023年浙江省职业院校技能大赛大数据技术与应用专业样题
2023浙江省赛样题解析-数据采集:离线数据采集 2023浙江省赛样题解析-数据采集:实时数据采集_子任务1 2023浙江省赛样题解析-数据采集:实时数据采集_子任务2 2023浙江省赛样题解析-实时 ...
- 2023贵州省职业院校技能大赛大数据技术与应用专业样题
2023贵州省赛样题解析-数据采集:离线数据采集 2023贵州省赛样题解析-数据采集:实时数据采集_子任务1 2023贵州省赛样题解析-数据采集:实时数据采集_子任务2 2023贵州省赛样题解析-实时 ...
- 2023广东省职业院校技能大赛大数据技术与应用专业样题
2023广东省赛样题解析-数据采集:离线数据采集 2023广东省赛样题解析-数据采集:实时数据采集_子任务1 2023广东省赛样题解析-数据采集:实时数据采集_子任务2 2023广东省赛样题解析-实时 ...
- 2022年深圳技能大赛-大数据技术应用职业技能竞赛介绍
01竞赛项目 大数据技术应用 02竞赛标准 参照广东省第二届职业技能大赛大数据技术应用赛项标准,结合新时代行业企业发展情况,适当增加新知识.新技术.新设备.新技能的相关内容,由执委会组织专家制定,具体 ...
最新文章
- python语言中一切皆对象_2 python 中一切皆对象
- 我们能从大学里学到什么
- Linux/Unix下的任务管理器-top命令
- widedeep 在贝壳推荐场景的实践
- php interbase,PHP: Firebird/InterBase - Manual
- mysql导入.sql文件及常用命令_MySQL导入.sql文件及常用命令
- 队列模块(Queue)
- mongodb更新操作符$unset
- php 利用csv导,php 导入/导出 csv 文件
- [PHP] 数据结构-二叉树的创建PHP实现
- mybatis 同名方法_判断同名股票是否存在的MyBatis查询函数写法
- 服务器硬件工程师从入门到精通系列视频教程(1)-基础篇-赵振坤-专题视频课程...
- 【React】9、使用create-react-app(CRA)创建react项目
- margin 百分比是按参照物来计算滴 不知道吧?
- QT 析构的报错Cannot send events to objects owned by a different thread.
- mysql 查询存储过程 速度_查询mysql过程
- android图片特效处理之锐化效果
- 遇到黑客攻击遭遇勒索保护费怎么办?黑客最常见的攻击手段
- 关于Android如何集成QQ登录及分享
- PCI-7856运动控制卡