新闻网实时数据步骤（毕业设计）
新闻网实时数据步骤（毕业设计）
- 实时步骤
- 1.打开虚拟机
- 2.启动zookeeper
- 3.启动Hadoop
- 4.手动切换active
- 5.启动hbase
- 6.启动kafka
- 7.在master节点启动flume
- 8.在slave1和slave2节点上启动flume完成数据采集
- 9.启动Tomcat
- 10.启动Spark
- 11.改navicat
- 12.运行实时分析
- 离线步骤
- 1.进入离线模块
- 2.启动元数据库
- 3.启动hiveserver2服务
- 4.输入命令行
- 页面显示1.启动hive
- 2.后台启动
- 3.登录离线管理
实时步骤
1.打开虚拟机
2.启动zookeeper
操作实现 jps验证 QuorumPeerMain
3.启动Hadoop
操作步骤
再次jps验证
此时的master是
4.手动切换active
hdfs haadmin -transitionToActive --forcemanual nn1
步骤变化 此时变成active
5.启动hbase
步骤变化效果
6.启动kafka
7.在master节点启动flume
8.在slave1和slave2节点上启动flume完成数据采集
都在slave1和slave2操作，然后再另开新窗口
新窗口以后，进行
最后效果master会出现
9.启动Tomcat
启动Tomcat以后 会弹出主页面
10.启动Spark
成功图
11.改navicat
把用户数给改变
12.运行实时分析
最后点击实时分析即可
效果图
离线步骤
1.进入离线模块
cd /opt/module/hive-0.13.1-bin/bin
2.启动元数据库
3.启动hiveserver2服务
两个RunJar
4.输入命令行
页面显示1.启动hive
2.后台启动
3.登录离线管理
和之前做相同处理
新闻网实时数据步骤（毕业设计）相关推荐
- Python 大数据分析疫情：如何实现实时数据爬取及 Matplotlib 可视化？
作者 | 杨秀璋 来源 | CSDN博客专家Eastmount 责编 | 夕颜 思来想去,虽然很忙,但还是挤时间针对这次肺炎疫情写个Python大数据分析系列博客,包括网络爬虫.可视化分析.GIS地图 ...
- 使用 Oracle GoldenGate 进行实时数据集成
[转自]http://blog.chinaunix.net/u1/53677/showart_2314585.html 使用 Oracle GoldenGate 进行实时数据集成 了解如何安装.设置和 ...
- 对应chd5.14的spark_GitHub - shixiaopengql/BigData-News: 基于Spark2.2新闻网大数据实时系统项目...
基于Spark2.2新闻网大数据实时系统项目 1. 说明 2.环境配置 2.1 CDH-5.14.2 (安装步骤可参考地址),关于版本是按实际操作, CDH的版本兼容性很好. Service hado ...
- 视频直播：实时数据可视化分析
作者:spiderwu,腾讯 CSIG 高级工程师 1 解决方案描述 1.1 概述 本方案结合腾讯云 CKafka.流计算 Oceanus.私有网络 VPC.商业智能分析 BI 等,对视频直播行业数字 ...
- 计算机接口控制采集时序图,自动站实时数据质量控制
自动站实时数据质量控制 利用极值法.比较法.综合 (本文共2页) 阅读全文>> 通过2次自动站实时数据质量控制失败的案例,分析总结了自动气象站实时数据质量控制的经验教训.结果表明:(1)值 ...
- python自动化数据报告_如何：使用Python将实时数据自动化到您的网站
python自动化数据报告 This tutorial will be helpful for people who have a website that hosts live data on a ...
- 关于云开发新服务“实时数据推送”，你需要了解的全在这了！
"微信小程序工程师邓坤力带你了解如何利用千呼万唤始出来的云开发实时数据推送服务打造生动的小程序和小游戏!" 在数据库在小程序·云开发中的应用一文中,我们了解到实时数据推送作为云开发 ...
- 实时数据产品实践——美团大交通战场沙盘
背景 大数据时代,数据的重要性不言而喻,尤其对于互联网公司,随着业务的快速变化,商业模式的不断创新.用户体验个性化.实时化需求日益突出,海量数据实时处理在商业方面的需求越来越大.如何通过数据快速分析出 ...
- Hologres助力飞猪双11实时数据大屏秒级响应
简介: 本文重点介绍Hologres如何落地阿里巴巴飞猪实时数仓场景,并助力飞猪双11实时数据大屏3秒起跳,全程0故障. 摘要:刚刚结束的2020天猫双11中,MaxCompute交互式分析(下称Ho ...
最新文章
- 计算机巨星陨落！图灵奖得主 Edmund Clarke 因感染“新冠”逝世
- Ubuntu find命令详解
- mac php Swoole入门
- 云原生实时数仓首次在2020双11核心数据场景落地
- C++ struct和class的区别
- 链表头结点存在的意义
- 如何精通java_如何精通java技术
- java synoch 加锁_线程间通信 - HappyCowboy - 博客园
- 好用的书法字体素材，可以用于各种项目；从商标和品牌到邀请、海报等
- NUC1019 数素数【素数筛选法】
- 【Expression 序列化】WCF的简单使用及其Expression Lambada的序列化问题初步解决方案（三）...
- 【听课笔记】复旦大学遗传学_08遗传分析方法
- 大屏antdesign走马灯轮播加图形渲染
- TC8：UDP_MessageFormat_01-02
- android 游戏语言设置在哪里设置中文版,使命召唤手游语言变更方法 怎么设置中文...
- 岁寒，然后知松柏之后凋也。关于后凋的解释
- 一个java面试题：一个农夫养了一头牛，三年后，这头牛每年会生出一头牛，生出来的牛三年后又可以每年生出一头牛,不考虑牛的性别和生死,问农夫10年后有多少头牛？
- word excel 应用程序无法正常启动(0xc0000142)
- 8球胜负(eight)
- Unknown column ‘lastName‘ in ‘field list‘报错