服务器搬迁清单需要启动任务以及恢复办法
服务器搬迁清单需要启动任务以及恢复办法。
整体搬迁如果周五关机,如果周六下午可以开机搭建集群的话,那么我们只需要改一下crontab时间即可;如果不能的话,到了礼拜天了,则就需要立马添加时间日期。所以,明天得确定一下时间能否在周六下午把集群搭建好。
一、首先来看149服务器恢复办法。
首先切换hive
移除点击此处添加图片说明文字
1.第一个,脚本大约执行20个任务,需要在数据库里面配置。
这里怎么一次性重跑看一下文档。文档位置:
F:\市场项目\葛远-云创-数据需求拉取\数据拉取程序使用说明.docx
我这里说一下吧,是跑了。
移除点击此处添加图片说明文字
对应表名称按月份命名的,跨月份后要对表里配置的月进行更新
如 new_market_log_201708 需要变为 new_market_log_201709
需要注意,重跑,也要注意( 有日期变量的 )
移除点击此处添加图片说明文字
2.执行149的crontab:10 7 * * * java -jar /home/hive/sxm/ftp/HiveQuery.jar 0 0 0 0
移除点击此处添加图片说明文字
注意第三个参数是日期格式。
args[2] :默认填0 指定日期:yyyy-MM-dd
3.安全数据的
每天市场拉取安全数据这里如果要重新跑,需要修改date变量。
移除点击此处添加图片说明文字
这里可以看到,我们完全可以这么跑数据
/usr/bin/python /home/hive/sxm/SafeDataInput.py 2017-09-19 2017-09-19
二、143push的定时任务开始了,从北京集群的mysql拉数据到我们hive平台。
这个sh需要执行重跑。那我们看一下吧。
移除点击此处添加图片说明文字
这个sh其实里面执行了5个sh脚本。
移除点击此处添加图片说明文字
source /opt/ftp/oz_log/app_command_data/java/runjar_ozlogapp_command_import_yesday.sh
source /opt/ftp/oz_log/java/runjar_oz_data_operate_rec_import_args.sh
source /opt/ftp/oz_log/java/runjar_oz_topic_dict_import_yesday.sh
source /opt/ftp/oz_log/java/runjar_cap_wap_data_import_args.sh
source /opt/ftp/oz_log/java/runjar_cap_wap_data_apk_import_args.sh
其实执行了5个sh脚本,我们挑一个看
移除点击此处添加图片说明文字
yesday_date=`date -d '-1 day' +%Y-%m-%d`
yesday_date_reg=`date -d '-1 day' +%Y%m%d`
注意这两个东西,这两个时间需要改造一下。注意了,需要改造。如果时间错过了,需要增加两天。
注意这个是这5个sh脚本。
移除点击此处添加图片说明文字
三、82服务器,4个py脚本,在hive平台做计算。
su hdfs
移除点击此处添加图片说明文字
不用担心,上面四个我看过了,都是需要改。
移除点击此处添加图片说明文字
就是在执行python时,python XXXX.ph 2017-09-19 2017-09-19
至于后面的维秀直播平台的需要改date参数了。这个么。
移除点击此处添加图片说明文字
这个我问一下这个任务的开发者吧。
移除点击此处添加图片说明文字
那这个就不重要
四、141,除了push的hive同步到mongodb之外还有很多。
su hdfs
移除点击此处添加图片说明文字
还没有完呢。
移除点击此处添加图片说明文字
用端城的截图就是。
移除点击此处添加图片说明文字
那我总结了,就这些要弄了。下面是我把那些注释掉的任务弄出来的。
移除点击此处添加图片说明文字
00 2 * * * /usr/bin/python /home/hdfs/ImportPayInfoIntoHive.py > /home/hdfs/pay.log
50 0 * * * ./etc/profile;/bin/sh /opt/ftp/freemeos_project/java/freemeos_all_run_args_yesday.sh > /tmp/freeme_progress_log.log
40 0 * * * /bin/sh /opt/ftp/freemeos_project/java/fros_beautify_center/test_beautify.sh
30 2 * * * ./etc/profile;/bin/sh /opt/ftp/oz_log/java/runjar_all_oz_log.sh >> /opt/ftp/oz_log/java/log/cron_command.txt
50 0 * * * ./etc/profile;/bin/sh /opt/ftp/oz_market/java/runjar_all_oz_market_yesday.sh >> /opt/ftp/oz_market/java/log/runjar_all_oz_market_yesday.txt
50 6 * * * ./etc/profile;/bin/sh /opt/ftp/freemeos_project/java/freemeos_all_run_args_yesday.sh
00 6 * * * ./etc/profile;/bin/sh /opt/ftp/oz_log/java/runjar_all_oz_log.sh >> /opt/ftp/oz_log/java/log/cron_command.txt
#市场push报表
20 15 * * * source /etc/profile;/bin/sh /etl/tools/etl-python/push/push_report.sh > /etl/tools/etl-python/push/push_report_log.txt
00 6 * * * ./etc/profile;/bin/sh /opt/ftp/freemeos_project/report_data/java/safe_report/safe_report_args_mongo.sh > /tmp/safe_log.txt
#每月第2天 修改数据拉去跨月参数
05 0 2 * * ./etc/profile;/bin/sh /opt/wxw/importdata/across_month_modiy.sh >> /opt/wxw/importdata/info.log 2>&1
#插入市场 apk标签表oz_market.apk_label_withh2
20 4 * * * ./etc/profile;/bin/sh /opt/app/market_recommend/wirte_table_apk_label_withh2.sh > /opt/app/market_recommend/rec_log.txt
#查询半年内imsi安装数据
10 7 * * * ./etc/profile;/bin/sh /opt/app/market_recommend/wirte_table_apk_ids_per_imsi.sh > /opt/app/market_recommend/imis_log.txt
#市场应用推荐,hive导出文件 sftp发送到远程服务器,要先于com.tydtech.mig.newmarket_10
10 5 * * * /bin/sh /opt/wxw/project/rec_hive_file/rec_hive_file.sh >/opt/wxw/project/rec_hive_file/rec_sh.log 2>&1
#安全服务数据
05 8 * * * /bin/sh /opt/wxw/project/safedata_imei/safedata_start.sh >/opt/wxw/project/safedata_imei/safedata_start.log 2>&1
#pcb销量整合
05 15 * * * /bin/sh /opt/wxw/project/pcb_freemeos_sales/pbc_data_start.sh >/opt/wxw/project/pcb_freemeos_sales/pcb.log 2>&1
#baas push2.0日志 add 2017-08-20
53 13 * * * /bin/sh /opt/wxw/project/baas_push_two/baas_push_two_etl.sh > /opt/wxw/project/baas_push_two/info.log 2>&1
#市场外下-api下载数据 插入 外网 mongo
10 1 * * * /bin/sh /opt/wxw/project/marketHiveToMongo/marketHiveToMongo.sh > /opt/wxw/project/marketHiveToMongo/mongo_to_hive.log 2>&1
总共有17个脚本,当然了,记住这个时间,因为,到了搬迁集群那一天都要用这个时间去恢复的。
可以显而易见的看到push的内容,push的内容其实很容易看到的。那我们先去看一下push的东西?
好。
1.push的sh脚本。
移除点击此处添加图片说明文字
其实到了这一步,push项目,将hive平台数据同步到了前台的mongo库了。
/usr/bin/python /etl/tools/etl-python/push/push_detail_statistics_bckdcnt.py $yesday_date $yesday_date
/usr/bin/python /etl/tools/etl-python/push/push_detail_statistics_deploy.py $yesday_date $yesday_date
cd /etl/tools/etl-python/push;/opt/cloudera/parcels/CDH/lib/hadoop/bin/hadoop jar /home/OTAtest/ToMongo-0.0.1-SNAPSHOT-jar-with-dependencies.jar push_detail_statistics_bckdcnt $yesday_date $yesday_date > ./hive2Mongo.log
cd /etl/tools/etl-python/push;/opt/cloudera/parcels/CDH/lib/hadoop/bin/hadoop jar /home/OTAtest/ToMongo-0.0.1-SNAPSHOT-jar-with-dependencies.jar push_detail_statistics_deploy $yesday_date $yesday_date > ./hive2Mongo.log
分别针对推送部署的和静默下载统计的。这个如果要重新跑很好改的,就是把后面的时间改掉么拉倒了。说道这里等下又要去弄了,因为,8好的push数据又重复了,稍后还要去弄一下。
2.上面所提到的每个脚本都需要重新搞的。
移除点击此处添加图片说明文字
又看到了老朋友 ,给入开始时间和结束时间了,这种就比较简单了,我在启动python脚本的时候,直接给入时间即可。
好了,大致的,服务器集群搬迁之后的恢复情况这里就大致写这么点儿,后面会有详细的方案,到底是恢复日期手动写参数,还是改写crontab时间。我们还是要等开会的。接下来,先去解决问题吧。
服务器搬迁清单需要启动任务以及恢复办法相关推荐
- win2003服务器360修复漏洞打不开网页,WIN2003服务器出现HookPort 服务启动失败的解决办法!...
[全站通告]如需人工一对一付费服务(业务),请加微信 2589053300 进行沟通处理-非诚勿扰 问题描述:Win2003系统每次开机启动时都弹出个对话框报HookPort 服务启动失败,很多网友都 ...
- 服务器搬迁之后的准备工作和应对
服务器搬迁后不是简单能连接上服务器就可以了,还有许多的事情需要考虑,否则服务器不可用还是白搭. 我大体碰到了如下的一些问题,也能够反应出来对于系统的各种潜在隐患. 1 批量检测服务器的可用状态 如 ...
- IIS5.1错误,启动时WEB服务提示:服务器没有及时响应启动或控制请求 之终极解决方案。...
症状描述:昨天我的iis突然不能测试本地网站了,默认网站显示"已停止",于是点击"启动",结果弹出错误提示对话框"服务器没有及时响应启动或控制请求 & ...
- 服务器不显示u盘,服务器不读u盘启动
服务器不读u盘启动 内容精选 换一换 介绍使用Atlas 200 DK前需要准备的配件及开发服务器.Atlas 200 DK使用需要用户提前自购如表1所示配件.准备一个操作系统为Ubuntu X86架 ...
- mysql意外关机_MySQL服务器意外关机-无法启动多实例
尝试启动mysql 服务,失败 [root@db02 ~]# /data/3306/mysql start MySQL is running... [root@db02 ~]# ps -ef|grep ...
- 服务器搬迁会对网站造成哪些影响?
服务器搬迁是对服务器的整体移动,由于种种原因,比如服务器老化,地理位置不合适或空间放不下等,可能导致服务器搬迁的需求.在服务器搬迁的过程中,操作人员需要将服务器中的所有数据和程序全都进行备份,然后将服 ...
- u盘能不能给联想服务器做系统盘,联想服务器从u盘启动
联想服务器从u盘启动 内容精选 换一换 Atlas 200 DK使用需要用户提前自购如表1所示配件.准备一个操作系统为Ubuntu X86架构的服务器,用途如下:SD卡制作时,读卡器或者Atlas 2 ...
- 常见服务器小机型号,小机服务器 配置清单
小机服务器 配置清单 内容精选 换一换 Linux操作系统XEN实例变更为KVM实例前,必须已完成必要的驱动安装和配置.本节操作指导您使用自动化脚本的方式为Linux云服务器安装驱动.配置磁盘自动挂载 ...
- 华为服务器更改从系统盘启动不了,华为服务器bios设置u盘启动
华为服务器bios设置u盘启动 内容精选 换一换 主机迁移服务是一种P2V/V2V迁移服务,可以帮您把X86物理服务器或者私有云.公有云平台上的虚拟机迁移到华为云弹性云服务器上,从而帮助您轻松地把服务 ...
- ubuntu+终端不能启动mysql数据库_强制重启Ubuntu服务器后Mysql无法启动
本文将为您描述强制重启Ubuntu服务器后Mysql无法启动,具体完成步骤: 强制重启服务器后启动mysql不断报错误"code=exited","failed" ...
最新文章
- nginx 反向代理,动静态请求分离,proxy_cache缓存及缓存清除
- oracle查看执行最慢与查询次数最多的sql语句及其执行速度很慢的问题分析
- Java 中removelinked_Java LinkedHashSet remove()用法及代码示例
- python xml转换键值对_Python 提取dict转换为xml/json/table并输出
- 【HTML 初学】2、HTML属性
- Exponential notation 思维题
- 功能表单之评星、进度条、颜色选择器的使用——JEPLUS软件快速开发平台
- 知云文献翻译_研究生必备的文献翻译软件——知云文献翻译
- linux下 oracle怎么导入dmp文件
- mysql中exec语句_SQL语句-exec执行
- html网页什么样的字体最好看,css设置各种中文字体样式代码
- w13scan 扫描器的安装及应用
- Perl函数及参数介绍
- python支持使用字典的键作为下标,Python 支持使用字典的“键”作为下标来访问字典中的值。...
- 嵌入式应用开发在线图书网址
- 传奇人物、NPC、怪物的头顶封号素材(顶戴花翎功能)添加教程
- 线性代数的本质--对线性空间、向量和矩阵的直觉描述
- Flutter For Web入门
- MATLAB光谱特征波长提取,一种光谱特征波长的提取方法
- 【stm32】手把手用cubemx配置血氧传感器(MAX30102)
热门文章
- 使用浏览器查看UserAgent
- 男生种草潮流社区edge(嘿市),会是男生的小红书吗?
- 【Uly】微软产品开发中的“战争与和平”
- 药品名自动归类机器人(化药_中成药_中药材)
- 《项目》 之 ESP8266 心知天气 + 时钟 + WS2812点阵屏 + B站粉丝计数
- java 水晶报表_水晶报表-crystal report
- ue4 rootmotion动画、模型导入使用(注)
- 工业物联网解决方案,工业物联网原创监控平台如何搭建
- ubuntu /home/路径下.cache下清理
- 2012年度总结:内心宁静的2012