数据技术嘉年华等你来

活动预告:本周五,周六,北京市东三环中路61号富力万丽酒店,相聚数据技术嘉年华,(99元票务)免费购票倒计时,点击查看大会详情。

周彦伟老师带来主题“ArkControl实现自动化运维体系建设”,敬请期待~

点击“阅读原文”或者扫描下图二维码注册购票,即将售罄,赶快参与鸭!错过今年,再等一年!前一百名签到者还有精美礼品相送哦。

周彦伟,中国计算机行业协会开源数据库专业委员会会长、源数据库论坛(ODF)发起人,中国MySQL用户组(ACMUG)创始人之一兼主席,出版《MySQL运维内参》被业内从业者视为MySQL面试宝典,他是全球六个MySQL方向的 Oracle ACED之一,2018年创办极数云舟,提供MySQL技术产品和顾问服务。

此次大会周老师分享的主题是“ArkControl实现自动化运维体系建设”,敬请期待~~

摘要

本次分享的是如何使用ARkcontrol来搭建mysql的运维体系,从功能、架构以及安装内容上来详细介绍ARkcontrol。

初识MySQL

数据库特别是mySQL这样不是很成熟化的商业数据库,使用起来其实并不方便,这也是为什么很多互联网公司,像腾讯或者美团都有专门的团队DBA去支持最后的运维工作。

MySQL运维首先要搞定的是安装部署这块,对于一般开发者来说如果不专门抽时间学几个小时或者学几天的话一般很难完善的部署mysql的相关服务。接着在实例或者集群增多之后,需要对它进行管理,包括整个的集群拓扑关系,切换关系。剩下的是所有的做数据库都很关注的高频切换,能够在数据库出问题的时候及时切走这点也很重要。最后是一些辅助的东西,包括监控告警,备份恢复,数据迁移,性能优化,审核和审计,常规的系统巡检。对于涉及到金融或者对数据比较敏感的公司,审核和审计是重中之重。

ArkControl

我在创业的时候就在想我们要做些什么样的东西才能满足大多数人的需求,给大家带来一些实惠。让数据库在更广的范围推广开来,能够被很轻松的去使用。最终我们做了一款叫ArkControl的产品,他是一个云管平台,社区版可以免费下载使用,可以一键实现一个比较全面的mysql运维体系,不用花费太多成本就能实现一些数据库运维的基本功能,至少不用再通过命令发去安装mysql或者mysql集群。

这个产品的目标用户不是像美团这样的大企业,而是那些用到了mysql,但是没有DBA或者DBA资源不是很丰富的公司。

根据后续的发展,我们还会支持更多的NewSQL、NoSQL以及大数据体系,比方马上要支持的Redis,在数据层面,Redis和mysql是使用者和需求最多的,一个是缓存,一个是数据库。

另外在管理数据库的过程中,又出现了2个需求,一个是数据的异构同步,一般的企业都会同时使用多种数据库,比如用Redis做缓存,用大数据系统存数据分析,正常情况下会以OLTP的mysql数据库作为数据的基准,以供缓存使用或者大数据分析。类似这种异构实时同步,目前实际上没有特别好的工具或者是产品来支持这样的功能。第二个需求是混合云数据库的管理,这块我们也已经支持。

AkeControl架构体系

上图是整个AkeControl在管理数据库层面需要了解和支持的功能,以及要处理的处理的需求点。可能看起来比较复杂,但是解析出来其实还蛮简单,核心在于数据库集群。

要想用好一个mysql集群,首先要有一个mysql的中间件作为接入层访问到不同的集群,以业务访问和系统的架构分离,这样的话就可以在底层更轻松的管理数据库。线上数据库的监控方面,我们做了一个分布式的类似于Redis的哨兵,然后用投票的机制来解决数据库判断是否存活的问题,更准确更高效。

最左侧从主机管理到下面的审核审计这部分展示的是AkrContro能提供的功能,这些都是为了满主开发者对数据库运维的需求。

其中就又刚才提到的数据异构传输,我们有一个专门的数据传输服务用来做mysql到其他数据库的异构操作,由此实现底层数据的全线打通,轻松将热点或者是热数据传输到不同的系统中,做实时的分析。

还有很重要的一块,也是今后我们发展的重点——智能运维,包括数据库的智能优化,智能的诊断和巡检。实现逐步的从人工的运维转化为智能运维,类似最优化接口或最优化配置等功能。

AkrControl安装了什么

接下来简单介绍一些AkrControl都安装了些什么,这里面包含了几个部分,首先是一个基本的web页面,用来做前端展示以及一些操作的输入输出。还有一个用GO写的Akr-service,用于数据的调度,相当于web的control层。然后是Akr-agent,它被装所有需要管理的服务器上,负责去收集数据库的信息,主机的信息,包括接受中控传输过来的安装命令卸载命令等,相当于一个远程的操作的代理。

再接下来是存储,一个mysql,另外两个是ElasticSearch和Grafana,它们是为了存储监控数据的,我们会用ES收集监控的信息,然后用Grafana展示,目前是这么计划的,后续可能会将Grafana替换成我们自己的web层。

最后还装了Arkit-Service和Arkgate-Service,Arkit-Service用来做审核的,Arkgate-Service做数据传输。

上图展示的是部署AkrControl所需的配置,最小配置只用两台机器,一个配置库和一个备份数据存放。下方是推荐配置,更安全一些。

过一段时间,最小配置可能只需一台就够了,实现最小安装,在笔记本上也能体验到。现在还在优化中,不过应该是很快就会发布。

(后续为相关部署界面介绍,请观看是视频最后5分钟)视频地址:http://t.cn/EAZ6zVc

内容来源:IT大咖说

请实时关注2018数据技术嘉年华,更多专家将更多的技术干货面对面分享给屏幕前的你!


数据技术嘉年华大礼包

在本届数据技术嘉年华大会上,您不仅可以获得行业技术大礼包,我们在现场为技术爱好者们准备了抽奖环节,主办方以及各大赞助伙伴为大家准备了多份精美大礼包,每个礼包中包含...

  • 青云——精美限量纪念T恤

  • 云和恩墨——限量纪念电脑内胆包

  • 云和恩墨——最新Oracle 18c 体系架构图

  • PingCAP——健身斜跨帆布包

  • 至顶网——精美玩偶

  • 戴尔——马拉松纪念款折叠双肩包

  • 创业邦——2018年会价值588门票1张

  • 容联——2018商务电脑手提包

  • 易捷行云——运动款纪念双肩包

  • 华章——2018珍藏版技术图书

  • 等等

支付宝“锦鲤”活动仅仅出现了一个“信小呆”,本届数据技术嘉年华现场将出现多个“信小呆”,以上只是礼包中部分奖品,小编已经迫不及待想要更多的人知道这个福利了,动动手指,转发出去,携身边技术爱好者一起来享用这场技术盛宴,最后“满载而归” 吧!

点击“原文链接”注册购票哦,购票过程中有任何问题,可加小助手微信:Enmoedu05。

2018数据技术嘉年华等你来!

温馨提示:此次数据技术嘉年华IT大咖说将作为媒体支持,主会场和分会场一将进行线上同步直播,不能来现场的爱好者们请实时关注:(复制链接浏览器中打开)

https://www.itdks.com/eventlist/detail/2798


近期文章

删了库之后,不要着急跑路

一道面试题看数据库性能和安全的方方面面

Percona发布XtraBackup for MySQL 8.0

独立发布的Oracle严重CVE-2018-3110公告

Oracle宣布在云上正式上线 自治事务处理数据库

为什么看了那么多灾难,还是过不好备份这一关?

不信你不来!周老师带你用ArkControl实现自动化运维体系建设相关推荐

  1. 阿里云周宇:神龙计算平台智能运维体系建设

    嘉宾 | 周宇   整理 | 吴林锋 出品 | CSDN云原生 2022年4月12日,在CSDN云原生系列在线峰会第1期"SRE与智能运维峰会"上,阿里云高级技术专家.神龙计算平台 ...

  2. 周老师,李记者,朱老师

    周老师,李记者,朱老师 周老师 周老师年底要去美国了,佐治亚,研究分布式系统. 周老师为人稳重成熟,我长期误认为他比我要年长,结果后来知道还比我小一岁. 他非常经常充满感情地鼓励或批评同学们,琐碎之处 ...

  3. 罗杨老师带你了解谷歌编程之夏(GSoC)活动全流程

    罗杨老师带你了解谷歌编程之夏(GSoC)活动全流程 为了帮助同学们更好地参与开源,Casbin 决定做一期访谈节目,由小编作为一名开源初学者,用访谈的形式与北京大学工学博士.Casbin作者.Npca ...

  4. axure8 事件改变样式_【Petrel老师带你玩转Axure 8(二)】Axure部件样式与页面样式管理...

    原标题:[Petrel老师带你玩转Axure 8(二)]Axure部件样式与页面样式管理 作者:Petrel(UXRen社区Axure金牌讲师,资深交互设计师) 本文长度为1300字,建议阅读4分钟 ...

  5. 【逗老师带你学IT】PRTG安装教程-部署简单功能强大的监控软件

    一.PRTG简介 个人总结PRTG的优点: 1.脑残化部署,Windows下直接双击安装,剩下的全靠点点点. 2.脑残化使用,全程点点点即可完成添加加设备.加监控点. 3.强大的性能,支持数万个传感器 ...

  6. 【逗老师带你学IT】Kiwi Syslog转存MySQL数据库

    本文介绍如何利用Kiwi Syslog将日志转存到MySQL数据库. 关于如何搭建Kiwi Syslog日志服务器,请参考: [逗老师带你学IT]Kiwi Syslog Server安装和配置教程 [ ...

  7. 【逗老师带你学IT】PRTG获取HUAWEI FusionServer iBMC传感器状态

    本文介绍如何使PRTG获取HUAWEI FusionServer iBMC传感器状态.以及衍生出如何通过ipmi通用协议监控所有服务器的带外管理状态. 本文主要涉及的技术点: 1.服务器ipmi命令行 ...

  8. 【逗老师带你学IT】PRTG监控通过Python+Modbus RTU获取温湿度传感器数据

    前文[逗老师带你学IT]PRTG监控通过Python+TCP Modbus获取温湿度传感器数据中我们讲了如何通过Python读取支持TCP Modbus的传感器数据.本章我们讲解下如何读取Modbus ...

  9. 【逗老师带你学IT】职场数据中心异地出口容灾,H3C的IP上一跳保持技术

    本文介绍,如何通过IP上一跳保持的方式,使多个城市的公网出口可以同时为一台服务器提供DNAT映射,并确保回包路由正确. 目录 一.需求背景和拓扑 二.入站DNAT(Destination Networ ...

最新文章

  1. 带你感受小而美的看板协作工具Leangoo的魅力
  2. 云原生时代,CNStack 如何解决企业数字化转型难题?
  3. [云炬创业基础笔记] 第四章测试2
  4. php利用openssl实现RSA非对称加密签名
  5. Struts1.x的架构一个简图
  6. 逻辑回归的通俗解释 逻辑回归的定位
  7. 文件上传限制文件类型
  8. 计算机设备的存放,哪一种设备不能用于长期保存计算机数据
  9. 不格式化 删除内存卡上的顽固文件(PC套件操作失败 文件无法删除)
  10. 2019426 SPSS入门学习
  11. Matlab 积分相关例题
  12. ZZ 自制低成本3D激光扫描测距仪(3D激光雷达),第二部分
  13. java理论_java入门——基础理论
  14. Python技术项目实践
  15. 嵌入式系统硬件体系设计(一)
  16. Jfrog Artifactory安装及备份恢复搭建
  17. SpringMVC @ResponseBody在IE8变下载
  18. VM虚拟机安装的CENTOS7系统IP自动变化的问题解决
  19. android按钮点击音效
  20. ROS-RouterOS hAP ac2+usb 4G上网卡+小米新推的无线上网卡是绝配

热门文章

  1. devops最佳实践_DevOps最佳实践如何改善团队动力
  2. 高效pycharm使用技巧_您是否正在使用这种高效的采访技巧?
  3. eff java_Perl 6,EFF的阅读和观看列表以及更多开源新闻
  4. 开源 非开源_在开源中吃我们自己的狗粮
  5. (12)css—float浮动样式
  6. 微信小程序自定义组件(二)
  7. Bootstrap3 工具提示插件的选项
  8. CSS IE6躲猫猫Bug
  9. python if else语句判断输入的数字_Python if else条件控制
  10. 针对视觉位姿估计特征点优化问题的详细研究