【Doris】Apache Doris在网易互娱的应用实践
FE 的主要作用将 SQL 语句转换成 BE 能够认识的 Fragment，如果把 BE 集群当成一个分布式的线程池的话，那么 Fragment 就是线程池中的 Task。从 SQL 文本到分布式物理执行计划，FE 的主要工作需要经过以下几个步骤:
tablet 数：2000w -> 100w
tablet 增长量：15000/TB
3.1.2 实施计划
（1）对于现存的表
扫描集群内所有的表，以分区粒度输出一份完整的数据统计给业务方，并根据每张表的实际情况附上修改建议；
制定治理计划按照由高收益到低收益，优先处理最不合理的库，将元数据管理压力降下来，再逐步按照计划治理所有的库。
因为 Doris 目前不支持按分区级别展示整个库下的数据情况，因此单独开发一个程序进行扫描，伪代码如下所示：
con = DriverManager.getConnection()for db in db_list: con.execute("use %s".format(db))) for table in table_list: con.execute("show create table %s".format(table)) #获取第一个分区的bukcet数 result.append(regrex_extract_bucket(con.next())) con.execute("show partitions from %s".format(table)) 【Doris】Apache Doris在网易互娱的应用实践相关推荐
- 应用实践 | Apache Doris 在网易互娱的应用实践
编者荐语: 网易互娱于 2021 年 4 月引入了 Apache Doris 产品,目前已经发展为多个集群,服务数十个业务,在查询速度及易用性方面也得到了业务的认可,将来会有更多的业务正在往 Dori ...
- 橙汁的面试经验汇总（百度、平安壹钱包、诺瓦、快手、bigo、海信、奇安信、小米、迈瑞医疗、顺丰、网易互娱、多益游戏、京东、穆迪）
百度 二面 1.首先1到2分钟进行一个自我介绍 2.然后介绍一下你最拿手的项目 3.介绍完项目之后,因为涉及到数据库和监控问道如下问题 4.为什么选择zabbix 5.如果你的项目商用,你觉得哪里还可 ...
- 【网易互娱内推】2023届秋招提前批内推码：x8aiNS
网易互娱内推码:x8aiNS 网申时间:7.26-9月中下旬 网申地址:https://game.campus.163.com [网易游戏互娱]OFFER倍加挑战,快GET面试直通卡✅ ‼超多直通岗位 ...
- 【面试题】网易互娱（游戏）2021校园招聘在线笔试 - 服务端开发工程师[螺旋矩阵]
昨晚做网易互娱的笔试,比较尴尬的是只能用C/C++/Java,而本人对C/C++的了解仅限于大一的课程设计(而且一年多没用过C写代码了),Java差不多看得懂代码但是没有系统的学过.无奈最后只能用py ...
- 2022 3.17网易互娱研发岗笔试题锯齿数独题解
题面来自于某nb网友 简单题意 给定3∗33*33∗3的数独,给你固定的区域划分,除了满足基础数独还有满足区域划分的答案. 基础数独就是同行同列都是不同的数,这里的区域就是将3∗33*33∗3的数独划 ...
- 【面试题】网易互娱（游戏）2021校园招聘在线笔试 - 服务端开发工程师[文件系统]
昨晚做网易互娱的笔试,比较尴尬的是只能用C/C++/Java,而本人对C/C++的了解仅限于大一的课程设计(而且一年多没用过C写代码了),Java差不多看得懂代码但是没有系统的学过.无奈最后只能用py ...
- 网易互娱动效设计师 | 游戏动效与美术特效的区别
更多秋招干货,上网易游戏学院app查看!https://game.academy.163.com/ssi/app/?referrer=csdn [作者有话说] "随着游戏动效在游戏项目中的价 ...
- 网易互联网，网易互娱 2021届校招内推开始啦
网易互联网,网易互娱 2021届校招内推均已开启,早投递早面试,欢迎各位加入网易的大家庭 雷火 互娱 互联网是分开招聘的 互不冲突 机会也更大 冲呀- 查进度可以通过私人邮箱:caikeren@cor ...
- AI面试锦囊|网易互娱AI Lab人工智能研究工程师两面分享
©原创作者 | 三金 写在前面 网易经过近20年的飞速发展,现已经跻身全球七大游戏公司之一,旗下拥有游戏行业领先的人工智能实验室--网易互娱AI Lab.该实验室致力于将AI技术应用在游戏中,现网易游 ...
最新文章
- 当OpenCV遇到VS2019时，以前的配置方式翻车了….
- 端到端基于图像的伪激光雷达3D目标检测
- (5.0) Tomcat 8 源码, 初始化 bootstrap
- LeetCode Wiggle Subsequence(动态规划)
- python中scrapy框架_python的scrapy框架
- WebGIS--ArcGIS系列开发五：SDE for Oracle
- Modbus协议栈应用实例之一：Modbus RTU主站应用
- linux主机设备acl,linux上的终端类型、ACL、PAM模块
- 20135115臧文君---实验2
- sql server权限_保护SQL Server审核的访问权限
- iOS汉字转拼音，日韩文字转拼音
- 开好会议有诀窍------(转)
- easyui 常用的属性
- java基础知识总结(经典)_Java基础知识总结（超级经典）（三）
- 高斯牛顿迭代法的原理及实现（经典例子，附C和C++代码，含运行结果）
- Unity 经纬度定位
- 黑马程序员——一些常用类的代码实践
- win10，设定「键盘布局」为【日语键盘（106/109）】【英语键盘（101/102）】
- 二进制与十进制的转换
- 【论文翻译】Mastering the game of Go without human knowledge (无师自通---在不借助人类知识的情况下学会围棋）