SDCC 2016数据库峰会(深圳站)学习笔记
本文主要查阅了SDCC 2016数据库峰会(深圳站)PPT合集后的学习笔记,在此记录。下面的几个标题是各个PPT的文件标题。
01 金融大数据技术与实战-平安科技-王健宗
- 背景
3月15日,持续七天的围棋“人机世界大战” 落下帷幕,谷歌的人工智能机器人 AlphaGo 以4:1大比分战胜围棋世界冠军李世乭九段。此战成名的智能机器人AlphaGo利用“策略网络(Policy Network)” 和“值网络(Value Network)” 两大核心深度神经网络,分析棋盘局面,在可控计算量的范围内判断每步下子策略的优劣。
- 问题的提出
人工智能下一个进军和颠覆是金融界?智能投顾,是虚拟机器人基于投资者自身的理财需求,通过算法和产品来完成以往人工提供的理财顾问服务。用户无需掌握太多市场和金融产品知识就可以使用该服务。基于人工智能布局金融大数据,具体形式如下:
相关的概念
深度学习技术(擅长对非结构化数据处理)
卷积神经网络(CNN)是人工神经网络的一种,已成为当前语音分析和图像识别领域的研究热点。它的权值共享网络结构使之更类似于生物神经网络,降低了网络模型的复杂度,减少了权值的数量。
基于卷积神经网络的深度学习技术:包括卷积层(特征提取)和降采样层。可用于图像识别(字符识别、物体识别)和语音识别等。利用图像的空间联系是局部的,我们使每个神经元只感受局部的图像区域,然后在更高层中,将这些感受不同局部的神经元综合起来就可以得到全局的信息。
异构运算体系( HSA) 在计算任务并行性类型基础上, 将具有相同类型的代码段划分到同一子任务中, 然后根据不同并行性类型将各子任务分配到最适合执行它的计算资源上加以执行, 达到使计算任务总的执行时间为最小。
异构计算采用GPU计算,因为GPU具有更强的计算力和更高的带宽。相比于CPU,GPU更多的晶体管都用来做计算而不是做cache和flow control。
深度学习在金融场景中的应用
智能推荐(用户推荐反馈分析、基于深度学习的推荐系统设计、面向高净值客户的精准推荐)
风险控制(金融产品用户欺诈行为模式检测、虚假信息智能过滤、基于用户信用特征的信用评分体系)
智能问答(智能问答机器人的语料库构建、基于深度学习的NLP技术应用、自动问答智能模型搭建)
社交大数据与LBS服务( 个体及群体用户金融行为分析、群体的金融同质性及影响力分析、面向社交群体的LBS服务)
众包
定义:一种分布式的问题解决和生产模式。 问题以公开招标的方式传播给未知的决方案提供者群体。用户(指众包里的“众” )典型地组成在线社区并提交方案。这些最好的方案最后由最先提出问题的一方(众包人, crowdsourcer)所有,并且群“众”中胜出的个人时会被奖励。(此定义来源于“维基百科”)
主要的众包平台:亚马逊Mturk (AMT)、CrowdFlower、Captricity、微差事、DesignCrowd、猪八戒网等。
- 亚马逊Mturk (AMT),具有面向全球,拥有庞大的用户群,任务形式自由多样等优势。但是Worker市场水平参差, 准入门槛较低。
- CrowdFlower,具有专注数据分析细分领域,提供完善的数据众包服务优势。但是服务更新较慢。
- Captricity,针对手写、扫描、打印等多种文本提供识别功能,融合了机器学习技术,提升了众包结果的准确性。但是市场规模仍然较小。
- 微差事,借助稳固的市场和移动众包的核心获得迅速发展,任务形式简单易用, 获得年轻群体的青睐。但是任务发布总量较小。
02-丁奇-SDCC-数据库系统化实战(数据库运维幸福感提升实战)
人物介绍:阿里丁奇 RDS 数据库内核组、 MySQL/PG 源码&运维团队 SQLServer 运维团队
(上海/杭州)
可靠性
- 说说备份
- 一主一备够吗——误操作
- 定时备份够吗——恢复到任意时间点需求
- 备份对不对——备份验证问题
- 恢复过程对不对——新备库验证
- 主备一致性问题
- 备库跟主库一致吗——如何验证、如何修复
- 无法按片修复的时候怎么办——主库备份、备库重做
- 说说备份
可用性
- 备库运行可靠性
- 备库是否正常工作、延迟及解决
- apply 线程的各种错误(1062/1032、myisam表crash, 需要repair、relay解析错误、找不到主库对应binlog)
- 连接闪断问题背景(机器维护/版本升级 总要切换)
- 连接保持解决方案(引入proxy、连接保持、事务外切换)
- 自建库解决方案(应用做异常重连重试、教育开发!)
- 雪崩问题背景(刚刚谁说的重试?一个超时重试引发的血案)
- 自建库解决方案(监控+kill)
- 源码解决方法(select max_statement_time=1000 ….)
- ……
- 备库运行可靠性
稳定性
- 资源隔离(进程间资源隔离、线程间资源隔离、只读库方案)
- 基本监控及基本判断
可诊断性(链路监控、审计日志、审计日志的实现方式)
03-张翼-携程实时计算平台实践分享 Base
人物介绍: 携程的大数据平台负责人,关注大数据架构领域的发展, 对Hadoop,HIVE, HBASE, Spark, Storm等有所研究,致力于大数据架构和业务场景的结合和落地,通过数据产生业务价值。
04-马如悦-palo-201604
Palo:MPP-based Interactive SQL Data Warehousing
- Online Data Serving、
- Palo:大规模并行分析型数据库(OLAP)
- TDB:分布式事务型数据库(NewSQL)
- SimpleDB:高性能(实时+批量) KV数据库
- Elasticsearch:文本型数据查询和分析数据库
05-雷海林-mysql备份原理与在TDSQL中的实践
人物介绍:腾讯 / TEG / 计费平台部。2007年加入腾讯公司,10年以上的Linux后台Server开发经验,之前重点负责高一致性分布式Cache系统的设计开发(HOLD平台),目前是TDSQL的技术负责人。
备份的意义和基本原理
主要用来做数据恢复(错误的SQL业务/数据库本身的Bug/黑客攻击/审计或者测试,回档到指定时间点/DBA睡觉踏实)
备份的基本原理-多引擎的结构。MySQL-server层包括binlog、innodb、其他引擎如MyISAM等、表结构.frm文件
- 备份的基本原理-如何获取数据
- 核心是一致性全量数据+BINLOG位置
- 离线备份
- 停机
- 锁表,FLUSH TABLES WITH READ LOCK
- 在线热备份
- 逻辑备份,select获取一致性数据+BINLOG位置
- 物理备份,拷贝一致性数据文件+BINLOG位置
mysqldump分析
FTWRL锁的分析
逻辑复制的性能优化
xtrabackup原理分析
方案对比和选型建议
TDSQL目前采用的备份方案
总结
根据查阅这些PPT,发现数据库系统包含很多内容,围绕可靠性、可用性、稳定性和可诊断性的目标展开。对于各个企业的数据库相关大牛的分享,他们介绍了如何保证数据库系统的性能以及实现更强大的功能的数据库技术。
SDCC 2016数据库峰会(深圳站)学习笔记相关推荐
- SDCC 2016上海、深圳、成都、杭州回顾,北京站将带来什么?
2016年11月18日-20日,由CSDN重磅打造的年终技术盛会,SDCC 2016中国软件开发者大会将在北京举行,大会面向国内外的中高端技术人员,聚焦最前沿技术及一线的实践经验,从而助力企业的技术升 ...
- TOP20精选议题引领 | K+峰会深圳站圆满收官!
近日,2022K+全球软件研发行业创新峰会-深圳站圆满收官.本届峰会以"技术创新无边界"为主题,共设六大创新分论坛,围绕工程创新.管理创新.产品创新.技术创新.效能创新.工具和平台 ...
- 2014 WOT全球软件技术峰会深圳站
2014 WOT全球软件技术峰会深圳站于11月21日到22日举行. 峰会地址:深圳市金鸡路1号田厦翡翠明珠花园 酒店名称:深圳圣淘沙酒店(翡翠店) http://wot.51cto.com/2014s ...
- 华为云城市峰会深圳站 · 华为云区块链助力金融创新
2019年6月5日,华为云城市峰会深圳站于深圳君悦酒店火热开启,1000多名来自全国各地的开发者和合作伙伴齐聚一堂,会场人声鼎沸,座无虚席,本次峰会聚焦数字经济赋能城市生活,共同探讨云计算在城市.政府 ...
- db4o_8.0对象数据库官方文档翻译_学习笔记三
紧接上篇:db4o_8.0对象数据库官方文档翻译_学习笔记二 3. Object Manager Enterprise Overview(OME视图)即OME插件的使用 If you did not ...
- NCBI SRA数据库使用详解----学习笔记
NCBI SRA数据库使用详解----学习笔记 wxw060709 2019-12-25 15:58:47 1014 收藏 2 分类专栏: 生物信息学 版权 SRA(Sequence ReadAr ...
- 数据库原理及应用学习笔记
在前面先记录一个不错的博客内容http://blog.codinglabs.org/articles/theory-of-mysql-index.html 这时在B站上看的东南大学的视频的学习笔记,主 ...
- linux给数据库重命名,Linux学习笔记:mv移动或文件重命名
mv命令是move的缩写,可以用来移动文件或者将文件改名(move (rename) files),是Linux系统下常用的命令,经常用来备份文件或者目录. 语法:mv 源文件 目标文件 视mv命令中 ...
- SSRS:使用SQL2008教程学习Reporting Services之数据库AdventureWorks2008问题_学习笔记1
首先声明我是菜鸟,刚开始学习Reporting Services.在学习教程中的一点笔记. 从SQL2005开始,微软就提供了强大的Reporting Services功能,的确好用,对于经常需要出复 ...
最新文章
- OpenCV+python:人脸检测
- python实现一个抽象数据结构:栈
- ICMP最典型的应用PING和traceroute
- Leetcode 213. 打家劫舍 II (每日一题 20211009)
- springboot的jsp应该放在哪_在springboot中集成jsp开发
- 快速学习EndNote X7
- 为右键新建菜单添加内容
- java流式api,Java 8 中流式API性能基准测试
- 手动安装lzop压缩工具 - JerryMo06的专栏 - 博客频道 - CSDN.NET
- C++用libcurl通过HTTP以表单的方式Post数据到服务器
- 安全小测试:介绍一个简单web安全知识测试的网站
- 用计算机绘制函数图像结题报告,《几何画板》在高中数学教学中的应用小课题结题报告...
- ESP8285如何做探针盒子
- Oracle:imp导入dmp文件
- Adobe Premiere Pro CC教程笔记
- 使用django框架完成详情页和列表页
- Unity 回合制战斗系统(高级篇)
- 大道至简之九:周期的实质与投资机会
- 这些食物让人越吃越聪明!
- 任正非:管理的本质,就是激发人的欲望
热门文章
- Git学习(一)(2015年11月12日)
- 解决Windows系统崩溃Linux系统却没有任何问题的错误
- security with acl
- 关注信息安全认证培训
- 刷新页面 数组轮播
- python意外缩进引发逻辑错误_如何编写 Python 程序
- java程序设计p75_java语言程序设计实用教程第四讲控制结构.ppt
- ax的范数最大_矩阵方程ax=b的范数约束最小二乘解.pdf
- 天津大学计算机在线作业答案,天大19秋《计算机应用基础》在线作业二【满分答案】...
- android高级编程实操期末机试试题,《网络高级编程》201001机考试题A