java监听mysql某张表的insert操作_MySql轻松入门系列————第一站 从源码角度轻松认识mysql整体框架图
一:背景
1. 讲故事
最近看各大技术社区,不管是知乎,掘金,博客园,csdn基本上看不到有小伙伴分享sqlserver类的文章,看样子这些年sqlserver没落了,已经后继无人了,再写sqlserver是不可能再写了,这辈子都不会写了,只能靠技术输出mysql维持生活这样子。
二:了解架构图
mysql最大的好处就是开源, 手握百万源码,有什么问题搞不定呢? 这一点要比sqlserver爽多了,不用再dbcc捣来捣去。
1. 从架构图入手
大家都知道做/装修房子都要有一张图纸,其实软件也是一样,只要有了这么一张图纸,大方向就定下来了,再深入到细节也不会乱了方向,然后给大家看一下我自己画的架构图,画的不对请轻拍。
其实SqlServer,Oracle,MySql架构都大同小异,MySql的鲜明特点就是存储引擎做成了插拔式,这就牛逼了,现行最常用的是InnoDB,这就让我有了一个想法,有一套业务准备用 InMemory 模式跑一下,厉害了~
2. 功能点介绍
MySql其实就两大块,一块是MySql Server层,一块就是Storage Engines层。
<1> Client
不同语言的sdk遵守mysql协议就可以与mysqld进行互通。
<2> Connection/Thread Pool
MySql使用C++编写,Connection是非常宝贵的,在初始化的时候维护一个池。
<3> SqlInterface,Parse,Optimizer,Cache
对sql处理,解析,优化,缓存等处理和过滤模块,了解了解即可。
<4> Storage Engines
负责存储的模块,官方,第三方,甚至是你自己都可以自定义实现这个数据存储,这就把生态做起来了, 。
三: 源码分析
关于怎么去下载mysql源码,这里就不说了,大家自己去官网捣鼓捣鼓哈,本系列使用经典的 mysql 5.7.14
版本。
1. 了解mysql是如何启动监听的
手握百万行源码,怎么找入口函数呢??? ,其实很简单,在mysqld进程上生成一个dump文件,然后看它的托管堆不就好啦。。。
从图中可以看到,入口函数就是 mysqld!mysqld_main+0x227
中的 mysqld_main
, 接下来就可以在源码中全文检索下。
<1> mysqld_main 入口函数 => sql/main.cc
extern int mysqld_main(int argc, char **argv);int main(int argc, char **argv)
{return mysqld_main(argc, argv);
}
这里大家可以用visualstudio打开C++源码,使用查看定义功能,非常好用。
<2> 创建监听
int mysqld_main(int argc, char **argv)
{//创建服务监听线程handle_connections_sockets();
}void handle_connections_sockets()
{//监听连接new_sock= mysql_socket_accept(key_socket_client_connection, sock,(struct sockaddr *)(&cAddr), &length);if (mysql_socket_getfd(sock) == mysql_socket_getfd(unix_sock))thd->security_ctx->set_host((char*) my_localhost);//创建连接create_new_thread(thd);
}//创建新线程处理处理用户连接
static void create_new_thread(THD *thd){thd->thread_id= thd->variables.pseudo_thread_id= thread_id++;//线程进了线程调度器MYSQL_CALLBACK(thread_scheduler, add_connection, (thd));
}
至此mysql就开启了一个线程对 3306
端口进行监控,等待客户端请求触发 add_connection
回调。
2. 理解mysql是如何处理sql请求
这里我以Insert操作为例稍微解剖下处理流程:
当用户有请求sql过来之后,就会触发 thread_scheduler
的回调函数add_connection
。
static scheduler_functions one_thread_per_connection_scheduler_functions=
{0, // max_threadsNULL, // initinit_new_connection_handler_thread, // init_new_connection_threadcreate_thread_to_handle_connection, // add_connectionNULL, // thd_wait_beginNULL, // thd_wait_endNULL, // post_kill_notificationone_thread_per_connection_end, // end_threadNULL, // end
};
从 scheduler_functions
中可以看到,add_connection 对应了 create_thread_to_handle_connection
,也就是请求来了会触发这个函数,从名字也可以看出,用一个线程处理一个用户连接。
<1> 客户端请求被 create_thread_to_handle_connection 接管及调用栈追踪
void create_thread_to_handle_connection(THD *thd)
{if ((error= mysql_thread_create(key_thread_one_connection, &thd->real_id, &connection_attrib,handle_one_connection,(void*) thd))){}
}
//触发回调函数 handle_one_connection
pthread_handler_t handle_one_connection(void *arg)
{do_handle_one_connection(thd);
}
//继续处理
void do_handle_one_connection(THD *thd_arg){while (thd_is_connection_alive(thd)){mysql_audit_release(thd);if (do_command(thd)) break; //这里的 do_command 继续处理}
}
//继续分发
bool do_command(THD *thd)
{return_value= dispatch_command(command, thd, packet+1, (uint) (packet_length-1));
}
bool dispatch_command(enum enum_server_command command, THD *thd, char* packet, uint packet_length)
{switch (command) {case COM_INIT_DB: .... break;...case COM_QUERY: //查询语句: insert xxxxmysql_parse(thd, thd->query(), thd->query_length(), &parser_state); //sql解析break;}
}
//sql解析模块
void mysql_parse(THD *thd, char *rawbuf, uint length, Parser_state *parser_state)
{error= mysql_execute_command(thd);
}
<2> 到这里它的Parse,Optimizer,Cache都追完了,接下来看sql的CURD类型,继续追。。。
//继续执行
int mysql_execute_command(THD *thd)
{switch (lex->sql_command) {case SQLCOM_SELECT: res= execute_sqlcom_select(thd, all_tables); break;//这个 insert 就是我要追的case SQLCOM_INSERT: res= mysql_insert(thd, all_tables, lex->field_list, lex->many_values,lex->update_list, lex->value_list,lex->duplicates, lex->ignore);}
}
//insert插入操作处理
bool mysql_insert(THD *thd,TABLE_LIST *table_list,List<Item> &fields, List<List_item> &values_list,List<Item> &update_fields, List<Item> &update_values, enum_duplicates duplic, bool ignore)
{while ((values= its++)){error= write_record(thd, table, &info, &update);}
}
//写入记录
int write_record(THD *thd, TABLE *table, COPY_INFO *info, COPY_INFO *update)
{if (duplicate_handling == DUP_REPLACE || duplicate_handling == DUP_UPDATE){// ha_write_row 重点是这个函数while ((error=table->file->ha_write_row(table->record[0]))){....}}
}
可以看到,调用链还是挺深的,追到 ha_write_row
方法基本上算是追到头了,再往下的话就是 MySql Server
给 Storage Engine
提供的接口实现了,不信的话继续看呗。。。
<3> 继续挖 ha_write_row
int handler::ha_write_row(uchar *buf)
{MYSQL_TABLE_IO_WAIT(m_psi, PSI_TABLE_WRITE_ROW, MAX_KEY, 0,{ error= write_row(buf); })
}//这是一个虚方法
virtual int write_row(uchar *buf __attribute__((unused)))
{return HA_ERR_WRONG_COMMAND;
}
看到没有,write_row
是个虚方法,也就是给底层方法实现的,在这里就是给各大Storage Engines
的哈。
3. 调用链图
这么多方法,看起来有点懵懵的吧,我来画一张图,帮助大家理解下这个调用堆栈。
三:总结
大家一定要熟读架构图,有了架构图从源码中找信息就方便多了,总之学习mysql成就感还是满满的 。
java监听mysql某张表的insert操作_MySql轻松入门系列————第一站 从源码角度轻松认识mysql整体框架图相关推荐
- mysql command line client 目标不对_MySql轻松入门系列-第一站 从源码角度轻松认识mysql整体框架图...
一:背景 1. 讲故事 最近看各大技术社区,不管是知乎,掘金,博客园,csdn基本上看不到有小伙伴分享sqlserver类的文章,看样子这些年sqlserver没落了,已经后继无人了,再写sqlser ...
- MySql轻松入门系列——第一站 从源码角度轻松认识mysql整体框架图
一:背景 1. 讲故事 最近看各大技术社区,不管是知乎,掘金,博客园,csdn基本上看不到有小伙伴分享sqlserver类的文章,看样子这些年sqlserver没落了,已经后继无人了,再写sqlser ...
- 源码 连接mysql_MySql轻松入门系列————第一站 从源码角度轻松认识mysql整体框架图...
一:背景 1. 讲故事 最近看各大技术社区,不管是知乎,掘金,博客园,csdn基本上看不到有小伙伴分享sqlserver类的文章,看样子这些年sqlserver没落了,已经后继无人了,再写sqlser ...
- mysql threads create_MySql轻松入门系列——第一站 从源码角度轻松认识mysql整体框架图...
一:背景 1. 讲故事 最近看各大技术社区,不管是知乎,掘金,博客园,csdn基本上看不到有小伙伴分享sqlserver类的文章,看样子这些年sqlserver没落了,已经后继无人了,再写sqlser ...
- 尖峰 mysql 源码方向_MySql轻松入门系列————第一站 从源码角度轻松认识mysql整体框架图...
一:背景 1. 讲故事 最近看各大技术社区,不管是知乎,掘金,博客园,csdn基本上看不到有小伙伴分享sqlserver类的文章,看样子这些年sqlserver没落了,已经后继无人了,再写sqlser ...
- mysql源码_MySql轻松入门系列——第一站 从源码角度轻松认识mysql整体框架图
一:背景 1. 讲故事 最近看各大技术社区,不管是知乎,掘金,博客园,csdn基本上看不到有小伙伴分享sqlserver类的文章,看来在国内大环境下是不怎么流行了,看样子我再写sqlserver是不可 ...
- mysql教程源码_MySql轻松入门系列————第一站 从源码角度轻松认识mysql整体框架图...
一:背景 1. 讲故事 最近看各大技术社区,不管是知乎,掘金,博客园,csdn基本上看不到有小伙伴分享sqlserver类的文章,看样子这些年sqlserver没落了,已经后继无人了,再写sqlser ...
- mysql一张表可以用吗_MySQL表操作
一.存储引擎 不同的数据应该有不同的处理机制 mysql存储引擎: Innodb:默认的存储引擎,查询速度较myisam慢,但是更安全 myisam:mysql老版本用的存储引擎 memory:内存引 ...
- visual MySQL 教程_MySql轻松入门系列——第二站 使用visual studio 对mysql进行源码级调试...
一:背景 1. 讲故事 上一篇说了mysql的架构图,很多同学反馈说不过瘾,毕竟还是听我讲故事,那这篇就来说一说怎么利用visual studio 对 mysql进行源码级调试,毕竟源码面前,不谈隐私 ...
最新文章
- linux docker安装mysql_Linux-docker安装mysql
- 【Flutter】监听滚动动作 控制组件 透明度渐变 ( 移除顶部状态栏空白 | 帧布局组件 | 透明度组件 | 监听滚动组件 )
- Linux 查看进程命令
- python学习笔记(15)循环设计
- html5——DOM扩展
- git log 你学废了吗?
- 搭建ceph单节点对象存储服务器
- delphi 发送网络消息_《新手学习ISO网络模型》(1)如何直观理解物理层?
- Android 系统 (79)---Android应用程序安装过程解析
- 剑指offer--面试题10
- Matlab实现圆孔夫琅和费衍射
- 在线社交网络的影响力最大化算法
- nc文件处理学习资料
- Pr入门系列之十五:校色与调色
- 安卓中Paint与Canvas用法
- 稳压二极管有什么特性?稳压二极管的特点
- 十五天学会Autodesk Inventor,看完这一系列就够了(十一),放样和螺旋扫掠(绘弹簧)
- 永磁同步电机直接转矩控制(PMSM-DTC)simulink仿真
- android电视自动关机,android实现自动关机的具体方法
- windows读写linux文件,【转载】在Windows下使用Ext2Fsd极速读写Linux硬盘
热门文章
- sigv linux 信号,LINUX 信号处理
- WebKit 内核浏览器 initKeyboardEvent 函数原型
- 火车在提速,生活在加速,快节奏的生活让人们逐渐失去了驻足思考的能力,人们好像已经习惯抱团去做某一件事情,完全不顾这件事情到底适合不适合自己,我在想他们总...
- 表格存储TableStore2.0重磅发布,提供更强大数据管理能力
- java基础---对象锁和类锁的区别
- 通过样式调整input 中password text默认长度
- Android 获取网络错误
- HDU4025 Equation of XOR [二分+状态压缩]
- CYQ.Data 数据框架 加快开源速度 发布V1.5.5版本源码
- Linux RedHat 5.2 mySQL和Apache协同