作者 | 马超,CSDN博客专家,金融科技从业者
来源 | CSDN博客

7月12日一款叫做TDengine的时序数据库项目在GitHub上开源了,这个项目一经发布就稳稳占据了GitHub排行榜的C位,目前TdEngine已经累积了5000多个star,并且连续一周排在上升榜首位。而且你要知道TdEngine的开发语言并不是火热的Python或JAVA,而是C语言。C语言无巧可取,虽见功夫,但是代码比较难读,能引发如此的关注绝对堪称奇迹,在我印象中即使是Mysql也没有达到如此的热度。

相信很多人也和笔者一样,是通过《比hadoop快至少10 倍的物联网大数据平台,我把它开源》的刷屏文才了解到陶老师与TdEngine的,当看到这位50岁的IT老兵老兵,依旧奋斗在编程一线,为TDengine开发贡献3万行代码时候,我就立刻四处向朋友打听,并最终要了陶老师的微信,做为一名80后程序员,我近不急待的想和陶老师直接沟通,想从他身上找到保持编程水平的秘决。

大神面对面:这才是10倍程序员该有的样子

2008年的时候笔者还是CSDN论坛WINDOWS MOBILE版的版主,从事手机导航软件的开发工作,而在彼时陶老师也创办了和信公司,并亲自开发了WindowsMobile版和信客户端,相同的开发平台经历也让我们迅速的拉进了彼此的距离。

在使用TdEngine的过程中我发现了两个小问题,一是数据库用户密码明文存放,二是数据文件权限设置不合理。让我十分震惊的是,这两个问题是我下午在和陶老师聊天时提出的,当晚发布版本就把问题全部解决了。后来沟通得知这些BUG都是陶老师自己动手修改的。我意识到TdEngine的效率应该来自于创始人对于代码的执着与热爱,而不是对员工996式的工作要求

陶老师是真的爱编程,尤其对于代码运行效率有着近乎狂热的追求,我查阅了陶老师近年来的作品,其和信客户端只有18K大小,胎心算法的实现只用了600行代码,而TDengine这样一个数据库项目竟然只需要1.5M安装包就能搞定,在手机APP都动辙上百M的今天,TDengine体量甚至显得有些异类。如果没有深厚的功底和坚定的信念是绝对无法达到如此高度的。我想陶老师应该就是传说中10倍程序员的典范吧。

10倍程序员对于他周围亲友的影响也是非常巨大的,当我打开TdEngine的官网(https://www.taosdata.com/cn/),其简洁明快的风格,一目了然的配图,实在让我无法把这一切和一位年近半百的老派IT士人联系到一起,当然后来我和陶老师聊到这件事的时候才知道,整个网站从设计、前端、后台、浏览器适配、数据分析到搜索引擎优化,都是由陶老师的儿子,一位刚刚高中毕业的00后操刀主持的,而且整个网站从无到有只用了三周时间,除了感叹一句后生可畏,由此也可以看出来和10倍程序员并肩作战的也都是10倍程序员,所以it团队的负责人在感叹自己没有18程序员相助时也要反思一下,自己是不是一位10程序员。

TdEngine为什么会火?

传统数据库厂商的问题在于傲慢、自大,他们认为数据是零件,数据库则是各类零件的加中心,很多工序都是为数据的修改准备的,无论修改是否发生加工车间为了保证一致性,都会对流水线上的数据加上各种各样的锁。这些操作浪费了很多时间,而且几乎没有任何轻量级的框架,可供用户选择省略掉这些冗余操作。而且传统厂商为了解决数据库的性能问题不是从底层架构逻辑下手,而是不休止的在应用与数据库之间加入各种像REDIS,NGIX等等代理或者缓存层,这种方式其实是加大了各层级间的性能开销。传统厂商认为自己非常了解数据,但却忘了用户比厂商更加了解自己的数据,天下可谓苦秦久已

而TdEngine是认为数据是信息流,它要做的非常简单,只是数据的录像机而已,信息调阅只要找到对应的录像带即可,这样的设计思路从底层逻辑上决定了td会是一款性能极高的产品。它更加贴合物联网时代的数据模型,而且代码只有10万行的量级,非常适合从从头开始学习。

所以TdEngine精确的找到了数据库市场的细分战场。他可以在相同的硬件条件下达到其它产品10倍的速度,完美解决了很多物联网,量化交易等场景的痛点。

TdEngine代码导读

当笔者打TdEngine的代码时不由眼前一亮,其代码风格及规范性绝对堪称一流,于是我打开了久违的souce insight,,再一次开始了阅读C语言代码的美妙旅程,在这里强烈推荐各位读者也来读一下,绝对堪称享受。

这里将给我启示最大的一段代码其链接在

https://github.com/taosdata/TDengine/blob/master/src/util/src/tsched.c

向大家分享一下。鉴于本文肯定会分享给陶老师,所以估计会有作者亲答的环节:-),以下代码是一个典型的consumer-producer消息传递功能的实现,也就是有多个生产者(producer)生成并不断向队列中传递消息,也有多个消费者(consumer)不断从队列中取消息,而在java等高级语言中类似的功能已经被封装好了,这其实也让程序员无法了解线程间的同步和互斥机制。在正式进入到代码之前我想请大家思考这样的一个,互斥体( mutex)和信号量(semaphore)的使用是如何做到多线程安全的。

先来看结构体设计,具体我已经注释好了:

再来看初始化函数,这里需要特别说明的是,两个信号量的创建,其中emptySem是队列的可写状态,初始化时其值为queueSize,即初始时队列可写,可接受消息长度为队列长度,fullSem是队列的可读状态,初始化时其值为0,即初始时队列不可读。具体代码及我的注释如下:

再来看读消息的taosProcessSchedQueue函数,这个主要逻辑是

1.使用无限循环,只要队列可读即sem_wait(&pSched->fullSem)不再阻塞就继续向下处理

2.在操作msg前,加入互斥体防止msg被误用。

3.读操作完毕后修改fullSlot的值,注意这为避免fullSlot溢出,需要对于queueSize取余。同时退出互斥体。

4.对emptySem进行post操作,即把emptySem的值加1,如emptySem原值为5,读取一个消息后,emptySem的值为6,即可写状态,且能接受的消息数量为6。

具体代码及注释如下:

最后来看写消息的taosScheduleTask函数,其基本逻辑是

1.写队列前先对emptySem进行减1操作,如emptySem原值为1,那么减1后为0,也就是队列已满,必须在读取消息后,即emptySem进行post操作后,队列才能进行可写状态。

2.加入互斥体防止msg被误操作,写入完成后退出互斥体。

3.写队列完成后对fullSem进行加1操作,如fullSem原值为0,那么加1后为1,也就是队列可读,咱们上面介绍的读取taosProcessSchedQueue中
sem_wait(&pSched->fullSem)不再阻塞就继续向下。

5G之后,中国的人工智能发展趋势如何?

https://edu.csdn.net/topic/ai30?utm_source=csdn_bw

当然以上只是TdEngine优美代码的一小部分,而且笔者解读的功力也十分有限,这里再次强烈建议大家下载全部源码仔细学习,定能受益匪浅。

原文:

https://blog.csdn.net/BEYONDMA/article/details/96578186

【End】

 热 文 推 荐 

☞全球 JavaScript 开发者薪酬揭晓,你拖后腿了吗?

☞性能比 GPU 高 100 倍!首款可编程忆阻器 AI 计算机面世

☞中国第一程序员传

☞抢饭碗?这位 05 后开发三款小程序!

☞非科班出身程序员,如何超越科班程序员?

344亿天价罚单也救不了Libra!

面试官问我:你们的数据库是怎么架构的?

☞10分钟学会用Pandas做多层级索引

江湖又现中科大少年班的传说

中国第一程序员,微软得不到他就要毁了他!

点击阅读原文,输入关键词,即可搜索您想要的 CSDN 文章。

你点的每个“在看”,我都认真当成了喜欢

这位 GitHub 冠军项目背后的“老男人”,堪称 10 倍程序员本尊!相关推荐

  1. 这位创造Github冠军项目的老男人,堪称10倍程序员本尊

    7月12日一款叫做TDengine的时序数据库项目在Github上开源了,这个项目一经发布就稳稳占据了Github排行榜的C位,目前TdEngine已经累积了5000多个star,并且连续一周排在上升 ...

  2. 这位创造GitHub冠军项目的“老男人”,堪称10倍程序员本尊

    作者 | 马超,CSDN博客专家,金融科技从业者 来源 | CSDN博客 7月12日一款叫做TDengine的时序数据库项目在GitHub上开源了,这个项目一经发布就稳稳占据了GitHub排行榜的C位 ...

  3. 200行代码为大家解读这个Github冠军项目背后的定时器

    最近几周笔者几篇有关陶建辉老师最新的创业项目-TdEngine代码解读文章(https://blog.csdn.net/BEYONDMA/article/details/97495298和https: ...

  4. GitHub的女装大佬项目迅速蹿红,并引发广大程序员热议!

    来源丨程序IT圈 https://mp.weixin.qq.com/s/agkQn8cAcqE8NKxXRJXDmA 前段时间,一个名叫"Dress"的女装大佬开源项目在GitHu ...

  5. 一位身价10亿程序员的传奇一生

    点击上方"Python大本营",选择"置顶公众号" python大本营  IT人的职业提升平台 他的前半生,值得我们每一个人深思. 在普通人眼里,他寂寂无名,只 ...

  6. 全球最常用密码名单公布:“123456”排第二;谷歌神秘项目曝光:AI写代码,抢程序员饭碗;WSL GA发布|极客头条

    「极客头条」-- 技术人员的新闻圈! CSDN 的读者朋友们早上好哇,「极客头条」来啦,快来看今天都有哪些值得我们技术人关注的重要新闻吧. 整理 | 梦依丹 出品 | CSDN(ID:CSDNnews ...

  7. 一位10年程序员生涯的总结与经验忠告分享

    展望未来,总结过去10年的程序员生涯,给程序员小弟弟小妹妹们的一些总结性忠告 走过的路,回忆起来是那么曲折,把自己的一些心得体会分享给程序员兄弟姐妹们,虽然时代在变化,但是很可能你也会走我已经做过的1 ...

  8. 一般项目中哪里体现了数据结构_优秀程序员都应该学习的数据结构与算法项目(GitHub 开源清单)...

    前言 算法为王. 想学好前端,先练好内功,内功不行,就算招式练的再花哨,终究成不了高手:只有内功深厚者,前端之路才会走得更远. 强烈推荐 GitHub 上值得前端学习的数据结构与算法项目,包含 gif ...

  9. 25 岁的老 Delphi,还值得程序员入手吗?

    Delphi 25岁了!尽管它不再是很多 Windows 开发的明显选择,但它的"长寿"证明了其性能之高.回想起来,为什么 Delphi 当初未能占领 Windows 开发市场的更 ...

最新文章

  1. String All Methods
  2. 博士申请 | 香港科技大学陈浩教授招收AI医疗方向全奖博士/博后/实习生
  3. Spring MVC:使用SimpleUrlHandlerMapping的一个简单例子
  4. changePage() 页面跳转
  5. python爬虫网络请求超时_Python网络爬虫编写5-使用代理,处理异常和超时
  6. c语言期末读程序,C语言期末程序.doc
  7. devsecops automation
  8. Cocos Creator 使用 Android Studio 打包 APK 遇到的坑
  9. python元组是有序还是无序_python-03 元组和字典
  10. win10 安装oracle 11gR2_database(内附下载地址)
  11. 远程协同网络架构photon cloud
  12. WebStorm和VSCode配置
  13. c语言ll 1 语法分析器,LL(1)语法分析器的设计与实现
  14. 粪斗这杆大旗下,注定只是少部分人的盛宴
  15. JavaGUI--模拟QQ聊天界面私聊群聊
  16. WindowsWord 常用快捷键
  17. fresco android 6.0 不支持 gif,Fresco Gif加载优化
  18. 电子计算机按钮说明,电子计算器常用按键功能说明
  19. Android ViewPager 如何判断当前页面是从前一页还是后一页滑动过来
  20. python爬虫论文参考文献格式_Python爬虫进阶必备 | XX文学加密分析实例

热门文章

  1. 在anaconda中为jupyter安装扩展插件
  2. 在Kibana上查看Apache日志
  3. dockerfile COPY
  4. [vscode] 显示空格
  5. centos查看文件修改历史_Linux环境下查看历史操作命令及清除方法
  6. yolov5-detect.py解析与重写
  7. pp-tracking ubuntu 18.04使用GPU推理出现Segmentation fault
  8. Anaconda安装apscheduler库的步骤
  9. 使用Material Design的Flutter应用
  10. Flutter进阶—平台插件