基于TensorFolw的人工智能影像诊断平台工作原理解析
文章对TensorFolw人工智能影像诊断平台的工作原理进行了解析,希望这篇文章能够帮助你更好地理解 Tensorflow。
使用人工智能来辅助病理医生对样本进行诊断,不仅能够大幅度提高医师的诊断效率,而且可以减少漏诊,提高诊断准确率。
数字化的病理影像能够观察到组织细胞形态,在最高数字扫描时,文件尺寸达到GB量级,需要利用人工智能和系统工程学的技术去突破这些困难。
在这篇文章当中,我将会从人工智能系统的构建方法角度来入手,举例消化道病理影响辅助系统研发过程中的技术细节。
当然,这是相对陌生的医疗科技领域知识,为了读者能更快的理解和吸收,全篇也会围绕产品经理的角度去解。
一、什么是病理?
病理就是通过分析病人的组织,细胞和体液样本来诊断疾病。
那么,病理对于临床医生提供进一步治疗策略的金指标。
这里有个容易混淆的是AI医学影像,并不是所有都是从CT、X光、B超等分析得出。就拿胃癌筛查来说,它的病理影像通过扫描仪扫描组织放大形成大概1.4GB影像来进行分析判断的。
不同病种的病理来源
病理影像都是与众不同的,这也是技术上的挑战。
那么在进行病理判断之前,我们需要建立一套训练模型,通过医生标注的图像进行增强训练以及数据处理。
二、TENSORFOLW工作原理
我们讲解TensorFolw训练模型时,我们要了解整个的深度学习的流程。
简易工作流程
数据源一般来自医院的PACS、RIS系统等,形成数据队列后进行数据增强图像方向的鲁棒性。
另外,我们要注意扫描仪的倍数,会造成在不同样的倍数情况下图像的鲁棒性。
然后利用TensorBoard来进行模型监控,TensorBoard是一个可视化工具,能够有效地展示Tensorflow在运行过程中的计算图、各种指标随着时间的变化趋势以及训练中使用到的数据信息。
再通过TensorFolw导出(病理)模型交给生产环境推理框架(TensorFolw Serving)进行自动处理。
那tensorfolw serving是怎么工作的呢?
Tensorserving工作流程
tensorfolw serving把病理切片分成坐标标记的小块切分之后把节点让一个map每个输入分片会让一个map任务来处理,默认情况下,以HDFS的一个块的大小(默认为64M)为一个分片,当然我们也可以设置块的大小。
map输出的结果会暂且放在一个环形内存缓冲区中(该缓冲区的大小默认为100M,由io.sort.mb属性控制),当该缓冲区快要溢出时(默认为缓冲区大小的80%,由io.sort.spill.percent属性控制),会在本地文件系统中创建一个溢出文件,将该缓冲区中的数据写入这个文件。在写入磁盘之前,线程首先根据reduce任务的数目将数据划分为相同数目的分区,也就是一个reduce任务对应一个分区的数据。
这样做是为了避免有些reduce任务分配到大量数据,而有些reduce任务却分到很少数据,甚至没有分到数据的尴尬局面。其实分区就是对数据进行hash的过程。
然后对每个分区中的数据进行排序,如果此时设置了Combiner,将排序后的结果进行Combia操作,这样做的目的是让尽可能少的数据写入到磁盘。
MAP与reduce机制再将分区中的数据拷贝给相对应的reduce任务。Reduce会接收到不同map任务传来的数据,并且每个map传来的数据都是有序的。
如果reduce端接受的数据量相当小,则直接存储在内存中(缓冲区大小由mapred.job.shuffle.input.buffer.percent属性控制,表示用作此用途的堆空间的百分比),如果数据量超过了该缓冲区大小的一定比例(由mapred.job.shuffle.merge.percent决定),则对数据合并后溢写到磁盘中。
随着溢写文件的增多,后台线程会将它们合并成一个更大的有序的文件,这样做是为了给后面的合并节省时间。
其实不管在map端还是reduce端,MapReduce都是反复地执行排序,合并操作,现在终于明白了有些人为什么会说:排序是hadoop的灵魂。合并的过程中会产生许多的中间文件(写入磁盘了),但MapReduce会让写入磁盘的数据尽可能地少,并且最后一次合并的结果并没有写入磁盘,而是直接输入到reduce函数。
最后返回数据到后端。
同样的流程可以迁移学习,病理图像有很多相似的地方,腺、息肉、囊肿等等都可以同理应用。
基于TensorFolw的人工智能影像诊断平台工作原理解析相关推荐
- 填谷式无源pfc电路_基于无源填谷电路的PFC工作原理
驱动电源想必大家都不陌生,哪么基于无源填谷电路的PFC工作原理是什么,现在广东正联电源给大家分享相关知识吧!填谷电路"( Valley fill circuit)属于一种新型无源PFC电路, ...
- Retrofit2 工作原理解析(一)
Retrofit2 工作原理解析(一) 概述 Retrofit是square公司开源的一款类型安全的http请求框架,用于Java和Android程序.Retrofit可以说是restful风格的一个 ...
- android传感器原理,Android移动设备中光电传感器的工作原理解析
在移动技术中,传感器是被测量信号输入的首要技术,也是传感器系统中的元件组成部分,它包括载体和电路连接的敏感元件和转换元件,但是传感器系统却是组合某种信息处理能力元件的传感器. Android平台应用的 ...
- 交换机原理_交换机工作原理解析
原文连接:http://www.elecfans.com/dianzichangshi/20171204593673.html 交换机原理 数据传输基于OSI七层模型,而交换机就工作于其第二层,即数据 ...
- MSN,QQ,IP Messenger,飞鸽传书,的工作原理解析
MSN,QQ,飞鸽传书,的工作原理解析 http://apps.hi.baidu.com/share/detail/14190263 关键字:MSN,QQ,飞鸽传书,IP Messenger,传文件, ...
- 【深度学习】谷歌大脑EfficientNet的工作原理解析
[深度学习]谷歌大脑EfficientNet的工作原理解析 文章目录 1 知识点准备1.1 卷积后通道数目是怎么变多的1.2 EfficientNet 2 结构2.1 方式2.2 MBConv卷积块2 ...
- 揭开SAP Fiori编程模型规范里注解的神秘面纱 - @OData.publish工作原理解析
Jerry的前一篇文章 揭开SAP Fiori编程模型规范里注解的神秘面纱 - @ObjectModel.readOnly工作原理解析,给大家分享了@ObjectModel.readOnly这个注解对 ...
- 2 计算机控制器的组成,组合逻辑控制器组成结构及工作原理解析
组合逻辑控制器组成结构及工作原理解析 按照控制信号产生的方式不同,控制器分为微程序控制器和组合逻辑控制器两类 微程序控制器是将全部控制信号存贮在控制存储器中. 优点:控制信号的逻辑设计.实现及改动都较 ...
- 六轴机械臂控制原理图_六轴工业机器人工作原理解析
原标题:六轴工业机器人工作原理解析 常见的六轴关节机器人的机械结构如图1所示: 六个伺服电机直接通过谐波减速器.同步带轮等驱动六个关节轴的旋转,注意观察一.二.三.四轴的结构,关节一至关节四的驱动电机 ...
最新文章
- DeepChem | 基于图卷积预测分子的溶解度
- mysql for visual
- GVIM工具之gvim的配色方式
- PAT甲级1073 Scientific Notation:[C++题解]字符串处理、科学计数法
- 太酷了!Linux的30 个实例详解 TOP 命令!
- 阿里云发布勒索病毒专杀工具:一键修复 彻底查杀
- 匹配正则_Day233:正则表达式匹配方法 match()
- 奥鹏东师计算机应用基础18,免费在线作业答案奥鹏东师计算机应用基础15秋在线作业1试卷及答案(1)...
- 静态代码检查工具简介
- Nginx+FastCGI支持HTTPS部署过程详述
- python plt.show_解决python中显示图片的plt.imshow plt.show()内存泄漏问题
- 2005年3月9日笔记
- NVIDIA专家全面解析Merlin,GPU加速的推荐系统解决方案速速查收
- Android开发7——android database CursorIndexOutOfBoundsException
- 灰色系统理论及其应用 (三) :生成数
- IDEA光标跟随原因是jdk载入的问题BUG 修正 需要I安装最新版本1.8JDK 1.9之后的不清楚 谨慎...
- 2019年电赛之路——2015年电子设计竞赛A题任务设计
- antd 表单通过form.getFieldsValue获取不全tabs组件下表单数据的问题
- OS学习笔记-8(清华大学慕课)虚拟存储管理
- IDEA2018版本相关配置