面向Android的开发基于Tensorflow Lite框架深度学习的应用（一）

Android配置tensorflow lite

按照官方网站的指导在项目的模块的构建文件build.gradle中配置中增加如下配置：

 implementation 'org.tensorflow:tensorflow-lite:2.7.0'implementation 'org.tensorflow:tensorflow-lite-gpu:2.7.0'implementation 'org.tensorflow:tensorflow-lite-support:0.1.0'implementation 'org.tensorflow:tensorflow-lite-metadata:0.1.0'

android{aaptOptions {noCompress "tflite"}defaultConfig {ndk {abiFilters 'armeabi-v7a', 'arm64-v8a'}}}

导入模型资源资源

创建将文《关于将Tesorflow的SavedModel模型转换成tflite模型》创建的模型model.tflite，导入到Android项目的assets目录中。

定义模型基本配置类BaseModelConfig

/*** 定义模型的基本配置类*/
public abstract class BaseModelConfig{//每通道处理的字节数var numBytesPerChannel:Int = 0//定义批处理的个数var dimBatchSize:Int = 0//定义像素个数var dimPixelSize:Int = 0//定义图片的宽度var dimImgWidth:Int = 0//定义图片的高度var dimImgHeight:Int = 0//定义平均差var imageMean=0//定义图片的标准差var imageSTD:Float = 0.0F//定义模型的名称lateinit var modelName:Stringconstructor() : super() {setConfigs()}/*** 将像素值转换成ByteBuffer* 增加图片的值*/public abstract fun addImgValue(buffer: ByteBuffer,pixel:Int)/*** 配置*/public abstract fun setConfigs()
}

定义FloatSavedModelConfig类

class FloatSavedModelConfig: BaseModelConfig() {public override fun setConfigs() {modelName="model.tflite"numBytesPerChannel = 4dimBatchSize = 1dimPixelSize = 1dimImgWidth = 28dimImgHeight = 28imageMean = 0imageSTD = 255.0f}override fun addImgValue(imgData: ByteBuffer, pixel: Int) {imgData.putFloat(((pixel  and 0xFF) - imageMean) / imageSTD)}
}

创建配置模型参数的工厂类

object ModelConfigFactory {const val FLOAT_SAVED_MODEL = "float_saved_model"const val QUANT_SAVED_MODEL = "quant_saved_model"fun getModelConfig(model: String): BaseModelConfig? =when(model) {FLOAT_SAVED_MODEL-> FloatSavedModelConfig()QUANT_SAVED_MODEL-> QuantSavedModelConfig()else->null}
}

定义图像分类器

class ImageClassifier {private val TAG = "FashionMNIST"private val RESULTS_TO_SHOW = 3lateinit var mTFLite: Interpreterlateinit var mModelPath:Stringvar mNumBytesPerChannel = 0var mDimBatchSize = 0var mDimPixelSize = 0var mDimImgWidth = 0var mDimImgHeight = 0lateinit var mModelConfig:BaseModelConfig//定义标签检测的二维数组1x10val mLabelProbArray = Array(1) {FloatArray(10)}val labels = arrayListOf("T恤","裤子","帽头衫","连衣裙","外套","凉鞋","衬衫","运动鞋","包","靴子")//定义检测结果保持到优先队列中var mSortedLabels = PriorityQueue<Map.Entry<String, Float>>(RESULTS_TO_SHOW) {o1, o2 -> o1?.value!!.compareTo(o2?.value!!)}/*** 配置参数*/private fun initConfig(config: BaseModelConfig) {mModelConfig = configmNumBytesPerChannel = config.numBytesPerChannelmDimBatchSize = config.dimBatchSizemDimPixelSize = config.dimPixelSizemDimImgWidth = config.dimImgWidthmDimImgHeight = config.dimImgHeightmModelPath = config.modelName}constructor(modelConfig: String, activity: Activity) {// 初始化分类器的相关参数initConfig(ModelConfigFactory.getModelConfig(modelConfig)!!)// 使用配置参数初始化翻译器mTFLite = Interpreter(loadModelFile(activity)!!)}/*** 在Assets中的模型文件映射到内存中* */private fun loadModelFile(activity: Activity): MappedByteBuffer? {val fileDescriptor = activity.assets.openFd(mModelPath)val inputStream = FileInputStream(fileDescriptor.fileDescriptor)val fileChannel = inputStream.channelval startOffset = fileDescriptor.startOffsetval declaredLength = fileDescriptor.declaredLengthreturn fileChannel.map(FileChannel.MapMode.READ_ONLY, startOffset, declaredLength)}/*** 将图片数据写入到ByteBuffer,加载到内存中* */protected fun convertBitmapToByteBuffer(bitmap: Bitmap?): ByteBuffer {val intValues = IntArray(mDimImgWidth * mDimImgHeight)//调整要处理的图片为28x28var tmp = scaleBitmap(bitmap)//将图片二值化tmp = binarized(tmp)//将二值化的图片加载到内存中tmp.getPixels(intValues,0, tmp.width, 0, 0, tmp.width, tmp.height)val imgData = ByteBuffer.allocateDirect(mNumBytesPerChannel * mDimBatchSize * mDimImgWidth * mDimImgHeight * mDimPixelSize)imgData.order(ByteOrder.nativeOrder())imgData.rewind()//将图片转换成像素实数数据var pixel = 0for (i in 0 until mDimImgWidth) {for (j in 0 until mDimImgHeight) {var value = intValues[pixel++]mModelConfig.addImgValue(imgData, value)}}return imgData}/*** 将图片二值化处理* 转换成二值图像* @param bmp* @return*/fun binarized(bmp: Bitmap): Bitmap {val width = bmp.widthval height = bmp.heightval pixels = IntArray(width * height)//将图片的像素加载到数组中bmp.getPixels(pixels, 0, width, 0, 0, width, height)var alpha = 0xFF shl 24for (i in 0 until height) {for (j in 0 until width) {val grey = pixels[width * i + j]// 分离三原色alpha = grey and -0x1000000 shr 24var red = grey and 0x00FF0000 shr 16var green = grey and 0x0000FF00 shr 8var blue = grey and 0x000000FFval tmp = 180red = if (red > tmp) 255 else 0blue = if (blue > tmp) 255 else 0green = if (green > tmp) 255 else 0pixels[width * i + j] = alpha shl 24 or (red shl 16) or (green shl 8) or blueif (pixels[width * i + j] == -1) {pixels[width * i + j] = -1} else {pixels[width * i + j] = -16777216}}}// 新建图片val newBmp = Bitmap.createBitmap(width, height, Bitmap.Config.ARGB_8888)// 设置图片数据newBmp.setPixels(pixels, 0, width, 0, 0, width, height)return newBmp}/*** 将图片调整到规定的大小28x28*/fun scaleBitmap(bmp: Bitmap?): Bitmap {return Bitmap.createScaledBitmap(bmp!!, mDimImgWidth, mDimImgHeight, true)}/*** 分类处理*/fun doClassify(bitmap: Bitmap?): String? {// 将Bitmap图片转换成TFLite翻译器的可读的ByteBufferval imgData = convertBitmapToByteBuffer(bitmap)// do run interpreterval startTime = System.nanoTime()mTFLite.run(imgData, mLabelProbArray)val endTime = System.nanoTime()Log.i(TAG, String.format("运行识别的时间: %f ms",(endTime - startTime).toFloat() / 1000000.0f))// 生成并返回结果return printTopKLabels()}/*** 打印检测排序在前几位的标签，并作为结果显示在UI界面中。*/fun printTopKLabels(): String? {for (i in 0..9) {mSortedLabels.add(AbstractMap.SimpleEntry(labels[i],mLabelProbArray[0][i]))if (mSortedLabels.size > RESULTS_TO_SHOW) {mSortedLabels.poll()}}val textToShow = StringBuffer()val size = mSortedLabels.sizefor (i in 0 until size) {val label = mSortedLabels.poll()textToShow.insert(0, String.format("\n%s   %4.8f", label.key, label.value))}return textToShow.toString()}}

定义主活动MainActivity

在主活动中，主要处理如下操作：
（1）从图库中选择图片
（2）利用图像分类器检测图片中的内容，判断是FashionMnist数据集的哪种标签
（3）将检测的结果在移动终端的GUI界面中显示出来。

class MainActivity : AppCompatActivity() {private lateinit var binding: ActivityMainBindingval RequestCameraCode = 1val TAG = "FashionMNIST"companion object{var mIsFloat = true}private var bitmap: Bitmap? = nulloverride fun onCreate(savedInstanceState: Bundle?) {super.onCreate(savedInstanceState)//生成视图绑定对象binding = ActivityMainBinding.inflate(layoutInflater)//设置视图的根视图setContentView(binding.root)binding.imageView.setOnClickListener {val intent = Intent()intent.type = "image/*"intent.action = Intent.ACTION_GET_CONTENTstartActivityForResult(intent,RequestCameraCode)}val spinnerAdapter = ArrayAdapter<String>(this,android.R.layout.simple_spinner_item,getChoices())binding.typeSpinner.adapter = spinnerAdapterbinding.typeSpinner.onItemSelectedListener = object : OnItemSelectedListener {override fun onItemSelected(parent: AdapterView<*>?,view: View,position: Int,id: Long) {mIsFloat = position == 0}override fun onNothingSelected(parent: AdapterView<*>?) {}}}override fun onActivityResult(requestCode: Int, resultCode: Int, data: Intent?) {super.onActivityResult(requestCode, resultCode, data)if(resultCode == RESULT_OK && requestCode == RequestCameraCode){val uri = data?.datatry{//从图库中读取图片var bitmap = BitmapFactory.decodeStream(contentResolver.openInputStream(uri!!))//在图像视图ImageView中显示图片binding.imageView.setImageBitmap(bitmap)//判断模型类型val config = when(mIsFloat){true->ModelConfigFactory.FLOAT_SAVED_MODELelse->ModelConfigFactory.QUANT_SAVED_MODEL}//根据模型类型创建图像识别器val classifier = ImageClassifier(config,this)//检测并判断图像的类别val result = classifier.doClassify(bitmap)binding.labelTxt.text = resultbinding.tipTxt.visibility = View.GONE}catch(e: FileNotFoundException){Log.d(TAG,"没有找到指定的图像文件")}catch(e: IOException){Log.e(TAG,"初始化图像识别器失败")}}}/*** 返回可用模型的名称*/private fun getChoices()= resources.getStringArray(R.array.model_names)}

参考文献

李锡涵等《简明的Tensorflow 2》人民邮电出版社北京 P91-P96

面向Android的开发基于Tensorflow Lite框架深度学习的应用（一）相关推荐

ElasticDL：首个基于 TensorFlow 实现弹性深度学习的开源系统
9 月 11 日,蚂蚁金服开源了 ElasticDL 项目,据悉这是业界首个基于 TensorFlow 实现弹性深度学习的开源系统. Google Brain 成员 Martin Wicke 此前在公 ...
基于TensorFlow Serving的深度学习在线预估
一.前言随着深度学习在图像.语言.广告点击率预估等各个领域不断发展,很多团队开始探索深度学习技术在业务层面的实践与应用.而在广告CTR预估方面,新模型也是层出不穷: Wide and Deep[1] ...
特斯拉如何开发基于纯视觉的深度学习系统
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达作者丨初光来源丨糖果Autosar 打造全自动驾驶汽车所需的技术堆栈是什么?公司和研究人员对该问题的 ...
深度学习入门笔记系列 ( 二 )——基于 tensorflow 的一些深度学习基础知识
本系列将分为 8 篇 .今天是第二篇 .主要讲讲 TensorFlow 框架的特点和此系列笔记中涉及到的入门概念 . 1.Tensor .Flow .Session .Graphs TensorFlo ...
基于TensorFlow Lite实现的Android花卉识别应用
介绍本教程将在Android设备上使用TensorFlow Lite运行图像识别模型,具体包括: 使用TensorFlow Lite Model Maker训练自定义的图像分类器利用Android ...
基于TensorFlow Lite的人声识别在端上的实现
通过TensorFlow Lite,移动终端.IoT设备可以在端上实现声音识别,这可以应用在安防.医疗监护等领域.来自阿里巴巴闲鱼技术互动组仝辉和上叶通过TensorFlow Lite实现了一套完整的 ...
面向 Android 软件开发套件（SDK）的 x86 Android* 系统映像许可协议
英特尔公司面向 Android 软件开发套件(SDK)的 x86 Android* 系统映像的内部评估许可协议此<内部评估许可协议>(以下简称"协议") 的订立双方为 ...
英特尔公司面向 Android 软件开发套件（SDK）4.3 的 x86 Android* 系统映像的内部评估许可协议...
此<内部评估许可协议>(以下简称"协议") 的订立双方为英特尔与贵方(作为开发人员个人或法律实体 - 下文认定为"接收方"). 英特尔应根据< ...
基于OpenGL ES 的深度学习框架编写
基于OpenGL ES的深度学习框架编写背景与工程定位背景项目组基于深度学习实现了视频风格化和人像抠图的功能,但这是在PC/服务端上跑的,现在需要移植到移动端,因此需要一个移动端的深度学习的计算 ...