AI 图像识别项目从入门到上线

课程介绍

本课程是一个完整的项目实战课程，从项目调研开始到项目最终上线，完整的复现了基于深度学习的实战项目的流程。

本课程系列文章具有很强的工程性质，同时内容追求循序渐进，建议从头开始学习。

第 01~02 课，将讲述如何调研一个项目，如何获取数据与整理数据。
第 03~05 课，将介绍 Linux、图像、Python 等开源包，以及神经网络的基础知识，为接下来的项目做准备。
第 06~08 课，将介绍目前 3 大用户量最大的深度学习开源平台，将讲述准备数据、定义网络、训练模型、使用模型测试自己的图片的整个流程。
第 09~11 课，将集中讲解如何训练模型并进行迭代优化。
第 12~14 课，我们将把训练出来的模型部署到微信小程序上，同时介绍小程序的前、后端的基础技术。

认真学完这个系列文章之后，将会深入理解一个基于深度学习的项目是如何从一个想法变为一个真正产品的。对于欲转行的人来说，它提供了一个完整的学习链，学习完之后将直接具有从事该行业的基本能力。对于已经是相关从业人员来说，可以作为一个知识和经验的补充。

专家推荐

本课程是基于深度学习的图像项目开发实践课程。作者提供了一个非常完整的从深度学习理论、实践到工业级生产的链条。既有基础的代码与图像知识，深度学习入门理论、基于 Python 的几大主流开源框架的使用；又有实际项目开发中调研立项，从需求分析到实际业务模型的训练与迭代，最终到模型部署、小程序的前后端开发。本课程非常适合深度学习初学者作为入门，也适用于需要进一步巩固深度学习技能的从业者，十分推荐！

—— 陈强，360 人工智能研究院科学家

作者介绍

龙鹏，6 年计算机视觉项目从业经验，华中科技大学本科，中国科学院硕士，原 360 图像搜索，人工智能研究院算法工程师，今陌陌深度学习实验室算法工程师，拥有个人技术公众号《与有三学 AI》，曾在 GitChat 开设过《AI 程序员码说摄影图像基础》课程。

参与过图像增强降噪、自动驾驶、视频内容分析、人脸表情与 Parsing 等项目，并熟悉传统图像处理算法基础知识，拥有丰富的基于机器学习的计算机视觉项目经验。

课程内容

导读：致想入坑深度学习的你

从混了几年到遇见深度学习

2011 年暑假，湿热的武汉校园里，华科电子系里的前 15 名同学正在厮杀 13 个保外的名额，虽然单论裸成绩和加上加分后的成绩的话，我不会掉队，但是，在当时的十几个人中，大部分人仍然会觉得这个有很大的变数。到什么地步呢？举一个例子，拥有计算机网络这个证书到底是按照往年一样加 1 分？还是按照当年新规加 0.5 分？大家在辅导员面前多次争执。第一名和第十名的加权分差好像都没有超过 0.5 分的，所以这一点区别有多大，大家可以想象一下。

为此，每晚回宿舍都会有最新消息传回来，我很苦恼，所以在 8 月份的时候，赶上了中科院物理所夏令营的晚班车。

十几天的夏令营很爽，匆匆参观了几十个研究所，高端到紫金山天文台、正负电子对撞机等，听北航物理系专业的同学整天说：优秀的人才必须先留本校，所有有很多想出来的人考试故意放水等。然后，在参观后来就读的半导体所时，淋了一场大雨，当时以为北京每年还是会下很多次雨的。

那个时候我曾经有另一个选择，即自动化所刘成林老师组。来北京之前邮件联系过，后来在刘老师办公室也聊了很久，只可惜夏令营回去之后，保外的竞争仍然由于额外增加专业考试的存在而没有结束，以至于误了自动化所的面试。后来被问面试结果如何时，实在无脸答问。

没想到的是，保外最终以所有人的胜利结束了，折腾了几个月后，跟着系里以前的师兄，选择了中科院半导体研究所，毕竟自己是微电子专业，这也算是本行了吧。

然后到了实验室做毕设，师兄拼凑了一台 512 M 内存的电脑，开始用 Xilinx 和 Matlab 做毕业设计，写 Verilog 代码，以前没有学拍照，照片也没保存下来，就只有下图为证了。

每天的业余生活就是打球打球打球，然后混到了硕士毕业。

刚入研究所的第一年有高温假，几乎所有同学都回家度过了那两个星期的高温假，我跟另一个哥们儿留下来学习。把数字图像处理和 C++ Prime 认真看了一遍，算是入门了。直到 2015 年毕业，陆陆续续意识到深度学习的兴起，在外听百度 IDL 的一些人的演讲，也没有正儿八经的做过深度学习的项目。硕士论文写了 130 多页，从图像降噪到分割，从 Guided Filter 到去雾算法，到 Level Set、Grab Cut，全部都是传统的图像算法。毕业后还有好几个人问之前发的一篇改进 Guided Filter 的文章，不得不感叹，何凯明真不是一般人。

毕业后进入 360 图像组，我们组和颜水成老师手下的一批学生一起组建成了最开始的 360 AI 研究院，开始从自动驾驶、辅助驾驶做到美颜相关的项目，才算是真正入了行业前沿。在 360 的日子是很苦涩的，两年住的地方都离公司不超过 50 米，但是环境不是 5 户的隔断、就是 7 平米的小卧室，从生活上来说，毫无质量可言。

但是，加班的生活使我淡定了很多，没有学校里那么浮躁了，颜老师偶尔递过来给大家喝的鸡汤，也还受用，熏陶了一段时间之后，因为寻求更合适的生活而离开了。

如果读书的时候，我更加努力，遇到更对的方向和优秀的人，那么今天一定会更好，相信学习完这套课程内容后，你不会后悔。

我眼中的深度学习

现在应该有一部分读者并不懂图像算法，只了解深层神经网络的调参，我觉得这是错误的。遇到真正有挑战的问题，需要用传统方法辅助解决的时候，一定会黔驴技穷。所以，建议大家趁早夯实自己的图像基础和传统机器学习算法基础。

这些年大大小小做了不少项目，对于深度学习这个工具多少有了一些体会。本系列课程主要面向的对象是想快速入行的朋友。

为什么深度学习这么火

6年前的时候，我带着实验室师姐和师妹，参加中科院的一个植物识别比赛。

那个时候，谁也没有深度学习经验，也没有多少机器学习的基础，神经网络玩的也不好，所以我们的思路是什么呢？用一些方法把植物主体提取出来，然后提取各种颜色特征、形状特征、纹理特征输入分类器。到最后，大家积极性并不高，比赛都没有完成。

如果回到今天，这是一个再简单不过的分类问题了。

深度学习之所以这么火，就是因为它的技术成熟了，它能让某些问题得到很轻松、成熟的解决。

从刷脸支付到虐遍人间的 Alpha 狗，都是技术发展的产物，所以它该火，因为它做到了上一代技术做不到的事情。

深度学习是什么，很难学吗

深度学习是什么？我这里只说它的一个方向，深层卷积神经网络，这是图像处理领域所说的深度学习，后面说深度学习就指代这个了。它的本质是神经网络，不是本世纪出来的新技术，只是有了一些新技巧的加入，关于这个问题，我们以后再详细说。

那么深度学习难学吗？

当然难学，不然为什么做这一行的工资那么高、人才这么稀缺。但是，如果你把深度学习只当作一个调参工作来说，它不难学，一个高中生经过 3 个月的培训，足够了。那么，深度学习难在哪里？

对所要解决的问题的理解

传统方法解决问题的思路，是先拎出来一个任务，然后针对这个任务设计图像特征。在这个过程中，我们不可避免的会去简化问题，去针对不同的数据来源、想不同的方案。而深度学习这个黑盒子，淡化了这个过程，每个人尤其是新手，以为丢进去一批数据之后，就能得到想要的结果，而实际上几乎不可能。

要想做好一个项目，需要知道应该准备什么样的数据、准备多少数据，不同来源的数据怎么使用，怎么确定哪些数据是高质量、哪些是低质量的。比如室内的数据和室外的数据，前置摄像头和后置摄像头的数据对于一个任务来说是不是有差异。

需要知道什么时候该简化问题，比如表情识别的时候，不应该输入一整张图做训练。初学者，往往认为分类任务很简单，那是因为他们没有面临真正的问题，当你只是为了识别猫和狗，当然简单。但是当你要识别正脸和非正脸时，就必然要处理模糊边界。实际的业务，需要不断做出调整，远非实验室环境和比赛环境下近乎完美的设定。

前段时间带了一个实习生对此就有了深刻的体验，感兴趣不妨读一读，方便手机阅读做了二维码。

上面只说了一部分，实际上对所要解决的问题的理解，是一个很需要经验的活，只有不断实战才能进步，没有一年半载的锻炼，一般都无法独自承担任务。

对能力的要求

网上曾经有过对从事深度学习相关岗位人的能力要求，我这里做一个简化版，这些技能是必须掌握的。

熟练掌握 C/C++、Python 等编程语言；
熟练掌握 Caffe、TensorFlow 等以及不断新出的开源平台；
熟练阅读行业前沿研究，都是英文 Paper，并经常需要复现结果。
一般必须掌握爬虫、服务端等前后端的基础知识，保证日常项目需要时能独立开工；
了解并熟悉 Cuda 等 GPU 编程技术，了解一些移动端的硬件知识；
了解并熟悉 Android、iOS 等移动端的基础知识，在项目中可能会需要使用。

优秀的人才，上面这些技能基本全部必备，难不难，技术人员对比下自己的水平，想必自有判断。

好了，先说到这儿，以后要说的还多着呢，我是言有三，以后还请多多关照。

福利：为了方便沟通、交流，建立了一个微信群，里面有国内顶尖互联网公司的朋友和遍布各地的学生，欢迎加入。由于已经超过 100 人，加群请添加有三微信：Longlongtogo。

点击了解更多《AI 图像识别项目从入门到上线》

第01课：如何科学的调研并启动一个项目

每一个项目的第一步就是立项，立项需要进行充分的调研才能确定是否值得启动一个项目。调研主要是要做好两个方向：（1）算法调研，主要是确定可行的技术路线，更具体的说，想清楚要做的事情是否已经到达落地的水准，也就是可行性的验证；（2）市场调研，它主要确定的是，所选中的方案是否有市场需求，是否已经有成熟的竞争对手和市场。

下面分别从这两个方向进行讲述，我们以图像风格化为例，所谓图像风格化，学术名词是 Image Style Transfer，研究起源于这一篇论文 A Neural Algorithm of Artistic Style[1]，三年前我的公众号《与有三学 AI》也做过报导，有兴趣的读者可以看看：

它是采用神经网络的方法，分别学习到一幅图像的纹理和风格，从而实现从一幅图像风格到另一幅图像的迁移，如下，将图2的风格，应用到图1上。

当然，现在已经有了很多新的应用，尤其是基于人脸的非常多，关于详细的介绍和技术原理可以参考我以前开设的 AI 摄影基础课程，里面详细地讲述了摄影中各方面的图像知识。

在我的知乎专栏中，也有更多的细节：

下面言归正传，回到风格化研究的调研。

从哪些地方开始调研

市场调研

在做算法调研之前，先要做市场调研。市场调研需要涵盖主流的产品形态，包括 App、普通的网页应用以及小程序；所面对的目标用户（年龄层次、地域分布）、现有的市场份额以及潜在的竞争对手等也需要了解。

这一块儿没有多少可说的，平时多关注关注新闻、相关朋友圈的分享、相关公众号即可，比如当年非常火的 Prisma，作为从业人员想忽视也不容易的。

然后到 iOS 平台和安卓平台去搜搜关键词，看看各大公司是否已经跟上推出的类似产品？

我们调研一下就知道，国内几大图像算法公司，腾讯的天天P图、美图科技的美图秀秀、Camera360 的 MIX 滤镜都有相关产品，其他小产品也不少。

我们分别以三张人脸和风景图做测试。

试试美图黑科技中绘画机器人：

试试用天天P图出的小学生证件照吧：

还有各种民国仙侠风：

MIX 中艺术滤镜：

当然，现在已经存在非常多类似的 App 了，初步的调研结果显示，基于图片的风格化技术已经很成熟，而且产品面世也已经不止两年了，我们偶尔会在朋友圈里看到类似的分享尤其是节假日，当然具体的用户比例，可能需要我们自己去做一些调研问卷、投票之类的。

不过，还没有看到比较好的基于视频的调研结果，所以这可能是一个突破点。

最后总结一下调研的结果。

建议从以下几个方向：

技术成熟度
受众
产品使用频率
竞争对手

算法调研

国内外前沿学术研究

可以找一些好的博士硕士论文，相关综述，看看总结和方向，再找学术界和工业界的相关比赛以及数据集。

中文调研

（1）首先调研综述类文章，查看 CNKI 相关关键词的博士硕士论文，以及优秀中文期刊的综述。还是以图像风格化为例，到中国知网平台，搜索结果详见这里。

（2）百度学术调研

虽然百度学术与 Google 学术相差甚远，但是也可以作为辅助。

点击该链接，可弹出如下图所示的结果：

这其中可以调研到发表时间、来源期刊，同时可以获取到引用格式，这在写作学术论文和调研报告中也会非常有用。

英文调研

中文调研应该作为一个入门的了解，而英文文献的调研，才是了解最前沿技术的正确方法，必须使用好 Google 学术以及 Google 通用搜索引擎。同时，由于现在很多的论文在接收和正式发表之前，都已经发在了arxiv平台上，所以为了获取最新的研究结果，这个也是必须的。

（1）Google 与 Google 学术

Google 学术擅长于寻找正式发表的学术论文，而 Google 通用搜索引擎则可以广泛浏览相关内容，都需要去仔细筛选。

另外，Google 和百度都提供了一个 API 调研，即关键词的热度趋势：

百度指数：

（2）Arxiv

学术界最新的研究成果往往是先发表在这里，甚至可能领先正式出版机构一年以上，所以这也是需要去认真调研的。机器学习相关的在 computer science 栏目下。

在调研学术论文的时候，优先看综述，然后重点关注知名的研究机构，引用量大的论文。

比如，开启图像风格化这个方向的^【1】，Neural Style Transfer: A Review^【2】，李飞飞组的实时风格化研究^【3】等，这些是需要重点关注的。

通过阅读综述文章、一系列经典文章和前沿文章之后，就能对该方向的技术路线等有了很明确的认知。当然如果有机会参与一些比较牛的团队或者身边有相关人脉，则更有可能获得最新的研究成果，那也是极好的。

行业媒体调研

在机器学习领域，现在有很多的优秀自媒体，他们也会经常总结一些前沿的研究，所以这也是一个很好的调研渠道。

这里做一些推荐：

机器之心、新智元、AI 科技评论、AI 科技大本营，都是人工智能媒体与产业服务平台，注重总结学术界的最新研究与工业界的最新动向，干货很多。
深度学习大讲堂、Paperweekly、国内 CV 界的前沿研究推送，以学术为主，解读前沿论文。
大数据文摘、内容不限于 AI 与机器学习，所有与大数据相关的资料，所以也会显得更加全而杂乱。
36氪、虎啸网等，注重商业报告，尤其强调行业趋势，创业的朋友肯定需要经常关注。
知乎、微博，虽然现在知乎内容越来越多整体质量下滑严重，但是仍然是国内尤其是技术精英喜欢逛的地方。虽然微博娱乐泛滥，但是也不能完全否定它上面也有一些还不错的自媒体，像每天坚持截取论文研究结果的“爱可可爱生活”，以及各大新闻媒体如新浪科技、还有大佬的微博动向，比如雷军每次都会介绍自家小米的产品。

当然厚脸皮推荐一下自己鼓捣的技术公众号《与有三学 AI》以及知乎专栏《深度学习模型训练经验与代码剖析》，水平有限未形成规模，欢迎大家加入，专栏上面已经放出。

GitHub

GitHub 的重要性就不用多说了吧，鉴于它已经成为了最大的技术人员交友平台，所以在这里调研技术再适合不够。另外，正好这几天微软收购了 GitHub，对于一个像苹果一样封闭的公司，微软做出这样的改变其后续动作值得期待。同时，微软亚洲研究院的计算机视觉研究是国际顶尖的，不知道这次并购会不会带来更多惊喜。

以 image style transfer 为例，很快就能找到一个高质量的资源，点击详见这里。

带有相当完整的论文 list 与开源代码，再精读这些资源之后，想不了解都难了。而且，等正式开始干活之后，这些资源很有可能就会成为起点。

怎样写好调研报告

上面既然已经完成了调研，那么要交出去给其他人看的时候，就一定要写好调研报告。下面做出一些总结，主要从以下几个方向入手，还是以图像风格化为例。

用户调研总结

（1）潜在用户

AI 技术爱好者，这一类人喜欢尝试新鲜技术。
摄影爱好者，喜欢研究各类滤镜。
女性，对于美颜和人脸风格化有需求的广大女性。

（2）使用地点、时间点和频次

朋友圈等社交平台，属于日常低频需求，朋友圈偶见转发，可能集中在特定节日，比如 5-4 青年节天天P图推出的民国风格。

（3）用户需求

求新与切合时间点，喜欢不断尝试新的滤镜，喜欢在特定时间段集中爆发尝试与转发。

（4）使用平台

移动端 App 和网页应用。

总结：图像风格化实际上是一个低频非刚需，它与美颜有着本质的区别，因为后者只是对图像的微调，而前者则是一个新的创作。因此，如果做这一类产品，结合特定时间点做趣味性强的短期爆款制造营销事件比特意开发一个 App 会更加符合一个新的产品定位。

竞争对手调研总结

美图秀秀与天天 P 图等国内 App。

对手特点，技术一流、产品全面且受众广，总是能在特殊时间点制造营销爆点，正面 PK 技术实力和产品设计都面临很大的考验，失败风险大。

小蚁 AI 艺术等小程序：产品简单，效果相比主流 App 较差，有视频风格化。

总结：针对大公司技术实力强但是不敢轻易尝试非成熟技术，而小公司技术实力弱但是产品可以快速迭代的特点，我们可以以短小精美的前端界面 + 最新技术探索的方式，甚至尝试非主流擦边球的形态来突然推出爆款。

技术调研总结

静态图片风格化

技术路线已经比较成熟且风格化效果较好，相关 App 已经大量出现，门槛较低，有经验的工程师一个月内实现一个 demo 上线没问题。

视频风格化

计算代价较高相关竞品很少，需要具备一流研发能力的团队。

最终总结：磨刀不误砍柴工，在正式想好做一个项目之前，最好先做好上面的3步调研，免得闭门造车。

【1】 Gatys L A, Ecker A S, Bethge M. A neural algorithm of artistic style[J]. arXiv preprint arXiv:1508.06576, 2015.

【2】 Jing Y, Yang Y, Feng Z, et al. Neural style transfer: A review[J]. arXiv preprint arXiv:1705.04058, 2017.

【3】 Johnson J, Alahi A, Fei-Fei L. Perceptual losses for real-time style transfer and super-resolution[C]//European Conference on Computer Vision. Springer, Cham, 2016: 694-711.

点击了解更多《AI 图像识别项目从入门到上线》

第02课：如何科学的准备并整理数据

第03课：如何储备代码基础

第04课：怎样准备图像基础知识

第05课：怎么储备深度学习与神经网络基础

第06课：开源框架之 Caffe 图像分类实战

第07课：开源框架之 TensorFlow 图像分类实战

第08课：开源框架之 Pytorch 图像分类实战

第09课：如何快速训练出第一版模型

第10课：如何进行数据的迭代与优化

第11课：如何进行模型的迭代与优化

第12课：微信小程序模型部署之前端

第13课：微信小程序模型部署之服务端

第14课：总结

阅读全文: http://gitbook.cn/gitchat/column/5b1f709a472e0a7085638f9b