博客：https://wenjie.blog.csdn.net/
作者：走在前方
介绍：计算机硕士，多年工作经验，技术和产品负责人。 多年推荐系统/NLP/大数据工作经验。 负责公司多个AI项目产品落地，包括文本分类、关键词抽取、命名实体识别、对话系统中语义理解、FAQ智能问答、知识图谱、图搜、推荐系统等

本文主要分享核心要点

• 图片标签问题
  • 什么是多标签图像分类
  • 多标签图像分类与多类图像分类有何不同
  • 构建多标签图像分类模型的步骤
  • 你了解哪些多标签图像分类模型结构
  • 多分类和多标签分类器和损失函数选择
  • 图片标签在推荐和搜索系统应用
• 不同图片业务应用
  • 二分类
  • 多分类
  • 多目标任务
  • 多标签
  • 以图搜图
• 多目标输出图片分类应用
  • 背景和数据介绍
  • 自定义数据集合网络模型设计
  • 模型加载预测
  • 在线预测以及数据可视化
• 多标签图片分类应用
  • 多标签和多分类区别
  • 二分类和多分类以及损失函数
  • 网络模型设计
  • 多标签预测
• 以图搜图应用
  • 图搜应用场景和原理
  • 开源向量检索引擎
  • 系统架构
  • 图片特征抽取和在线实时检索

图片标签问题

• 什么是多标签图像分类
• 多标签图像分类与多类图像分类有何不同
• 构建多标签图像分类模型的步骤
• 你了解哪些多标签图像分类模型结构
• 多分类和多标签分类器和损失函数选择
• 图片标签在推荐和搜索系统应用

不同图片标签差异

图片分类：二分类（binary-class classification）场景

图片分类：多分类（Multi-class classification）场景

以4类(猫、狗、兔子和鹦鹉)看下多分类特点：

每张图片只能被分类为猫、狗、鹦鹉或兔子。没有任何一个图像属于多个类别的情况

图片分类：多输出分类（Multi-output classification）场景

3类（电商时尚类）：性别+颜色+类型（ 每张图片都有3个固定的标签 ），固定输出图片多标签

图片分类：多标签图片分类（Multi-label classification）场景

多标签图片分类

①每个图像都属于一个以上的类

②每个图片出现的标签并不是固定的

③标签获取从标签池中选择最可能标签展示

以图搜图

• 基于图片标签搜索
• 基于图片特征搜索

多目标输出图片分类

背景介绍

随着电子商务产业快速发展，有大量的数据集等待着我们去搜集和研究。除了专业拍摄高质量产品图像，商品本身还拥有多个标签属性，用于描述商品各种特征。另外，还提供了关于商品特性的描述性文本

数据介绍：每个商品都有一个唯一编码（例如：ID =15970) ，商品信息主要字段信息如下所示

数据分析

自定义数据集**+**模型定义和设计

自定义数据集

①加载指定的标签数据

②计算标签种类和数量统计

③构建标签字典

④自定义数据集工具类

模型定义和设计

①加载预训练的网络（例如：mobilenet_v2,resnet,resnext. 用户可以自己选择进行实验）

②修改基础网络结构，原来网络最后一层仅支持一个分类标签输入

③每个标签属性损失函数选择cross-entropy loss （采用联合训练求loss）

模型数据验证混淆矩阵可视化

模型加载

model = MultiOutputModel(n_color_classes,

n_gender_classes,

n_article_classes)

model.to(device)

checkpoint = “./checkpoints/2020-09-21_15-59/checkpoint-000049.pth”

model.load_state_dict(torch.load(checkpoint,map_location=‘cpu’))

model.eval()

图片多标签预测

多分类输出多标签案例演示

多标签图片分类

多标签和多分类应用

• 不同任务的图片分类应用

• 针对一张图片，强制只能一种数字，可以使用softmax分类器

• 胸部X光片：一次胸部X光片可以同时显示多种不同的医疗状况。如果我们为胸部x光片构建一个分类器，我们希望该分类器能够指示存在多种情况。这是一张同时显示肺炎和脓肿的胸部x光照片，以及相应的标签。

• 入院：根据患者的健康记录，我们可能需要预测该患者将来是否会入院。我们可以将其定义为一个分类问题：根据患者未来的入院诊断（如果有的话）对患者过去的健康记录进行分类。患者可能因多种疾病入院，因此可能有多个正确答案

介绍两个重要的分类器

Sigmoid和Softmax对比

数据介绍

分类器**+**损失函数

网络模型设计

多标签分类模型**-**效果可视化

多标签图片分类功能演示

以图搜图

图像搜索应用场景

随着数字时代的到来，传统单单的文字搜素已经无法满足人们的搜索了，图像搜索，甚至是视频搜索都已经比较成熟。

图像搜索服务 （Image Search）是以深度学习和大规模机器学习技术为核心，通过图像识别和搜索功能，实现以图搜图的和以文搜图的智能图像搜索产品。图像搜索服务在基于图像识别技术基础上，结合不同行业应用和业务场景，帮助用户实现相同或相似图片搜索。

现在大火的人工智能主要是：语音识别，自然语言处理，计算机视觉，推荐系统等等。

人工智能技术应用：

n语音识别+自然语言处理：amazon echo，google assistant/home，siri，国内一大票智能音箱

n计算机视觉：微博面孔专辑（商汤提供的cv能力），海康威视/格林深瞳的安防，**拍立淘（手机淘宝里面的相机入口），百度识图（百度app里面的相机入口），**Google Photo

n推荐系统：手机淘宝主页往下翻有个栏目叫猜你喜欢，qq/网易音乐的每日推荐歌曲等

图片搜索的主要应用是二维码扫描、以图搜图、拍照搜题、拍照翻译、AR翻译、以图搜剧等

百度图像搜索

以图搜图，在指定图库中搜索出相同或相似的图片，适用于图片精确查找、相似素材搜索、拍照搜同款商。

相似图片搜索场景

在自建图库中找到与检索图片语义相似的图片集，并给出相似度打分（综合图片类型、颜色、内容、布局等特征）；适用于各种相似图片查找、相关内容推荐场景

• 设计素材查找

基于拍摄照片查找相似或相同的图片作品，满足设计师人群、工作人员更快捷高效查找原版大图或相似作品的需求

• 商品搜索及推荐

将用户拍摄的图片在商品库中搜索，找到同款或相似的商品，进行商品销售或者相关商品推荐，提升搜索查找的便捷性，优化用户体验

• 相关内容推荐

将文章内容或者产品服务中的图片入库，通过比对用户上传的图片，查找相似图片，从而找到相关的内容信息，实现相关内容搜索、推荐

相同图片搜索场景

在自建图库中找到与检索图相同的图片，支持找到局部内容相同的大图，或适度调整背景和角度的相同图片；可用于图片精确查找、重复图片过滤等场景

应用场景

• 重复图片过滤

搜索图库中是否有相同或高度相似的图片，实现系统内图片去重或过滤，避免重复内容引起的资源浪费、体验下降等问题

• 图片精确查找

在图片库中找到主体相同的图片，结合相似度分值，判断图片内容是否严格相同，可用于特定图片查找、图片内容精准关联等场景

商品图片搜索场景

针对商品类图片，专项训练检索模型，在自建图库中搜索相同及相似的商品图片集，可找到不同颜色、背景、角度的同款商品；适用于电商平台拍照搜商品等场景

• 商品搜索及推荐

将用户拍摄的图片在商品库中搜索，找到同款或相似的商品，进行商品销售或者相关商品推荐，提升商品搜索查找的便捷性，优化用户购买体验

• 商品识别

将商品名称与图片相匹配一起入库，通过图片相似度判断实现指定集合内的商品识别，可用于户外广告拍照下单、供应链系统拍图找货等场景

接下来我们就针对图搜场景进一步探索。

阿里图像搜索

电商图库类场景

用户只需拍摄或者上传商品照片，就可以根据图片进行商品搜索。 省去了繁琐的文字描述，简化了商品搜索流程，大大提升用户的购物体验。

布料纺织场景

商标logo检索场景

在商标、标识等场景下搜索相同或相似logo图形，大幅度简化人工肉眼比对的工作量，并有效提供工作效率。

通用图库类场景

图片分享和社交类网站通常有大量通用图片供用户搜索使用，利用图像搜索服务，可在云端快速构建百亿级图像搜索引擎，提供以图搜图功能，提升用户体验。

以图搜图实践

为方便更直观认知图像搜索场景应用，我们采用的方案：

基于深度学习工具PyTorch + Facebook AI searcher Faiss向量相似性搜索算法库。

举例说明如下：

红色方框是查询图，绿色方框是完全匹配的结果，其它是最相似的top

图像搜索发展历程

卷积神经网络理论必备

采用PyTorch深度学习工具进行图片特征提取。首先我们需要做的，要理解卷积神经网络如何特征提取的？这部分重点给大家讲解相关CNN的概念。

• 初识CNN
• CNN 卷积层概念
• CNN 中的stride和zero-padding使
• CNN 特征图计算
• CNN PoolLayers和FC&训练过程演示开始学习
• CNN 网络发展历史
• 图形化介绍FC和CNN 区别以及CNN 层概念
• keras 实现CNN 网络
• 图形化方式介绍CNN在图像应用
• CNN 在语音和文本中应用介绍

Faiss向量搜索库基础入门

faiss 向量化相似索引库，主要完成文本向量化特征的存储和检索。

• faiss安装
• faiss 快速入门
• faiss 基础模块和索引选择
• faiss 基础索引类型介绍和源码分析
  • Faiss indexes IO和index factory
  • Faiss indexes 前(后)处理
  • Faiss indexes 基础索引类型
  • Faiss indexes 多种index混合
  • Faiss indexes 进阶操作
• faiss 索引优化方案
• faiss一些基准实验

以图搜图项目实战

数据介绍

数据集介绍

图片集包含 17125 张图片，涵盖 20 个目录。

n人类；

n动物（鸟、猫、牛、狗、马、羊）；

n交通工具（飞机、自行车、船、公共汽车、小轿车、摩托车、火车）；

n室内（瓶子、椅子、餐桌、盆栽植物、沙发、电视）

数据集大小：~2GB

说明：您也可以使用其他的图片数据进行图片索引构建和检索。

索引构建压缩

尝试20万照片构建图片索引生成439M索引文件

索引降维压缩后，最后生成32M索引文件，效果基本不受影响

以图搜图系统架构

以图搜图技术架构原理

为方面进一步的理解以图搜图业务场景执行方案，通过VISO 图再次演示如下：

主要分为三个部分——图像特征抽取，图像特征构建索引、图像快速检索。

**第一步：**图像特征抽取方法

• 传统的方法有各种图像处理的方法，比如hog直方图，小波过滤等方法提取特征
• 流行的深度学习方法，比如卷积神经网络等；

**第二步：**使用特征抽取器对图像库抽取特征，并以向量的形式存储起来；

**第三步：**构建索引后，图像索引的好坏影响搜索速度

通过案例来看看图像检索基本的流程。首先，提供一张图像，然后按照下面的流程执行

->抽取特征

->图像库特征匹配（余弦相似度或者欧式距离）

->相似度的大小进行排序

-> 输出匹配结果

深度学习框架选型

主要借助深度学习框架，完成图片特征提取，一般采用TensorFlow 或者 PyTorch

项目： 采用PyTorch深度学习工具，同时采用Faiss 完成图片特征存储和检索（毫秒）

** Faiss 开源向量检索引擎**

Faiss是Facebook AI团队开源的针对聚类和相似性搜索库，为稠密向量提供高效相似度搜索和聚类，支持十亿级别向量的搜索，是目前最为成熟的近似近邻搜索库。它包含多种搜索任意大小向量集（备注：向量集大小由RAM内存决定）的算法，以及用于算法评估和参数调整的支持代码。Faiss用C++编写，并提供与Numpy完美衔接的Python接口

Faiss 不同类别索引

Faiss索引构建源码解读

图片特征抽取

在线实时检索演示

• 第一张照片：用户检索照片，后面相似照片推荐（相似得分：从左到右、从上到下排序）
• 索引库采样降维压缩，压缩前后减少1/4
• 图片检索速度在毫秒级别( 5000 万图片库)

更多以图搜图的效果案例**>>**

图片标签及以图搜图场景应用相关推荐

1. 十二大相似图片搜索网站(以图搜图)

   十二大相似图片搜索网站(以图搜图) 如何凭着一张现有图片找出它的原始图片,或者是凭着一张小的缩略图找出原始大图?下面的搜索引擎可以帮你实现.以图找图.以图搜图. 以图搜图是颠覆性的搜索方式,基于图片的 ...

2. 十大相似图片搜索网站(以图搜图)

   十大相似图片搜索网站(以图搜图) 2011-04-13 21:07:56|  分类: 默认分类 |  标签:以图搜图  图片搜索  搜图  百度搜图  搜索引擎  |举报|字号 订阅 下载LOFTER ...

3. 基于传统CV实现图片分类（以图搜图）

   图片分类在计算机领域并不是一个新鲜的话题了,相对于传统计算机视觉(CV)方法解决这类问题,深度学习的效果反而更好.但是我们依然需要了解传统做法,说不定在未来研究时可以提供不一样的灵感. 图像描述符 要 ...

4. 【python 以图搜图】三种图片相似度计算融合算法

   目标:在一个文件夹找出相似度较高的图片,达到以图搜图的目的. 我找了十组,都是高度相似的图片. 核心算法: 1.分别自定义三种计算图片相似度算法,计算图片相似度算法ORB算法,以及局部敏感哈希phas ...

5. 使用AnalyticDB轻松实现以图搜图和人脸检索

   1. 背景 以图搜图在生活中有着广泛的应用, 当我们在电视上看到有人穿着一件美丽的裙子或者帅气的球鞋也想拥有时, 我们可以拍张照片然后打开淘宝然后上传照片就可以快速的找到这个商品. 我们看到一张电影截 ...

6. 无法检索数据和目标数据的列信息_使用AnalyticDB轻松实现以图搜图和人脸检索...

   1. 背景 以图搜图在生活中有着广泛的应用, 当我们在电视上看到有人穿着一件美丽的裙子或者帅气的球鞋也想拥有时, 我们可以拍张照片然后打开淘宝然后上传照片就可以快速的找到这个商品. 我们看到一张电影截 ...

7. 以图搜图/图像检索相关资料

   基于内容的图片检索( Content Based Image Retrieval, CBIR ),也有人称之为以图搜图,是一个很老的研究领域,它是利用机器学习.模式识别.计算机视觉等相关技术对图片的内 ...

8. 图片素材类网站必备以图搜图、智能搜图识图图像搜索系统imgso,让素材网站更智能专业

   很多背景墙.墙纸.壁纸.电视墙.装修设计素材网都必配以图搜图.这个以图搜图识图的好处不言而喻,是很多素材网必备功能. 推荐一款专业的以图搜图系统imgso,它是一个以图搜图专业系统,让你的网站拥有站内 ...

9. Google 以图搜图 - 相似图片搜索原理 - Java实现

   前阵子在阮一峰的博客上看到了这篇<相似图片搜索原理>博客,就有一种冲动要将这些原理实现出来了. Google "相似图片搜索":你可以用一张图片,搜索互联网上所有与它相 ...

10. 以图搜图 - Google 相似图片搜索原理 - Java实现

    转自:http://blog.csdn.net/luohong722/article/details/7100058 前阵子在阮一峰的博客上看到了这篇<相似图片搜索原理>博客,就有一种冲动 ...

最新文章

1. 【每日训练】2020/11/8（规律 + 二进制、单调栈 + 前缀和，后缀和、bitset + 枚举）
2. mysql+select+unlock_MySQL的locktables和unlocktables的用法（转载）
3. jquery 判断一个对象是否存在
4. org.apache.hadoop.hive.metastore.api.InvalidObjectException: Role public already exists.
5. （软件工程复习核心重点）第十二章软件项目管理-第二节：进度计划
6. php中join用法,PHP join()函数用法与实例讲解
7. 转：NAT traversal 的概念
8. lamp mysql5.0_LAMP-MYSQL安装全步骤
9. 崩溃！因对领导不满前网管离职后远程入侵服务器，致诊疗系统瘫痪！
10. 2020秋招阿里测试开发一面
11. 立体栅格地图_三维栅格地图构建之三：点集到栅格的投射
12. OutLook设置管理规则和通知
13. Nacos的连接拒接丶解决方案
14. python函数教程：len()方法
15. 2021-2025年中国自动化侧面装载机行业市场供需与战略研究报告
16. hdu5514Frogs
17. 通过小型机液晶面板查看FSP/ASMI IP地址
18. CH55x使用Arduino编程记录（三）Could not get xxx consecutive bytes in internal RAM for area OSEG
19. C语言数据类型占字节数
20. 水泥行业一卡通发运系统

热门文章

1. 调用Android自带浏览器打开网页
2. 微信小程序 —— 成员管理及开发管理
3. Tempo - 分布式Loki链路追踪利器
4. win7如何设置wifi热点_教你win7如何设置网络共享文件夹
5. 《通信原理》用matlab实现加性高斯白噪声信道实验
6. 自然语言处理——字符串基础操作及应用
7. devops实践指南_最终的DevOps招聘指南
8. 计算机英语中paste表示,计算机英语常用词汇
9. AbstractApplicationContext的refresh方法
10. VS不能使用回车键和删除键及其他键问题