香港中文大学最近的研究成果：Fashion Landmark Detection in the Wild 

github地址：https://github.com/liuziwei7/fashion-landmarks

这项工作提出了时尚关键点检测或时尚对齐（通过三层级联网络）,预测关键点位置上的时尚物品,如领口的角落,裙摆,袖口，同时实现了时尚衣物检索功能。

.

---

一、时尚数据集：Large-scale Fashion (DeepFashion) Database

网址：http://mmlab.ie.cuhk.edu.hk/projects/DeepFashion.html 
可扫码看到这一数据集： 

目前有以下几类数据集： 
1. Category and Attribute Prediction Benchmark 

1. In-shop Clothes Retrieval Benchmark 
   
2. Consumer-to-shop Clothes Retrieval Benchmark 
   
3. Fashion Landmark Detection Benchmark 
   
   .

---

二、预训练好的caffemodel

三个预先训练好的：

• 3-stage cascaded CNN models trained on upper-body clothes of Fashion 
  Landmark Detection Benchmark (FLD).
• 3-stage cascaded CNN models trained on lower-body clothes of Fashion 
  Landmark Detection Benchmark (FLD).
• 3-stage cascaded CNN models trained on full-body clothes of Fashion 
  Landmark Detection Benchmark (FLD). 
  .

---

三、服装对齐技术

结果： 
 
.

---

四、应用一：用深度学习算法感知你的穿衣风格

来源于：大数据与多模态计算公众号

人们常说“所见即所得。”在推荐系统中，视觉信息也扮演着十分重要的角色，尤其是在服装、珠宝、装饰等外观对人们的选择起着重大作用的领域中。因此，研究用户喜好和商品特性的视觉维度变成了一个很重要的任务。 
近年来，服装等商品的搭配、推荐受到了广泛的关注，并在基于视觉的推荐问题中取得了一定的成果。但是，目前工作对于商品的表征，往往是在一个通用的视觉特征空间中，比如CNN (Convolutional Neural Networks)网络的输出层特征。这样的视觉特征表示，对商品的类别比较敏感，却难以建模商品的不同风格。如下图所示，我们根据CNN网络的输出层特征对Amazon数据中的服装商品进行聚类，每一行表示一个类别。可以看到，不同类别的服装（比如，上衣、裙子、裤子、鞋等）被聚类到了一起，而不同风格的服装（比如，正式、休闲、运动等）没有被聚类到一起，甚至男装和女装间的区分度也很低。 
这样的视觉特征表示很难有效地用于推荐系统中，因为相似风格的商品往往会被同一个人同时购买，但在视觉特征空间中却并不相似，这就为提升推荐效果带来了难度。比如，西裤和皮鞋一般是搭配在一起并被同时购买的，但西裤和皮鞋的相似度要远远小于西裤和牛仔裤的相似度。 
根据上面的观察，我们提出了一个假设：一个商品（item）由风格（style）和类别（category）两部分构成，并且满足： 
商品（item）= 风格（style）+ 类别（category）

基于上面的假设，我们提出了DeepStyle方法，学习用户的喜好和商品的风格属性，并应用于基于视觉的推荐中。 
 
在DeepStyle模型中，我们将每个商品的图片输入到CNN网络中，其中这个CNN网络在ImageNet上经过了预训练。经过CNN，我们可以得到每个商品的视觉特征向量。然后，根据前文的假设，我们从商品的视觉特征向量中减除了该商品对应类别的隐含表达，进而得到了商品的风格特征向量。 
随后，我们将得到的风格特征向量输入到BPR (Bayesian Personalized Ranking)框架中实现个性化推荐。对每个用户，采样正负商品样本对（正样本表示实际购买了的商品，负样本表示没有购买过的商品），通过优化，尽量扩大该用户和正样本的相似度，减小和负样本的相似度。我们的模型以用户的实际购买记录为监督进行训练，以SGD (Stochastic Gradient Descent)进行参数学习，直至模型收敛。 
还对模型学习得到的商品风格特征向量进行了聚类，如下图所示，每一个方框中的商品属于一个类别： 
 
可以看到，DeepStyle学到的风格特征可以很好地表征商品的不同风格，有效地挖掘用户的喜好，而在训练过程中完全没有商品风格方面的监督信息。 
.

---

延伸一：DeepFashion: Powering Robust Clothes Recognition and Retrieval with Rich Annotations （CVPR 2016）

来源：基于深度学习的视觉实例搜索研究进展 
介绍了衣服识别和搜索，同样是与实例搜索相关的任务，来自于香港中文大学Ziwei Liu等人的工作。首先，本篇文章介绍了一个名为DeepFashion的衣服数据库。该数据库包含超过800K张的衣服图片，50个细粒度类别和1000个属性，并还额外提供衣服的关键点和跨姿态/跨领域的衣服对关系（cross-pose/cross-domain pair correspondences）

然后为了说明该数据库的效果，作者提出了一种新颖的深度学习网络，FashionNet——通过联合预测衣服的关键点和属性，学习得到更具区分性的特征。该网络的总体框架如下所示： 
 
FashionNet的前向计算过程总共分为三个阶段：第一个阶段，将一张衣服图片输入到网络中的蓝色分支，去预测衣服的关键点是否可见和位置。第二个阶段，根据在上一步预测的关键点位置，关键点池化层（landmark pooling layer）得到衣服的局部特征。第三个阶段，将“fc6 global”层的全局特征和“fc6 local”的局部特征拼接在一起组成“fc7_fusion”，作为最终的图像特征。FashionNet引入了四种损失函数，并采用一种迭代训练的方式去优化。这些损失分别为：回归损失对应于关键点定位，softmax损失对应于关键点是否可见和衣服类别，交叉熵损失函数对应属性预测和三元组损失函数对应于衣服之间的相似度学习。作者分别从衣服分类，属性预测和衣服搜索这三个方面，将FashionNet与其他方法相比较，都取得了明显更好的效果。

总结：当有足够多的有标注数据时，深度学习可以同时学习图像特征和度量函数。其背后的思想就是根据给定的度量函数，学习特征使得特征在该度量空间下具有最好的判别性。因此端到端的特征学习方法的主要研究方向就是如何构建更好的特征表示形式和损失函数形式。

DeepFashion︱衣物时尚元素关键点定位+时尚元素对齐技术相关推荐

1. python︱利用dlib和opencv实现简单换脸、人脸对齐、关键点定位与画图

   这是一个利用dlib进行关键点定位 + opencv处理的人脸对齐.换脸.关键点识别的小demo.原文来自于<Switching Eds: Face swapping with Python, ...

2. AI换脸-简单换脸、人脸对齐、关键点定位与画图

   ```bash简单换脸.人脸对齐.关键点定位与画图有人将其进行中文翻译也有将其进行一定改编有以下两个案例:1.<川普撞脸希拉里(基于 OpenCV 的面部特征交换)-2>变脸变脸贴图:从这 ...

3. 跳过人脸检测和关键点定位，Facebook等提出实时3D人脸姿态估计新方法

   本文转载自机器之心. 来自 Facebook AI 和美国圣母大学的研究者提出了一种 6 自由度的实时 3D 人脸姿态估计技术,可以不依赖人脸检测和人脸关键点定位独立运行. 人脸检测是给照片中的每个人 ...

4. 旷视周而进：人脸识别简史与距离对齐技术的应用

   点击我爱计算机视觉标星,更快获取CVML新技术 目录 人脸识别系统简介 引言 基本工作流程 性能判断指标 如何找到好的人脸表示 人脸识别的实际应用挑战 人脸识别系统简介 引言 今天的分享主题是人脸识别 ...

5. 68点人脸关键点定位

   人脸对齐/人脸关键点基本概念 根据输入的人脸图像,自动定位出面部关键特征点,如眼睛,鼻尖,嘴角点,眉毛以及人脸各部件轮廓点等 想要表示形状信息时,使用的是点的集合(向量) 2D人脸:5 / 21 / ...

6. 深度有趣 | 27 服饰关键点定位

   简介 介绍如何使用CPM(Convolutional Pose Machines)实现服饰关键点定位 原理 关键点定位是一类常见而有用的任务,某种意义上可以理解为一种特征工程 人脸关键点定位,可用于人 ...

7. 深度学习项目实战-关键点定位视频课程

   课程目标 快速掌握如何使用caffe框架完成一个深度学习的实际项目 适用人群 深度学习爱好者,全民皆可入门 课程简介 深度学习项目实战-关键点定位课程以人脸关键点检测为背景,选择多阶段检测的网络架构, ...

8. 直播 | 腾讯天衍实验室张子恒：详细解读天衍实验室知识图谱对齐技术

   「AI Drive」是由 PaperWeekly 和 biendata 共同发起的学术直播间,旨在帮助更多的青年学者宣传其最新科研成果.我们一直认为,单向地输出知识并不是一个最好的方式,而有效地反馈和 ...

9. 无人机导航定位系统Java_无人机高精度室内定位导航的技术方案

   原标题:无人机高精度室内定位导航的技术方案 因为一些特殊的用途,比如室内表演,编队室内飞行等,无人机不可避免会在室内飞行,无人机对室内定位精度的要求很高,室内空间本身就不会太大,若定位精度不高很容易造 ...

最新文章

1. access“idno”字段改为文本型_结构化文本计算示例（一）
2. 一天掌握AI核心技术，上手应用，开发者该划哪些重点？
3. mysql数据库引擎博客_2、MySQL常见数据库引擎及比较？
4. android 常用类
5. 八大主流Linux桌面环境特性汇总报告
6. 浏览器插件-- Browser Helper Object（BHO） 一
7. Windows Phone开发（30）：图形 转：http://blog.csdn.net/tcjiaan/article/details/7453028
8. python中的深浅拷贝
9. maven打包失败：自定义项目工具类打包给其他微服务使用
10. java实现modbus rtu协议与 modscan等工具
11. 2021-07-22MATLAB基于元胞自动机模型的传染病扩散模型
12. 给大家讲解一下 AIDL原理分析
13. 【平衡小车】新手应知一二之过程梳理和问题总结
14. 2021-01-12
15. 将大文本文件分割成多个小文件
16. 阿里云国际站和国内站的区别
17. VSCode-工控机远程开发 之（一） VSCode无法连接扩展商店
18. 【深度学习理论】(5) 图卷积神经网络 GCN
19. mysql int等字段括号里的数字含义和作用
20. 使用Wechaty搭建微信文件日程匣子

热门文章

1. 语音信号处理_书单 | 语音研究进阶指南
2. pymongo多结果进行多列排序的代码
3. linux shell rman删除归档_Oracle备份恢复必会--rman迁移，附实验步骤介绍
4. 一步步教你下载centos镜像
5. 力特usb转232驱动程序下载_毕亚兹 USB转RJ45网线接口USB扩充口，特殊时期在家办公更轻松...
6. gradle build connection reset or protocol_version build failure
7. python:get和set
8. Rsession: R sessions wrapping for Java
9. localStorage、sessionStorage、Cookie的区别及用法
10. js导出生成PDF插件