本文内容主要分为以下四部分：

神经搜索的背景及优势

一、什么是神经搜索？

神经搜索 (Neural Search) 由 Jina AI 首创，可以理解为 Deep Learning for Search 的简称，是指借助深度学习技术，使用非结构化数据，搜索非结构数据。

神经搜索包括两个重要部分：信息搜索及深度学习技术。

1、神经搜索之信息搜索

提到搜索，最直观的理解就是 Google、百度、Amazon 网站首页上的搜索框，用户在搜索框里输入关键词，搜索系统给用户返回和关键词匹配的相关内容。

实际上搜索不仅仅是我们现在看到的交互页面，它还包括其他场景，例如用搜索实现一个聊天机器人，用户问一双鞋的格，聊天机器人返回一些相关信息。

搜索的输入也可以是 PDF 文档，返回也是 PDF。PDF 里包含的信息不是简单的关键字，而是大段文本。类似的搜索问题用传统搜索方法难以解决。

此外还有听歌识谱，搜索的输入是音乐片段，返回跟它最相似的音乐。或者输入一个关于足球的短视频，搜索到和足球相关的短视频片段。

同样也可以输入一双鞋的图片，返回和这张图片相似的商品。如淘宝淘立拍，用户在手机上拍一张商品照片，可以直接从淘宝找到商品的链接信息。

使用神经搜索技术，上述比较复杂的搜索场景，就比较容易实现。

上文中提到的图片、音频、视频、3D 模型等，都是非结构数据。与非结构化数据相对应的，是结构化数据。

结构化数据：以常用的数据库为代表，所有信息都是定义好的，可以直接进行快速搜索。

比较常见的是以关系数据库为代表的数据，或 Excel 里所有值的含义都是定义好的，可以直接用 SQL 语句搜索。

非结构化数据：没有明确定义好的、可供搜索的结构化信息。

例如给定一张图片，在计算机中它表达的只是一个三通道的 RGB 数值，计算机无法理解这张图片里面包含的具体信息——它里面包含的是猫是狗，还是风景？它只是计算机中的数字而已，不能直接对非结构化数据进行搜索。

2、神经搜索之深度学习技术

利用深度学习技术，可以实现非结构化数据的搜索。例如给定非结构化数据，借助深度神经网络模型，对非结构化数据进行转换，例如识别图片的文字描述，或离散的文字标签。

借助深度神经网络，可以对图片进行特征提取。这个特征是一些浮点数组，里面主要使用的方法，是借助神经网络提取非结构化数据的关键特征，然后基于这个特征（结构化数据），采用搜索算法进行搜索识别。

把非结构化数据转换成文字，也可以通过传统的文字搜索技术，对视频音频进行检索。

转化成文字的方法存在天然劣势，我们很难用文字完全覆盖或表达出原始数据里表达的信息。例如给定一张图片，可以直接对图片类别打标签，假如图片上是一只狗，但是可能还包含一些详细信息，如狗的颜色、品种、年龄等，这些信息都很难用一段文字完全表达出来。

我们比较推崇直接采用关键特征的方式解决这种问题，因为如果把非结构化数据转换成一些特征，那么它的搜索问题，就转变成了语义特征相似的搜索问题。

给定一些猫猫狗狗的照片，对每个照片里面的猫猫狗狗做特征的二维描述。横轴是种类（是猫还是狗），代表像猫/狗的程度。纵轴表示可爱程度。每个图片都可以由二维特征来表达，每张图片都可以被表达成这个空间中的一个点。

如果搜索一张小白狗的图片，如何搜索最相似的一张狗的图片？我们先描述小白狗的特征，它的特征值可能落到某个位置，然后通过找到它的最近邻来找到跟小白狗最相似的一张图片。

二、神经搜索的优势

传统的文本搜索（右）给定一个关键词，对关键词的处理包含正则化、分词、找词根拼写错误检查、识别实体类型、进行消歧等多个步骤，例如判定用户输入苹果，想搜的是水果还是手机

* 搜索结果完全根据特征向量与相关度来决定，只要特征向量提取的足够好，就可以通过特征向量之间的相似度，找到和它相似度最高的相关文档。

* 不再局限于文本检索，所有可以向量化的物品，都可以通过神经搜索方案实现搜索，例如图片、视频甚至 3D 模型、音频等。只要神经网络可以提取特征，就可以用这样的技术完成复杂类型数据的搜索。

* 更容易集成最新的深度学习算法和技术，提供丰富的语义特征。

神经搜索的关键技术

神经搜索过程：给定复杂的非结构化数据

分享回顾 | 基于深度学习的神经语义搜索相关推荐

基于深度学习的三维语义理解（分割）综述列表
基于深度学习的三维语义理解(分割)综述列表文章目录基于深度学习的三维语义理解(分割)综述列表前言基于深度学习的三维语义理解(分割)综述列表一. 从单一三维模型中进行深度学习 1.1基于点云的 ...
【深度学习】神经网络结构搜索（NAS）与多模态
[深度学习]神经网络结构搜索(NAS)与多模态文章目录1 概述 2 经典的NAS方法2.1 搜索空间2.2 搜索策略2.3 性能评估 3 多模态 4 多模态表示学习 Multimodal Repre ...
语义分割源代码_综述 | 基于深度学习的实时语义分割方法：全面调研
34页综述,共计119篇参考文献.本文对图像分割中的最新深度学习体系结构进行了全面分析,更重要的是,它提供了广泛的技术列表以实现快速推理和计算效率. A Survey on Deep Learning ...
基于深度学习的图像语义分割技术概述之背景与深度网络架构
本文为论文阅读笔记,不当之处,敬请指正. A Review on Deep Learning Techniques Applied to Semantic Segmentation: 原文链接摘要 ...
基于深度学习的图像语义分割技术概述之4常用方法
本文为论文阅读笔记,不当之处,敬请指正. A Review on Deep Learning Techniques Applied to Semantic Segmentation:原文链接 4 深度 ...
基于深度学习的图像语义编辑
深度学习在图像分类.物体检测.图像分割等计算机视觉问题上都取得了很大的进展,被认为可以提取图像高层语义特征.基于此,衍生出了很多有意思的图像应用. 为了提升本文的可读性,我们先来看几个效果图. 图1. ...
谷俊丽分享之基于深度学习的大数据挖掘
谷俊丽:博士学历,毕业于清华大学-美国University of Illinois Urbana-champaign大学,在清华期间作为核心人员研发过超长指令字数字信号处理器,在美期间曾参与UIUC超 ...
基于深度学习的自然图像和医学图像分割：网络结构设计
来源:知乎.极市平台.深度学习爱好者作者丨李慕清@知乎 https://zhuanlan.zhihu.com/p/104854615 本文约5100字,建议阅读10分钟本文首先介绍一些经典的语义分割 ...
基于深度学习的端到端人脸识别技术：全面调研
44页,共计371篇参考文献.本文全面介绍了端到端深度学习人脸识别技术,包括人脸检测,人脸预处理和人脸表征等方向,详细介绍了最新的算法设计,评估指标,数据集,性能比较等. The Elements o ...

分享回顾 | 基于深度学习的神经语义搜索