谷歌开源 Embedding Projector 高维数据可视化--转自开源中国

本文转自开源中国，作者达尔文。

原文链接如下：https://www.oschina.net/news/79788/open-sourcing-embedding-projector-tool

博主说：最近想实现特定词向量的可视化，实现这一目标，首先你要有词向量，然后你要有可视化方法。得到词向量的方法有很多，Python中的gensim自带word2vec包，非常友好，4行代码就能训练自己的词向量。此外，好心的Google还为我们训练好了大量的词向量/词组向量，具体可参考https://code.google.com/archive/p/word2vec/。

本文介绍的是在已知词向量的条件下实现其可视化。博主觉得，将高维向量在二维空间可视化，无非是主成分分析等技巧（转载文章时还没仔细阅读其内容）。本文提供了可视化的工具，以及一个可视化的在线版本。

近段时间以来，机器学习领域内的进展已经催生出了很多激动人心的结果，其应用已经延展到了图像识别、语言翻译、医学诊断等许多领域。对研究科学家来说，随着机器学习系统的广泛应用，理解模型解读数据的方式正变得越来越重要。但是，探索数据的一大主要难题是数据往往具有数百个乃至数千个维度，这需要我们使用特别的工具才能研究调查清楚数据空间。

为了实现一种更为直观的探索过程，谷歌今日布开源了一款用于交互式可视化和高维数据分析的网页工具 Embedding Projector，其作为 TensorFlow 的一部分，能带来类似 A.I. Experiment 的效果（参阅：业界 | 谷歌推出 A.I. Experiments：让任何人都可以轻松实验人工智能）。同时，谷歌也在 projector.tensorflow.org 放出了一个可以单独使用的版本，让用户无需安装和运行 TensorFlow 即可进行高维数据的可视化

Embedding Projector 地址：

https://www.tensorflow.org/versions/master/how_tos/embedding_viz/index.html
可单独使用的版本：http://projector.tensorflow.org/
相关论文地址：https://arxiv.org/pdf/1611.05469v1.pdf

探索嵌入（embeddings）

训练机器学习系统所需的数据一开始的形式是计算机无法直接理解的。为了将这些我们人类能够自然而然理解的东西（如：话语、声音或视频）翻译成算法能够处理的形式，我们会使用到嵌入（embeddings）——一种获取了数据的不同方面（即：维度 dimension）的数学向量表征。比如说，在一个语言嵌入中，相似的词会被映射到彼此相近的点。

降维的方法

Embedding Projector 提供了三种常用的数据降维（data dimensionality reduction）方法，这让我们可以更轻松地实现复杂数据的可视化，这三种方法分别是 PCA、t-SNE 和自定义线性投影（custom linear projections）：

PCA 通常可以有效地探索嵌入的内在结构，揭示出数据中最具影响力的维度。
t-SNE 可用于探索局部近邻值（local neighborhoods）和寻找聚类（cluster），可以让开发者确保一个嵌入保留了数据中的所有含义（比如在 MNIST 数据集中，可以看到同样的数字聚类在一起）。
自定义线性投影可以帮助发现数据集中有意义的「方向（direction）」，比如一个语言生成模型中一种正式的语调和随意的语调之间的区别——这让我们可以设计出更具适应性的机器学习系统。

在一个拥有 3.5 万个电子邮件常用短语的语料库中，「see attachment」的 100 个最近的点到「yes」-「yeah」向量上（yes 在右，yeah 在左）的自定义线性投影

谷歌的博客写道：

Embedding Projector 网站包括一些可供试玩的数据组。我们也让用户更容易使用它并与其他人共享他们的嵌入（仅需点击左边的* publish *按钮）。我们希望 Embedding Projector 能有效帮助研究社区探索并调节他们的机器学习应用，也让所有人更好地理解机器学习算法如何解读数据。如果对 Embedding Projector 细节有兴趣，请阅读我们的论文。祝你在嵌入的世界里玩得开心！

以下是论文摘要：

摘要：嵌入在机器学习领域，比如推荐系统、NLP 以及许多其他应用领域中很常见。研究人员和开发者常常需要探索某个具体嵌入的属性，并找到分析嵌入的方法以将它们视觉化。我们为交互式可视化和嵌入的诠释工作推出了 Embedding Projector 这款工具。

原文链接：Open sourcing the Embedding Projector: a tool for visualizing high dimensional data

编译：机器之心

谷歌开源 Embedding Projector 高维数据可视化--转自开源中国相关推荐

python高维数据_t-SNE高维数据可视化（python）
t-SNE实践--sklearn教程 t-SNE是一种集降维与可视化于一体的技术,它是基于SNE可视化的改进,解决了SNE在可视化后样本分布拥挤.边界不明显的特点,是目前最好的降维可视化手段. 关于t ...
R使用tsne进行高维数据可视化实战：二维可视化、三维可视化
R使用tsne进行高维数据可视化实战:二维可视化.三维可视化 t-SNE是一种非常强大的技术,可以用于多维数据中的可视化分析(寻找模式).它对复杂多维数据的可视化能力是显而易见的,它以无监督的方式对数 ...
Python使用tsne进行高维数据可视化实战：二维可视化、三维可视化
Python使用tsne进行高维数据可视化实战:二维可视化.三维可视化 # 绘制二维可视化图像并添加标签字符函数 def plot_embedding(data, label, title):x_mi ...
echarts数据可视化_Golang 数据可视化利器 go-echarts 开源啦
Golang 数据可视化利器 go-echarts 开源啦如果一门语言可以用来写爬虫,那么它就需要一个优雅的数据可视化库. ---沃.兹基硕德在 Golang 这门语言中,目前数据可视化的第三方库 ...
数据可视化分析平台开源方案集锦
B/S 架构的数据可视化分析平台开源方案不完全集锦,供各位参考. 排名不分先后.欢迎补充. kibana Elasticsearch 专用的数据分析检索仪表盘.ELK Stack 中的 K. 日志系统 ...
文件可视化编辑_高维数据可视化必备图形平行坐标图
作者:科研猫 | 小飞鼠责编:科研猫 | 依米如果我们想比较某个数值在不同分组之间的变化差异.或者随着时间序列的变化趋势,往往会用到折线图.折线图是在我们的科研绘图当中最为常用的图形之一. 正如在 ...
matlab利用t-SNE实现高维数据可视化（tsne函数用法实例）
tsne用法 tsne - t-Distributed Stochastic Neighbor Embedding This MATLAB function returns a matrix of t ...
GitHub开源城市结构公交路线数据可视化
本开源项目用公交路线数据,还原城市结构,通过数据可视化手段,还原了 30 多个城市的城市结构. 该项目中有数据获取和处理的脚本,而且该项目充分体现了数据可视化带来的便利和效果,易于激发学习编程的热情. ...
大数据可视化html模板开源_5个最受工程师欢迎的大数据可视化工具
大数据可视化是进行各种大数据分析解决的最重要组成部分之一. 一旦原始数据流被以图像形式表示时,以此做决策就变得容易多了. 为了满足并超越客户的期望,大数据可视化工具应该具备这些特征: 能够处理不同种类 ...
大数据可视化html模板开源_让数据栩栩如生，蚂蚁金服新一代开源数据可视化解决方案——AntV...
介绍 AntV 是蚂蚁金服全新一代数据可视化解决方案,致力于提供一套简单.方便.专业可靠.无限可能的数据可视化最佳实践. 分类 G2 使用文档:https://www.yuque.com/antv/g ...

谷歌开源 Embedding Projector 高维数据可视化--转自开源中国

谷歌开源 Embedding Projector 高维数据可视化--转自开源中国相关推荐

最新文章

热门文章