BERT embedding 降维--BERT whitening

利用BERT whitening可以将embedding 比如768维降到256维

def compute_kernel_bias(vecs, n_components=256):"""计算kernel和biasvecs.shape = [num_samples, embedding_size]，最后的变换：y = (x + bias).dot(kernel)"""mu = vecs.mean(axis=0, keepdims=True)cov = np.cov(vecs.T)u, s, vh = np.linalg.svd(cov)W = np.dot(u, np.diag(1 / np.sqrt(s)))return W[:, :n_components], -mudef transform_and_normalize(vecs, kernel=None, bias=None):""" 最终向量标准化"""if not (kernel is None or bias is None):vecs = (vecs + bias).dot(kernel)return vecs / (vecs**2).sum(axis=1, keepdims=True)**0.5v_data = np.array(v_data)
kernel,bias=compute_kernel_bias(v_data,256)
v_data=transform_and_normalize(v_data, kernel=kernel, bias=bias)

参考：苏剑林. (Jan. 11, 2021). 《你可能不需要BERT-flow：一个线性变换媲美BERT-flow 》[Blog post]. Retrieved from https://spaces.ac.cn/archives/8069

补充

苏剑林. (May. 18, 2022). 《当BERT-whitening引入超参数：总有一款适合你》[Blog post]. Retrieved from https://spaces.ac.cn/archives/9079

BERT embedding 降维--BERT whitening相关推荐

【发展史】自然语言处理中的预训练技术发展史—Word Embedding到Bert模型
目录自然语言处理中的预训练技术发展史-Word Embedding到Bert模型 1 图像领域的预训练 2 Word Embedding考古史 3 从Word Embedding到ELMO 4 从W ...
从 Word Embedding 到 Bert：一起肢解 Bert！
从 Word Embedding 到 Bert 一起肢解 Bert! Chat 简介: 在 NLP 中,Bert 最近很火,是 NLP 重大进展的集大成者,是最近最火爆的 AI 进展之一.最新的 Go ...
Transformer课程第7课Gavin大咖 BERT文本分类-BERT Fine-Tuning
Transformer课程第7课Gavin大咖 BERT文本分类-BERT Fine-Tuning Part III - BERT Fine-Tuning 4. Train Our Classifi ...
BERT模型—1.BERT模型架构
文章目录引言一.Bert模型总览二.注意力机制 1.Seq2seq中的注意力操作 2.注意力的一般形式(三步曲) 3. transformer中的自注意力机制-Self.Attention 4. ...
从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史
本文可以任意转载,转载时请标明作者和出处. 张俊林 2018-11-11 (如果图片浏览有问题可以转至:知乎版本) Bert最近很火,应该是最近最火爆的AI进展,网上的评价很高,那么Bert值得这么高 ...
【深度学习】从Word Embedding到Bert模型
Bert最近很火,应该是最近最火爆的AI进展,网上的评价很高,那么Bert值得这么高的评价吗?我个人判断是值得.那为什么会有这么高的评价呢?是因为它有重大的理论或者模型创新吗?其实并没有,从模型创新角 ...
从Word Embedding到Bert模型：自然语言处理中的预训练技术发展史
转:https://zhuanlan.zhihu.com/p/49271699 作者:张俊林专栏:深度学习前沿笔记目录: 1.图像领域的预训练 2.Word Embedding考古史 3.从Wor ...
从Word Embedding到Bert模型---NLP中预训练发展史
本文转自张俊林老师,希望加深记忆及理解. 本文的主题是自然语言处理中的预训练过程,会大致说下NLP中的预训练技术是一步一步如何发展到Bert模型的,从中可以很自然地看到Bert的思路是如何逐渐形成的, ...
bert做文本摘要_Fine-tune BERT for Summarization: BERT和文本摘要
BERT论文系列导读导读文本摘要主要分为抽取式文本摘要和生成式文本摘要,抽取式文本摘要因为发展的时间比较长,因此在工业界应用的范围比较广.比较常用的抽取式文本摘要的算法就是Textrank,但是呢 ...

BERT embedding 降维--BERT whitening

补充

BERT embedding 降维--BERT whitening相关推荐

最新文章

热门文章