nodejs做自然语言处理是非常可行的，这次我做了一些小小的尝试，一起来体验一下吧。

因为还保持着对自然语言处理的那份热爱，最近没事的时候会把毕业论文翻出来看（毕业论文的课题就是关于自然语言处理的），然后在我的新博客中加入了一些相关的处理，主要做了以下几个方面：

对每一篇文章进行快速的内容理解，根据标题和内容，输出多个内容标签；
对文章按照内容进行自动分类，为文章聚类、文本内容分析等提供基础；
根据文章标题、用户自定义标签、以及人工智能获得到的标签，进行相似度计算；
在阅读一篇文章的时候，通过相似度计算的结果，推荐相关的文章給用户。

下面给出自动输出内容标签的结果图：

博客系统

运行环境：centos9 + docker

开发语言：nodejs

数据库：MariaDB

开发框架：eggjs + nunjucks（模板引擎）

这次也是我第一次做后端渲染的博客，ajax的网站，做seo是真的不好做...

然后这次也是我第一次正儿八经的用了下阿里大佬们的eggjs，这种“洋葱模型”的框架，我真的是超级喜欢，不管是用es7优雅地处理js异步，还是经典的MVC，还是框架的插件机制等等。确实是超级赞的。如果有喜欢nodejs的同志，强力推荐此框架。

推荐系统

推荐系统是我们平时在用软件，或者网站中经常会遇见的，比如资讯类的，百度feed、头条、qq看点等；电商类的，阿里，京东等等，还有抖音什么的，很多很多。

一个好的推荐系统可以带来更多的收益，but一个不好的推荐系统往往会得到别人的吐槽。之前在脉脉看到某公司CTO收到脉脉推荐的安卓工程师的推荐职位，遭到吐槽。百度李彦宏某天因为没有在feed收到一条重要的科技资讯信息，而吐槽自家员工。这样的事情通常会很多。

我觉得一个好的推荐系统应该更“懂”人，假如我最近一个月前买了一部手机，我希望能给我推送一些手机配件，而不是在给我推送一部手机，这个时候我买手机配件的概率是远远大于在买一部手机的。现在很多推荐系统，都是通过用户画像，加上各种埋点，用户操作数据，从而进行分析推送的。我觉得未必不可以在此基础上加上情感分析，多一个维度，或许能够得到更准确的数据。

说了这么多，我觉得还是有很多瓶颈存在的?，现在的AI就像很多年前的移动互联网，正处于上升期。我们还有很多事情可以做。

下面进入今天的真题..

这次做的文章推荐系统，分享一些细节给大家：

图中右侧部分就是我们这个文章推送系统的推送结果，我们用不同的颜色标注了这篇文章和当前正在浏览的文章的关联度，颜色越深表示关联度越高，置信度越高，权重越大。

这个推荐系统中主要使用了上面所说的第三点：相似度计算；使用的数学模型为空间向量模型，空间向量模型能够将非结构化的文本数据转换成向量形式，表示成向量形式之后能为之后的处理过程打下良好的数学基础。

空间向量模型，帮助我们把每篇文档转化为一个多维的空间向量形式：

其中，向量 W1i表示第一个词占文档 Ci的比重，向量 W2i表示第二个词占文档 Ci的比重，依次类推，向量 Wti表示第 t 个词占文档 Ci的比重。

那么两篇文章的相似度，我们就可以计算他们对应向量的夹角余弦值来进行计算：

两个文档的余弦值越接近 1，这两个文档则越相似。

下面给出计算相似度的关键代码：

转载于:https://juejin.im/post/5bcfdfb3f265da0aa94a4edf

nodejs在自然语言处理中的一些小应用相关推荐

黄萱菁：自然语言处理中的可理解分析
与深度学习所面临的困难相似,目前,大规模应用的神经网络模型同样让自然语言处理领域的研究结果难以解释.模型的性能和可解释性仿佛是天生的敌人,统计结果表明,其性能愈佳,结构就越发复杂,越发难以理解. 在诸 ...
自然语言处理中的N-Gram模型
N-Gram(有时也称为N元模型)是自然语言处理中一个非常重要的概念,通常在NLP中,人们基于一定的语料库,可以利用N-Gram来预计或者评估一个句子是否合理.另外一方面,N-Gram的另外一个作用是 ...
【技术综述】深度学习在自然语言处理中的应用发展史
本篇介绍深度学习在自然语言处理(NLP)中的应用,从词向量开始,到最新最强大的BERT等预训练模型,梗概性的介绍了深度学习近20年在NLP中的一些重大的进展. 作者&编辑 | 小Dream哥 ...
自然语言处理中的语言模型预训练方法
最近,在自然语言处理(NLP)领域中,使用语言模型预训练方法在多项 NLP 任务上都获得了不错的提升,广泛受到了各界的关注.就此,我将最近看的一些相关论文进行总结,选取了几个代表性模型(包括 ELMo ...
自然语言处理中的自注意力机制（Self-Attention Mechanism）
作者丨罗凌学校丨大连理工大学信息检索研究室研究方向丨深度学习,文本分类,实体识别近年来,注意力(Attention)机制被广泛应用到基于深度学习的自然语言处理各个任务中,之前我对早期注意力机制进 ...
自然语言处理中的模式（模式1.概率化模式）
/* 版权声明:可以任意转载,转载时请务必标明文章原始出处和作者信息 .*/ 自然语言处理中的模式(模式1.概率化模式) CopyMiddle: 张俊林 ...
自然语言处理中的Attention Model：是什么以及为什么[二]
转载自自然语言处理中的Attention Model:是什么以及为什么[二] 自然语言处理中的Attention Model:是什么以及为什么[二] 1.Attention Model 图一见下: ...
[转]自然语言处理中的Attention Model：是什么及为什么
自然语言处理中的Attention Model:是什么及为什么 https://blog.csdn.net/malefactor/article/details/50550211 /* 版权声明:可以 ...
深度学习-自然语言处理中的近似训练
自然语言处理中的近似训练跳字模型的核心在于使用softmax运算得到给定中心词wcw_cwc来生成背景词wow_owo的条件概率 P(wo∣wc)=exp(uo⊤vc)∑i∈Vexp(ui⊤vc ...

nodejs在自然语言处理中的一些小应用

博客系统

推荐系统

nodejs在自然语言处理中的一些小应用相关推荐

最新文章

热门文章