项目实训工作记录（二）赵乐乐 201800301115

词向量搜索分析与算法设计

项目实训工作记录（二）赵乐乐 201800301115
1.词向量搜索
2.搜索过程中的问题分析
3.基于效率的算法设计
- 3.1概要
- 3.2聚类算法的具体设计

1.词向量搜索

对于最基础的基于腾讯800万词向量寻找同义词，其核心在于搜索匹配，乃是输入一个同义词后，通过词向量匹配，从800万词向量库中找到正确的同义词，其比较方式为求余弦值，因为同义词之间词向量相差小，夹角小，利用余弦值来衡量夹角大小。

2.搜索过程中的问题分析

因为词向量库太大，如果挨个查询与输入词进行余弦值比较，那么需要很大的计算量，使得查询的效率很低，无法满足用户的查询要求。

3.基于效率的算法设计

3.1概要

为了提升效率，显然要改变最基础的查询方式，设计一种提升效率的查询算法。
两位小组成员进行了过滤处理，以过滤掉没有同义词的那些词向量。
我提出了聚类的想法，与另一位小组成员进行了沟通与商讨，并决定分别用代码实现，其中，我负责用Python语言完成代码工作。

3.2聚类算法的具体设计

1.使用聚类的方式将800万词向量存入数据库
2.具体工作流程如下：
2.1设置聚类阈值角度a，对应余弦值
2.2按序读词向量，每一个词向量与之前的词向量类的中心向量比较，若满足阈值条件加入该类，否则以该向量为中心向量建立新类。
3.从数据库搜索同义词
4…具体工作流程如下：
4.1搜索时以2a对应的余弦值为搜索范围，找到所有对应范围内的中心向量对应的类，并依次检索，找到满足条件b范围的所有词向量作为同义词输出。

项目实训工作记录（二）相关推荐

项目实训工作总结(2)
尝试利用决策树进行分类以及成绩预测任务是回归,组长大佬在用各种模型做回归,于是我想先进行分类(后来老师指导说可以先尝试进行分类),通过之前机器学习课的学习,对于这种多属性的数据进行分类,我的第一尝试 ...
项目实训（十二）FPS游戏之角色移动的脚步声
文章目录前言一.存放脚步声音二.设置脚步声 1.角色发出声音的必备条件 2.如何检测角色是否有移动 3.如何实现角色踩踏位置的对应材质的声音三.修复下蹲移动时没有脚步声音前言 FPS游戏之角 ...
创新实训工作记录2018-5-31
我们拍摄了第五集剧本,地点包括教学楼和宿舍,并且我使用pr完成初步的剪辑合成.
学生计算机培训照片,四川新华电脑学校三维项目实训室参观照片
四川新华电脑学校为加强学生的实践动手能力,每个专业开设项目实训室,新华独创"任务驱动式五步教学法"让每位新华学子理论与实践并驾齐驱,学校课程设置改革紧跟市场需求,市场需要什么人才, ...
项目实训-关键词提取-任务理解工作分配
项目实训记录系列博客一马当先,争做国家栋梁. 博客说明本博客初衷是用于学校项目实训知识梳理.工作内容.收获感悟的记录. 若能在您的学习之路上有所帮助,不胜荣幸.但若需转载,也请注明出处. 博客包含 ...
项目实训 - 智能车系统 - 第七周记录
项目实训 - 智能车系统 - 第七周记录日期:4.04 – 4.10 项目进度本周工作进展: 更换了底层的通信框架(shm) 熟悉速腾雷达驱动,以及ros相关驱动,为二次开发驱动做准备 1.更换底 ...
项目实训记录（1-2周）
前言我是我们项目实训小队的队长,负责了开题答辩.下面是项目实训1-2周的工作记录. 一.确定选题我们小组四个同学就选题进行了很长时间的讨论,最后确定选择做一个基于人工智能技术的大学生辅助学习系统. ...
山东大学软件学院项目实训-创新实训-山大软院网络攻防靶场实验平台（二）-docker安装与学习
目录前言: 一.docker安装 1.centos7使用yum安装二.命令行创建 docker 容器测试前言: 项目实训立项通过后的几天均在学习 docker 的相关知识,上一篇文章也简单记述了 ...
项目实训-收尾工作-组织协调
项目实训记录系列博客一马当先,争做国家栋梁. 博客说明本博客初衷是用于学校项目实训知识梳理.工作内容.收获感悟的记录. 若能在您的学习之路上有所帮助,不胜荣幸.但若需转载,也请注明出处. 博客包含 ...

项目实训工作记录（二）