“技术需求”与“技术成果”项目之间关联度计算模型 复赛top1解决方案
向AI转型的程序员都关注了这个号????????????
机器学习AI算法工程 公众号:datayx
技术需求库和技术成果库的数据来源有两种:
(1)会员单位发布;
(2)非会员单位官方网站采集。每月新增数据量约3000个项目。
根据项目信息的文本含义,为供需双方提供关联度较高的对应信息(需求——成果智能匹配服务),是平台的一项功能需求。
技术需求与技术成果之间的关联度分为四个层级:
强相关、较强相关、弱相关、无相关。
人工判断技术需求和技术成果关联度的方法是:
从事技术转移工作的专职工作人员,阅读技术需求文本和技术成果文本,根据个人经验予以标注。
数据说明
https://www.datafountain.cn/competitions/359/datasets
本文项目代码 获取方式:
关注微信公众号 datayx 然后回复 关联度 即可获取。
AI项目体验地址 https://loveai.tech
数据清洗
对技术成果和技术需求的较短内容进行筛选查看,发现其中存在一定量的空白、“\n”、“未提供。”等无用信息。使用对应标题对无用信息进行替换。
数据增广
对问题进一步化简,可以简化成两个文本之间的关联度计算。
1.那么A文本与B文本之间关联度,同样也是B文本与A文本之间关联度。该方法在仅取标题时可以提升成绩。当加入内容时会造成过拟合,最终未采用该方法。
2.那么假设A文本与B文本之间关联度为4,A文本与C文本之间关联度为3,那么可以假定B文本与C文本之间关联度为3,按照这个思路可以假设关联矩阵。
其中A文本与B文本之间关联度为i,A文本与C文本之间关联度为j,那么B文本与C文本之间关联度为R_(i,j)。此方法可增加数据295994条,从中按照原数据集各个关联度等级的比例从中随机取出10000条。该方法我认为具有一定的可能性,但由于训练时间过长、提交次数有限,尝试过的参数均会造成过拟合现象。最终模型中未对数据进行数据增广。
模型
1.标题与内容拼接的孪生BERT模型
2.分别进行标题与内容关联度判别的孪生BERT模型
3.分别进行标题与内容关联度判别的伪孪生BERT模型
最终只采用这个模型,也没有进行融合。当然可以很简单的认为它就是分别使用两个BERT进行相似度判别然后进行拼接。其中进行技术成果标题与技术需求标题关联度计算的BERT采用谷歌开源的BERT-base;进行技术成果内容与技术需求内容关联度计算的BERT采用哈工大讯飞联合实验室发布基于全词覆盖的BERT-WWM。该预训练由于采用了全词覆盖,在多数情况下可以取得更好的效果。在第一个进行技术成果标题与技术需求标题关联度计算的BERT中输入最大长度MaxLenT设置为128,两个标题拼接最大长度也没有超过128个字,同时这样可以减少训练时间和显存需求;在第二个进行技术成果内容与技术需求内容关联度计算的BERT-WWM中输入最大长度MaxLenC设置为512,尽可能多的读取数据内容。两个BERT都采用12layers, 768hidden states, 12heads版本,该模型采用7折交叉验证,其中batch size取16,epoch取8,并在训练时保存较好的模型权值,初始学习率设置成5e-5,后续学习率设置成1e-5。
模型对比
1.其中BERT-base、RoBERTa-base、BERT+数据增广-1、BERT+数据增广-2、BERT+数据增广-3模型中输入均只有技术成果标题与技术需求标题,MaxLenT为128,其余超参数与最终模型中基本相同。
2.孪生BERT-1模型为标题与内容拼接的孪生BERT模型,MaxLen为512,其余超参数与最终模型中基本相同。
3.孪生BERT-2模型为分别进行标题与内容关联度判别的孪生BERT模型,MaxLen为512,其余超参数与最终模型中基本相同。
4.BERT+数据增广-1模型中,数据增广采用第一种方式。
5.BERT+数据增广-2模型中,数据增广采用第二种方式,且取全部增广数据。
6.BERT+数据增广-3模型中,数据增广采用第二种方式,但按照原数据集各个关联度等级的比例从中随机取出。
7.BERT-T128C512模型中BERT均采用谷歌发布的BERT-base,其余超参数与最终模型中相同。
8.BERT-WWM-T128C512模型中BERT均采用采用哈工大讯飞联合实验室发布的BERT-WWM,其余超参数与最终模型中相同。
9.最终模型中标题采用谷歌发布的BERT-base,内容采用哈工大讯飞联合实验室发布的BERT-WWM。
总结
我个人认为BERT-WWM预训练相比于BERT预训练对中文效果应该更好,而得到这样的结果,可能的原因是两个预训练在训练时使用的语料库不同,标题部分中专业名词比重较大且短小,BERT对此比较敏感,而BERT-WWM对常规文本比较敏感。当然这个成绩中也有预测偏好处理的功劳。
阅读过本文的人还看了以下文章:
【全套视频课】最全的目标检测算法系列讲解,通俗易懂!
《美团机器学习实践》_美团算法团队.pdf
《深度学习入门:基于Python的理论与实现》高清中文PDF+源码
python就业班学习视频,从入门到实战项目
2019最新《PyTorch自然语言处理》英、中文版PDF+源码
《21个项目玩转深度学习:基于TensorFlow的实践详解》完整版PDF+附书代码
《深度学习之pytorch》pdf+附书源码
PyTorch深度学习快速实战入门《pytorch-handbook》
【下载】豆瓣评分8.1,《机器学习实战:基于Scikit-Learn和TensorFlow》
《Python数据分析与挖掘实战》PDF+完整源码
汽车行业完整知识图谱项目实战视频(全23课)
李沐大神开源《动手学深度学习》,加州伯克利深度学习(2019春)教材
笔记、代码清晰易懂!李航《统计学习方法》最新资源全套!
《神经网络与深度学习》最新2018版中英PDF+源码
将机器学习模型部署为REST API
FashionAI服装属性标签图像识别Top1-5方案分享
重要开源!CNN-RNN-CTC 实现手写汉字识别
yolo3 检测出图像中的不规则汉字
同样是机器学习算法工程师,你的面试为什么过不了?
前海征信大数据算法:风险概率预测
【Keras】完整实现‘交通标志’分类、‘票据’分类两个项目,让你掌握深度学习图像分类
VGG16迁移学习,实现医学图像识别分类工程项目
特征工程(一)
特征工程(二) :文本数据的展开、过滤和分块
特征工程(三):特征缩放,从词袋到 TF-IDF
特征工程(四): 类别特征
特征工程(五): PCA 降维
特征工程(六): 非线性特征提取和模型堆叠
特征工程(七):图像特征提取和深度学习
如何利用全新的决策树集成级联结构gcForest做特征工程并打分?
Machine Learning Yearning 中文翻译稿
蚂蚁金服2018秋招-算法工程师(共四面)通过
全球AI挑战-场景分类的比赛源码(多模型融合)
斯坦福CS230官方指南:CNN、RNN及使用技巧速查(打印收藏)
python+flask搭建CNN在线识别手写中文网站
中科院Kaggle全球文本匹配竞赛华人第1名团队-深度学习与特征工程
不断更新资源
深度学习、机器学习、数据分析、python
搜索公众号添加: datayx
长按图片,识别二维码,点关注
机器学习算法资源社群
不断上传电子版PDF资料
技术问题求解
QQ群号: 333972581
长按图片,识别二维码
“技术需求”与“技术成果”项目之间关联度计算模型 复赛top1解决方案相关推荐
- tensorboard ckpt pb 模型的输出节点_“技术需求”与“技术成果”项目之间关联度计算模型 TOP10 baseline...
竞赛网址:传送门 线上分数:0.78490746000,目前可以进入前10 参考了苏神的代码,非常感谢:传送门 调参技巧:传送门 中文bert权重:传送门 #! -*- coding:utf-8 -* ...
- “技术需求”与“技术成果”项目之间关联度计算模型top1
向AI转型的程序员都关注了这个号
- CCF BDCI 技术需求与技术成果关联度冠军分享
"技术需求"与"技术成果"关联度比赛 CCF BDCI "技术需求"与"技术成果"项目之间关联度计算比赛由中国计算机学会 ...
- 最新成果展示:Ga2O3-SBD计算模型
近年来,Ga2O3材料凭借着优越的电学与光学特性,愈发引起了研究人员的强烈关注,同时被广泛地应用于各类高功率半导体器件与光电子器件.因此,借助于计算软件对其内部物理机制的研究便显得尤为重要,可帮助研究 ...
- 《重大技术需求征集系统》项目目标文档
分组:每四人一组 主题:xxx征集系统 成果: 讨论结束后,每组提交一份课堂讨论记录(电子版发表到博客上,纸质版小组成员签名,下节课提交). 每人根据课堂讨论结果提交一份系统利益相关者描述案例.撰写项 ...
- 神策数据陈宁:前端国际化技术需求及模型实现
本文根据神策数据资深前端研发工程师陈宁<前端国际化>的直播整理而成,主要包含以下内容: · 国际化概述 · 国际化技术需求 · 国际化技术模型 · 国际化技术模型实现 一.国际化概述 国际 ...
- 如何评估小程序开发费用:从项目规模到技术需求
作为一种越来越受欢迎的移动应用,小程序的开发费用是许多企业和个人考虑的重要因素之一.但是,要确定小程序开发费用并不是一件容易的事情,因为它涉及到多个因素,从项目规模到技术需求. 项目规模 小程序开发的 ...
- 大数据数仓项目总结(一)需求、技术选型、框架版本、服务器、集群规模
文章目录 一.需求描述 1)项目大致需求 2)需考虑的问题 二.项目框架及选型 1.技术选型 2.项目架构与数据流程 3.框架版本选择 1)Hadoop发行版本选择 2)Apache框架版本具体型号 ...
- picc邮箱服务器,Picc南中心服务器管理系统(一期)项目采购需求及技术服务要求.docx...
南中心服务器管理系统项目(一期) 采购需求及技术服务要求 功能需求 1.数据采集 (1)数据采集方式 支持主动方式定期轮询抓取各类受监控设备硬件运行状态(包括正常与告警状态)信息数据:支持被动方式实时 ...
最新文章
- 程序员的浪漫,你值得拥有!
- 组会PPT20200910《大工HPT放电结果错误剖析》
- 万物智联时代的终端智能「管家」重磅升级:混合云IoT一体机
- “命令终端”的实现2-字符读取及按键控制
- Delphi中destroy, free, freeAndNil, release用法和区别
- [原创]Installshield工具介绍
- 在应用中集成科大讯飞的语音识别技术
- python常用字符串_Python中最常用的字符串方法!
- 各省简称 拼音 缩写_全国城市拼音 缩写
- 《HBase权威指南》一第1章 简介
- 将Shapefile(SHP)转换为Surfer中的网格(GRD)的方法-通用方法。
- 计算机考研考电路学校,集成电路工程考研学校排名
- 谷歌网盘云盘google drive扩容方法
- 我深爱的Java,对不起,我出轨了!!!呸!渣男!
- 【JAVA】PAT 乙级 1059 C语言竞赛(测试点1、2超时) 内含1-10000的素数表和0-10000是否素数的boolean值
- dns劫持 tplink_解决路由器DNS劫持的两种方法
- java远程桌面连接不上_怎么解决无法连接远程桌面?
- linux下搭建游戏服务器运行环境
- 利用三级结构进行蛋白质嵌入的自我监督预训练
- Going Home - ( 抽屉原理 )
热门文章
- 为什么你应该在 OpenResty 项目中使用 lua-resty-core
- 基于 vue + zhengAdmin 的一套后台模板
- 《JavaScript开发框架权威指南》——1.4 查找、添加和删除Bower包
- Optical Flow related Tutorials
- CentOS6.5升级内核
- PHP面向对象常见符号总结($this- 、self ::)
- SpringMVC+Spring3+Hibernate4
- 计算机组成大学考试,计算机组成原理本科期末试题4套含答案(大学期末复习资料)(21页)-原创力文档...
- android中fragment如何保存edittext文本,如何在Android中使用DialogFragment进行文本输入?...
- node怎么解析vue代码_vue中node_modules中第三方模块的修改使用详解