小型金融知识图谱构流程示范
向AI转型的程序员都关注了这个号????????????
人工智能大数据与深度学习 公众号:datayx
1. 知识图谱存储方式
知识图谱存储方式主要包含资源描述框架(Resource Description Framework,RDF)和图数据库(Graph Database)。
1.1 资源描述框架特性
存储为三元组(Triple)
标准的推理引擎
W3C标准
易于发布数据
多数为学术界场景
1.2 图数据库特性
节点和关系均可以包含属性
没有标准的推理引擎
图的遍历效率高
事务管理
多数为工业界场景
代码 获取方式:
分享本文到朋友圈
关注微信公众号 datayx 然后回复 知识图谱 即可获取。
AI项目体验地址 https://loveai.tech
单肩包/双肩包/斜挎包/手提包/胸包/旅行包/上课书包 /个性布袋等各式包饰挑选
https://shop585613237.taobao.com/
↓
2. 图数据库neo4j
neo4j是一款NoSQL图数据库,具备高性能的读写可扩展性,基于高效的图形查询语言Cypher
,更多介绍可访问neo4j官网,官网还提供了Online Sandbox实现快速上手体验。
2.1 软件下载
下载链接:https://neo4j.com/download-center/
3. 知识图谱数据准备
3.1 数据接口
免费开源金融数据接口:Tip: Tushare免费账号可能无法拉取数据,可参考issues提供的股票数据获取方法: https://github.com/jm199504/Financial-Knowledge-Graphs/issues/2#issuecomment-801732782
3.1.1 Tushare
官网链接:http://www.tushare.org/
3.1.2 JointQuant
官网链接:https://www.joinquant.com/
3.1.3 导入模块
5 数据可视化查询
基于Crypher语言,以平安银行为例进行可视化查询。
5.1 查看所有关联实体
5.2 限制显示数量
计算股票间对数收益率的相关系数后,查看与平安银行股票相关联的实体
5.3 指定股票间对数收益率相关系数
6 neo4j 图算法
6.1.中心度算法(Centralities)
PageRank(页面排名)
ArticleRank(文章排名)
Betweenness Centrality (中介中心度)
Closeness Centrality (接近中心度)
Harmonic Centrality(谐波中心度)
6.2 社区检测算法(Community detection)
Louvain (鲁汶算法)
[Label Propagation (标签传播)](Label Propagation)
[Connected Components (连通组件)](Connected Components)
[Strongly Connected Components (强连通组件)](Strongly Connected Components )
[Triangle Counting / Clustering Coefficient (三角计数/聚类系数)](Triangle Counting / Clustering Coefficient)
6.3 路径搜索算法(Path finding)
Minimum Weight Spanning Tree (最小权重生成树)
Shortest Path (最短路径)
Single Source Shortest Path (单源最短路径)
All Pairs Shortest Path (全顶点对最短路径)
A*(A星)
Yen’s K-shortest Paths(Yen-K最短路径)
Random Walk (随机游走)
6.4 相似性算法(Similarity)
Jaccard Similarity (Jaccard相似度)
Cosine Similarity (余弦相似度)
Pearson Similarity (Pearson相似度)
Euclidean Distance (欧氏距离)
Overlap Similarity (重叠相似度)
6.5 链接预测(Link Prediction)
Adamic Adar(AA)
Common Neighbors(共同近邻)
Preferential Attachment(优先连接)
Resource Allocation(资源分配)
Same Community(共同社区)
Total Neighbors(近邻总数)
6.6 预处理算法(Preprocessing)
One Hot Encoding(独热编码)
6.7 算法库安装及导入方法
以Windows OS为例,neo4j的算法库并非在安装包中提供,而需要下载算法包:
(1)下载graph-algorithms-algo-3.5.4.0.jar
(2)将graph-algorithms-algo-3.5.4.0.jar
移动至neo4j数据库根目录下的plugin
中
(3)修改neo4j数据库目录的conf
中neo4j.conf
,添加以下配置
dbms.security.procedures.unrestricted=algo.*
(4)使用以下命令查看所有算法列表
CALL algo.list()
6.8 算法实践——链路预测
6.8.1 Aaamic Adar algorithm
主要基于判断相邻的两个节点之间的亲密程度作为评判标准,2003年由Lada Adamic 和 Eytan Adar在 Friends and neighbors on the Web 提出,其中节点亲密度的计算公式如下:
阅读过本文的人还看了以下文章:
TensorFlow 2.0深度学习案例实战
基于40万表格数据集TableBank,用MaskRCNN做表格检测
《基于深度学习的自然语言处理》中/英PDF
Deep Learning 中文版初版-周志华团队
【全套视频课】最全的目标检测算法系列讲解,通俗易懂!
《美团机器学习实践》_美团算法团队.pdf
《深度学习入门:基于Python的理论与实现》高清中文PDF+源码
特征提取与图像处理(第二版).pdf
python就业班学习视频,从入门到实战项目
2019最新《PyTorch自然语言处理》英、中文版PDF+源码
《21个项目玩转深度学习:基于TensorFlow的实践详解》完整版PDF+附书代码
《深度学习之pytorch》pdf+附书源码
PyTorch深度学习快速实战入门《pytorch-handbook》
【下载】豆瓣评分8.1,《机器学习实战:基于Scikit-Learn和TensorFlow》
《Python数据分析与挖掘实战》PDF+完整源码
汽车行业完整知识图谱项目实战视频(全23课)
李沐大神开源《动手学深度学习》,加州伯克利深度学习(2019春)教材
笔记、代码清晰易懂!李航《统计学习方法》最新资源全套!
《神经网络与深度学习》最新2018版中英PDF+源码
将机器学习模型部署为REST API
FashionAI服装属性标签图像识别Top1-5方案分享
重要开源!CNN-RNN-CTC 实现手写汉字识别
yolo3 检测出图像中的不规则汉字
同样是机器学习算法工程师,你的面试为什么过不了?
前海征信大数据算法:风险概率预测
【Keras】完整实现‘交通标志’分类、‘票据’分类两个项目,让你掌握深度学习图像分类
VGG16迁移学习,实现医学图像识别分类工程项目
特征工程(一)
特征工程(二) :文本数据的展开、过滤和分块
特征工程(三):特征缩放,从词袋到 TF-IDF
特征工程(四): 类别特征
特征工程(五): PCA 降维
特征工程(六): 非线性特征提取和模型堆叠
特征工程(七):图像特征提取和深度学习
如何利用全新的决策树集成级联结构gcForest做特征工程并打分?
Machine Learning Yearning 中文翻译稿
蚂蚁金服2018秋招-算法工程师(共四面)通过
全球AI挑战-场景分类的比赛源码(多模型融合)
斯坦福CS230官方指南:CNN、RNN及使用技巧速查(打印收藏)
python+flask搭建CNN在线识别手写中文网站
中科院Kaggle全球文本匹配竞赛华人第1名团队-深度学习与特征工程
不断更新资源
深度学习、机器学习、数据分析、python
搜索公众号添加: datayx
机大数据技术与机器学习工程
搜索公众号添加: datanlp
长按图片,识别二维码
小型金融知识图谱构流程示范相关推荐
- 基于Neo4j和Tushare数据构建小型金融知识图谱
2019.10.4-2019.10.6 感兴趣的童鞋抓紧哦! 作者简介:合肥工业大学经济学院学生 前言 看到米哥和Libra的关于知识图谱的文章,又在近期完成证券分析的课设,想到了关联方分析能不能 ...
- 【学习笔记】构建小型金融知识图谱(github项目)
前言 需要构建农业知识图谱,先来学习一下构建知识图谱的基本流程和套路,熟悉过程方便 科研 后续工作的开展,写下此篇博客作为我的笔记吧~ 参考代码来源:github项目 jm199504/Financi ...
- NLP实践|CCKS2020金融知识图谱自动化构建技术方法总结
每天给你送来NLP技术干货! 编辑:AI算法小喵 写在前面 文本是参加2020CCKS评测 基于本体的金融知识图谱自动化构建技术 之后的一篇总结博客,笔者查阅了大量文献,并做了大量采用深度学习模型的实 ...
- 前沿技术探秘:知识图谱构建流程及方法
作者 | 郑毅 封图| CSDN│下载于视觉中国 出品 | CSDN云计算(ID:CSDNcloud) 随着AI技术的发展和普及,当今社会已经进入了智能化时代.与以往不同的是,在这一波浪潮中,企业不仅 ...
- 肖仰华 | 大规模、高质量的金融知识图谱,如何自动化构建?
本文转载自公众号:恒生技术之眼. ◆本文根据2019恒生技术开放日肖仰华教授演讲整理 ◆肖仰华:复旦大学教授.博士生导师,复旦大学知识工场实验室创始人. 知识图谱(Knowledge Graph, K ...
- 基于金融知识图谱的会计欺诈风险识别方法
点击上方蓝字关注我们 基于金融知识图谱的会计欺诈风险识别方法 陈强1, 代仕娅2 1 兴业银行信息科技部,上海 201201 2 蚂蚁科技国际事业群数据算法技术部,上海 200120 摘要:针对商业银 ...
- (CCF)TF76 :金融知识图谱构建与应用——相关概念整合
目 ①什么是知识图谱? 什么是知识域 ②C2C,B2C,C2B2C是什么 什么是C2C? 什么是B2C? 什么是C2B2C? ③SDK简单概述 ④通用知识图谱,领域知识图谱,企业知识图谱 什么是通用知 ...
- 知识图谱构建流程与技术简记
文章目录 零.图谱类型 一.模式定义 1.1 实体类别和概念分级 1.2 关系和属性 二.信息抽取 1.1 命名实体识别 1.2 关系抽取 1.3 属性抽取 1.4 实体对齐 1.5 实体链接 三.图 ...
- 介绍一些知识图谱的实际应用类项目
目前已经有很多方法来构建知识图谱,在实际项目中,我们更加关注可以用构建好的知识图谱来干些什么,因此,我找到了网上一些对于当前知识图谱的应用的介绍,分享给大家. 1 国内外知识图谱项目 国外: 常识知识 ...
最新文章
- python自动化办公脚本下载-python自动化办公:文件篇(自动整理文件,一键完成)...
- 测试DeltaCopy
- 【2018年更新】Sublime text 3安装教程(Windows版本)
- 《后浪》刷屏力图破壁二次元,B站还有哪些短板?
- 【Java】JDBC连接MySQL/SQLServer/Oracle三种数据库
- 前端笔记-js文件首行添加;号(前端小技巧)
- Docker 安装Node-Exporter+ Prometheus Server +Grafana
- opencv-api findContours
- 历经外企、创业公司、大厂的程序员告诉你:第一份工作有多重要!
- MongoDB副本集配置系列二:配置MongoDB副本集
- haoi2018奇怪的背包题解
- 华为发布了其自研的鸿蒙操作系统,官宣!鸿蒙手机操作系统即将发布
- 冒险岛PHP源码,岁月最新源码 岁月冒险岛端源码。。部分源码需要的拿走了、不谢!!! 联合开发网 - pudn.com...
- 通信网络基础知识复习
- 数商云SCM系统供应商准入协同业务场景 | 助力建筑建材企业规范供应商准入环节
- 几分钟教会你从购买服务器到远程连接
- 文人和书生 摘自《明朝那些事儿》
- 解决浏览器主页被劫持问题
- 网易严选离线数仓质量建设实践
- python人物关系可视化百年孤独_百年孤独LDA主题分析
热门文章
- Windows 下安装 tensorflow keras opencv 的避坑指南!
- Python-进阶-装饰器小结
- JDK Windows安装
- 米饭里面加点它,4大病症一周见效,一定要告诉家里做饭的人~
- URL重写 对于禁用cookie的 方法
- Mina的TCP的主要接口
- 微软-IT-解决方案-统一沟通-发布会
- centos6.5系统不支持 mysql_centos6.5系统下面MySql数据库的安装
- jackson 驼峰注解_jackson 常用注解,比如忽略某些属性,驼峰和下划线互转
- 守护进程: supervisor使用