python 共现矩阵

最近有个妹子问我共现矩阵python怎么实现？

大致写了下，顺便记下笔记 …

关于共现矩阵是什么，可以参考这篇博文：python构建关键词共现矩阵

本文提供另一思路：

以列表存储数据为例：

步骤1：针对每一个样本，利用itertools库中的combinations函数构建排列组合，然后输出一个这样的DataFrame 针对第一个样本，可以构建6中两两的排列组合

·针对第二个样本，同样可以构建6中两两的排列组合

步骤2： 将两个DataFrame合并成一个

步骤3： 重复统计

步骤4： 利用unstack函数生成共现矩阵
完整代码

import pandas as pd
from itertools import combinationsdef Get_matrix(df_list):'''获取共现矩阵'''df = pd.DataFrame()for i in df_list:df = pd.concat([df,i])df = pd.DataFrame(df.value_counts())df.columns = ['counts']df = df.unstack(level=1).fillna(0)return dfdef count_list(list_):'''排列组合'''list_ = [c for c in combinations(list_, 2)] + [(i[-1],i[0]) for i in [c for c in combinations(list_, 2)]]df = pd.DataFrame(list_,columns=['x1','x2'])return dfif __name__ == "__main__":data_list = [['I' ,'like','learning'],['I' ,'like','playing'],]df_list = [count_list(i) for i in data_list]            # 排列组合res_df = Get_matrix(df_list)                            # 获取共现矩阵

.
.
.
.
.
.
.
.

最后，文章中有不足之处，欢迎指正

python 共现矩阵相关推荐

python 共现矩阵_Python词组共现矩阵
你可以试试下面的代码.在import collections, numpy tokens=['He','is','not','lazy','intelligent','smart'] j=0 a=np ...
通过共现矩阵和余弦相似度实现机器对单词的认知、python实现
通过共现矩阵和余弦相似度实现机器对单词的认知.python实现本文介绍的定义: 一.语料库预处理二.单词的分布式表示三.单词的相似度四.相似单词排序本文介绍的定义: 语料库.计数方法的目的. ...
python关键词共现_python 共现矩阵的实现
1.前言最近在学习python词库的可视化,其中有一个依据共现矩阵制作的可视化,感觉十分炫酷,便以此复刻. 2.项目背景本人利用爬虫获取各大博客网站的文章,在进行jieba分词,得到每篇文章的关键 ...
python关键词共现图谱_如何用知网导出的关键词几秒生成共现矩阵及图谱》完整版...
自编软件使用技能视频演示(一) 最新整理完整版的,从收集数据到共词矩阵到图谱. 在做社会网络分析时,首先需要得到共现矩阵,如关键词共现矩阵.作者共现矩阵.机构共现矩阵等. 可是如何把从知网里导 ...
A股实践：图神经网络与新闻共现矩阵策略（附代码）
量化投资与机器学习微信公众号,是业内垂直于量化投资.对冲基金.Fintech.人工智能.大数据等领域的主流自媒体.公众号拥有来自公募.私募.券商.期货.银行.保险.高校等行业30W+关注者,荣获202 ...
【NLP】关键词共现/属性共现矩阵
[NLP]关键词共现/属性共现矩阵 [共现]理解起来无非是两个词语同时出现的频次作为一个指标,构造矩阵.矩阵的第一列和第一行都是词语列表中的所有词,因此对角线一般设置为0--即不把自己和自己共现算进去 ...
文本挖掘(part6)--共现矩阵
学习笔记,仅供参考,有错必纠文档信息的向量化共现矩阵(Co-currence matrix) 共现矩阵概述 I like deep learning. I like NLP. I enjoy mo ...
hadoop矩阵乘法源码_使用Hadoop计算共现矩阵
hadoop矩阵乘法源码这篇文章继续我们在MapReduce的数据密集型文本处理一书中实现MapReduce算法的系列. 这次,我们将从文本语料库创建单词共现矩阵. 本系列以前的文章是: 使用Map ...
使用Hadoop计算共现矩阵
这篇文章继续我们在MapReduce的数据密集型文本处理一书中实现MapReduce算法的系列. 这次,我们将从文本语料库创建单词共现矩阵. 本系列以前的文章是: 使用MapReduce进行数据密集型 ...

python 共现矩阵

python 共现矩阵相关推荐

最新文章

热门文章