python判断两个数据集是否存在包含关系

python 数据集包含子集

在我们拿到一些数据集的时候经常会把其分为好几份，一份拿来训练，一份拿来测试，最后验证等等；当遇到两个文本内存有数据，我们需要判断其是否是另外一个文本的子集…

#!usr/bin/python
# -*- coding: UTF-8 -*-
import time
def to_print_entity():fopen_15k=open("data/FB15K_entity2id.txt", "r")      #读取文件line_15k=fopen_15k.readlines()       #序列化count_15k= len(line_15k)i_15k=0temp_15k=[]while i_15k < count_15k:    #把序列里每一个元素都用空格符分割temp_15k.append(line_15k[i_15k].split("\t"))i_15k=i_15k+1j_15k=0line_temp_15k=[]while j_15k < count_15k:line_temp_15k.append(temp_15k[j_15k][0])    #分割后只在序列里每一个元素获取第一个字符，后面的id不要了j_15k=j_15k+1fopen_237=open("data/FB237_entity2id.txt", "r")line_237=fopen_237.readlines()count_237= len(line_237)i_237=0temp_237=[]while i_237 < count_237:temp_237.append(line_237[i_237].split("\t"))i_237=i_237+1j_237=0line_temp_237=[]while j_237 < count_237:line_temp_237.append(temp_237[j_237][0])j_237=j_237+1not_count_15k=0not_count_237=0for i in range(0,len(line_temp_15k)):   #判断在FB15K里的实体在FB237里是否也存在if line_temp_15k[i] not in line_temp_237:#print("FB15k有FB237沒有，“位置",i,"值",line_temp_15k[i])not_count_237=not_count_237+1for i in range(0,len(line_temp_237)):if line_temp_237[i] not in line_temp_15k:#print("FB237有FB15k沒有，“位置",i,"值",line_temp_237[i])not_count_15k = not_count_15k + 1print("在FB15K有，在FB237沒有的实体，共有",not_count_237,"条")print("在FB237有，在FB15K沒有的实体，共有",not_count_15k,"条")def to_print_relation():fopen_15k_rel=open("data/FB15K_relation2id.txt", "r")      #读取文件line_15k_rel=fopen_15k_rel.readlines()       #序列化count_15k_rel= len(line_15k_rel)i_15k_rel=0temp_15k_rel=[]while i_15k_rel < count_15k_rel:    #把序列里每一个元素都用空格符分割temp_15k_rel.append(line_15k_rel[i_15k_rel].split("\t"))i_15k_rel=i_15k_rel+1j_15k_rel=0line_temp_15k_rel=[]while j_15k_rel < count_15k_rel:line_temp_15k_rel.append(temp_15k_rel[j_15k_rel][0])    #分割后只在序列里每一个元素获取第一个字符，后面的id不要了j_15k_rel=j_15k_rel+1fopen_237_rel=open("data/FB237_relation2id.txt", "r")line_237_rel=fopen_237_rel.readlines()count_237_rel= len(line_237_rel)i_237_rel=0temp_237_rel=[]while i_237_rel < count_237_rel:temp_237_rel.append(line_237_rel[i_237_rel].split("\t"))i_237_rel=i_237_rel+1j_237_rel=0line_temp_237_rel=[]while j_237_rel < count_237_rel:line_temp_237_rel.append(temp_237_rel[j_237_rel][0])j_237_rel=j_237_rel+1not_count_15k_rel=0not_count_237_rel=0for i in range(0,len(line_temp_15k_rel)):   #判断在FB15K里的实体在FB237里是否也存在if line_temp_15k_rel[i] not in line_temp_237_rel:#print("FB15k有FB237沒有，“位置",i,"值",line_temp_15k[i])not_count_237_rel=not_count_237_rel+1for i in range(0,len(line_temp_237_rel)):if line_temp_237_rel[i] not in line_temp_15k_rel:print("FB237有FB15k沒有，“位置",i,"值",line_temp_237[i])not_count_15k_rel = not_count_15k_rel + 1print("在FB15K有，在FB237沒有的关系，共有",not_count_237_rel,"条")print("在FB237有，在FB15K沒有的关系，共有",not_count_15k_rel,"条")
ticks_1 = time.time()
to_print_entity()
to_print_relation()
ticks_2 = time.time()
print("花费了：",ticks_2-ticks_1,"秒！")

github提供的数据集[1]: https://github.com/thunlp/TensorFlow-TransX/tree/master/data/FB15K

python判断两个数据集是否存在包含关系相关推荐

python 判断两个列表间是否具有包含关系以及获取子列表在父列表中的索引
python 判断两个列表间是否具有包含关系以及获取子列表在父列表中的索引 import operator def get_sub_list_index(parent_list, sub_list): ...
Python判断两个文件夹中互相不同的文件有哪些、判断一个文件夹相对于另外一个文件夹缺少了哪些文件
Python判断两个文件夹中互相不同的文件有哪些.判断一个文件夹相对于另外一个文件夹缺少了哪些文件目录 Python判断两个文件夹中互相不同的文件有哪些.判断一个文件夹相对于另外一个文件夹缺少了哪些 ...
python判断相同,Python判断两个文件是否相同与两个文本进行相同项筛选的方法
python判断两个文件是否相同 import hashlib def gethash(f): line=f.readline() hash=hashlib.md5() while(line): ha ...
如何使用Python判断两张图片是否相同？
如何使用Python判断两张图片是否相同? 在图像处理中,经常需要判断两张图片是否相同.这个问题看似简单,实际上却不容易解决.但是,使用Python语言,我们可以通过多种方式来判断图片是否相同. 方法 ...
用html5交换两个变量的值,Python判断两个对象相等的原理 python交换两个变量的值为什么不用中间变量...
python语言设计一个类代表花,其中含2个对象属性,2class flower: def __init__ (self, name, shape): self.name = name self.sh ...
浙大python判断两个字符串是否为变位词_算法2----------变位词
1.背景: 变位词指的是一个单词可以通过改变其他单词中字母的顺序来得到,也叫做兄弟单词,如army->mary. 题1:判断两个字符串s1和s2是否为变位词. 经典的字符串变位词检测问题是比较不 ...
python判断两个数是否相等_python比较两浮点数是否相等的方法
python如何比较两个浮点数是否相等? float 类型不能比较相等或不等,但可以比较>,<,>=,<= 用==从语法上说没错,但是本来应该相等的两个浮点数由于计算机内部表示 ...
Python - 判断两树是否相同
一.引言给你两棵二叉树的根节点 p 和 q ,如果两棵树在结构上相同,并且节点具有相同的值,则认为它们是相同的. 二.实现判断两个树是否结构相同且数值相同,可以采用递归的方式同时遍历两棵树的根节点 ...
python判断两线段是否相交_c语言判断两直线段是否相交
转了多人的放到一起比较!! //功能:求点在有向直线左边还是右边 //返回:0共线.1左边.-1右边 intleft_right(pointa,pointb,doublex,doubley) { do ...

python判断两个数据集是否存在包含关系

python判断两个数据集是否存在包含关系相关推荐

最新文章

热门文章