1、要预处理xml文件，解决docs,url,content标签问题。主要代码是deal_label.py 存入数据文件夹是sougou_label_after

SogouCS.reduced：存放原始的txt；

sougou_label_after：解决docs,url,content标签问题

import os
# 预处理xml文件，解决docs,url,content标签问题
def file_fill(file_dir,half_dir):# 查看half_dir文件夹下的文件夹和文件目录for root, dirs,files in os.walk(file_dir):# 判断是否存在half_dir，如果没有则创建if not os.path.exists(half_dir):os.makedirs(half_dir)for f in files:tmp_dir = half_dir+'\\'+ftext_init_dir = file_dir+'\\'+f# 遍历文件夹下的每一篇xml文件with open(text_init_dir, 'r', encoding='gb18030') as source_file:start,end = '<docs>\n', '</docs>'line_content = source_file.readlines()# 在目标文件夹中创建新文件保存预处理后的文件with open(tmp_dir, 'w+', encoding='utf-8') as handle_file:# 添加'<docs>'头标签handle_file.write(start)for line in line_content:# 处理url中的‘&’符号text = line.replace('&', '&amp;')# 添加'</docs>'头标签handle_file.write(text)handle_file.write(end)
if __name__ == '__main__':file_dir = r'E:\sssss\SogouCS.reduced'     #原始文件夹half_dir = r'E:\sssss\sougou_label_after'  # 修改格式和符号生成的文件夹   无需自己手动建文件夹file_fill(file_dir, half_dir)     #将选好的文件进行加上<docs>和</docs>,并修改&这个符号

2、部分样本函数获取，同时随机取去训练数据和测试数据。主要代码是data_train_test.py 存入数据文件夹分别为train_choice , test_choice

import os, random# 部分样本获取函数
def choice_files(half_dir,choice_dir_train,choice_dir_test,n,m):if not os.path.exists(choice_dir_train):os.makedirs(choice_dir_train)if not os.path.exists(choice_dir_test):os.makedirs(choice_dir_test)for _,_,files in os.walk(half_dir):file_list_train = random.sample(files, n)   #训练数据去随机的n个文件for file_choice in file_list_train:files.remove(file_choice)file_list_test = random.sample(files, m)    #测试数据取随机的m个文件for file in file_list_train:with open(half_dir+'\\'+file, 'r', encoding='utf-8') as f1_train:doc_train = f1_train.read()path = choice_dir_train+'\\'+filewith open(path, 'w+', encoding='utf-8') as f2_train:f2_train.write(doc_train)for file in file_list_test:with open(half_dir+'\\'+file, 'r', encoding='utf-8')as f1_test:doc_test = f1_test.read()path = choice_dir_test +'\\'+filewith open(path, 'w+', encoding='utf-8') as f2_test:f2_test.write(doc_test)# print(file_list_train)# print(file_list_test)return file_list_train, file_list_testif __name__ == '__main__':# 随机抽取10个文件进行深加工half_dir = r'E:\sssss\sougou_label_after'choice_dir_train = r'E:\sssss\train_choice'choice_dir_test = r'E:\sssss\test_choice'file_list_train, file_list_test = choice_files(half_dir, choice_dir_train, choice_dir_test, 10, 5)

3、提取文档文本内容，并且根据url将文本分好类.主要代码是data_content.py 存入数据文件夹是data

import os
from xml.dom import minidom
from urllib.parse import urlparse# 检查url对应的文章是否在分类字典中
def check_class(url_lb,labels):if url_lb in labels:return Truereturn Falsedef file_read(half_dir, labels, path):for _, _, files in os.walk(half_dir):for f in files:filename = half_dir + '\\' + fdoc = minidom.parse(filename)      #加载读取xml文件root = doc.documentElement         #获取xml节点属性值claimtext = root.getElementsByTagName('content')   #获取xml节点对象集合claimurl = root.getElementsByTagName('url')for ind in range(len(claimurl)):if claimtext[ind].firstChild == None:continueurl = urlparse(claimurl[ind].firstChild.data)url_lb = url.hostname.strip().split('.')[0]# 建立url和类别的映射字典if check_class(url_lb, labels):if not os.path.exists(path):os.makedirs(path)if not os.path.exists(path + './' + labels[url_lb]):os.makedirs(path + './' + labels[url_lb])file_name = path + './' + labels[url_lb] + './' + "{}.txt".format(labels[url_lb])with open(file_name, "a+", encoding='utf-8') as file_in:file_in.write(claimtext[ind].firstChild.data + '\n')if __name__ == '__main__':labels = {'auto': '汽车', 'it': '互联网', 'health': '健康','sports': '体育','travel': '旅游', 'learning': '教育', 'career': '职业','cul': '文化','mil': '军事', 'house': '房产', 'yule': '娱乐','women': '女人','media': '媒体', '2008': '奥运','business': '商业'}half_dir = r'E:\sssss\train_choice'path = r'E:\sssss\data\data_train'  # 新创建的文件夹，主要是放分好类的文件file_read(half_dir, labels, path)  # 将选好的文件进行纯文本提取和分类存储half_dir = r'E:\sssss\test_choice'path = r'E:\sssss\data\data_test'    #新创建的文件夹，主要是放分好类的文件file_read(half_dir, labels, path)     # 将选好的文件进行纯文本提取和分类存储