书友汇德天5小时精心整理分享如何自建数据集【3大模块+逾百个python知识点】吹响集结号！
2024-05-17 23:25:44
各位好朋友大家现在好！时光流逝，学习不止，德天老师通过近期学习整理为大家呈现一篇精心制作的好文！
等作品也是一种享受，因为学习过程是一次积累和沉淀，所以为大家送出文章也是一次加工和整理，虽发文隔久，但坚持一如入往常，因为在编程的世界里，从来不缺乏创新的火花，和创造的奇迹！
先来给大家看一下我们今天要做的事情！
第一模块：OS
1、D盘创建python\students文件夹
2、分别建立两个文件
文件位置
D:\python\students
接下来，到了上干货时间，
送上我们需要自制100条数据的学生名字命名为：students_names,然后再自制数据Chinese,Math,other_subjects三列成绩数据命名：students_scores
1 系统模块os建目录
知识索引：
定义函数mkdir,引入参数路径path
去除路径前空格保存到Path
去除路径尾部\ ，再次保存到path
利用os模块下os.path.exists(“d:\python\students”)判断路径是否存在,返回结果保存在isExists中
if not isExists: 创建路径不存在则if 后为not False=True,则创建，否则输出目录已存在
return True，意为如果系统创建了目录则isExists=True，如果系统没有创建目录，则isExists=False
源码展示
def mkdir(path):# 引入模块import os# 去除首位空格path = path.strip()# 去除尾部 \ 符号path = path.rstrip("\\")isExists = os.path.exists("d:\\python\\students")# 判断结果if not isExists:# 如果不存在则创建目录new_path = "d:\\python\\students"os.makedirs(new_path)print(" 目录创建成功 ")return Trueelse:# 如果目录存在则不创建，并提示目录已存在print("目录已存在")print(isExists)# 创建一个参数位置在d盘目录下，调用函数
mkpath="d:\\"
mkdir(mkpath)到此我们系统中保存文件的目录创建成功
模块2：import random
随机数据模块在本文档中会引用两次，生成学生姓名文件会用到，后面还会用到
获取列表长度len(fuxing) len(xing) len(ming) len(ming2),这个命领帮助我们取列表长度，目的是拿到一个列表内的索引值
fx = random.randint(0,len(fuxing)-5)这是帮助我们拿到fuxing列表中的一个随机索引然后减去5的值
fu_name.append(’ ’ _fuxing[fx] + ming[m1] + ming2[m2] ,结合3，我们fuxing[fx] ,可以帮助我们取到fuxing列表中索引为fx值的一个列表元素，在本案例源码中其它的列表中取元素也是同样道理。
append帮助我们把几个变量中拿到的索引元素合并后，输入一个新的名字列表，至此我们完成了一个名字的随机获取，大家是不是感觉到很有成就感呢？
6.#### 通过name变量把取得的所有名字加到一起放入name中
接下来我们为大家上干货源码
学习python编程一定要认真学习，及时归纳，用好你手头的工具，不积累的学习，是白白浪费时间，学会分析全部内容，用好每一个程序内的函数，变量，明白他们的工作原理，然后反复练习，
成功不是一口吃个胖子，一定是不停口，吃的健康，你说对吗？
创建学生姓名表：student_names
创建文件源码
import random
import pandas as pdxing = [
'赵', '钱', '孙', '李', '周', '吴', '郑', '王', '冯', '陈', '褚', '卫', '蒋', '沈', '韩', '杨', '朱', '秦', '尤', '许',
'何', '吕', '施', '张', '孔', '曹', '严', '华', '金', '魏', '陶', '姜', '戚', '谢', '邹', '喻', '柏', '水', '窦', '章',
'云', '苏', '潘', '葛', '奚', '范', '彭', '郎', '鲁', '韦', '昌', '马', '苗', '凤', '花', '方', '俞', '任', '袁', '柳',
'酆', '鲍', '史', '唐', '费', '廉', '岑', '薛', '雷', '贺', '倪', '汤', '滕', '殷', '罗', '毕', '郝', '邬', '安', '常',
'乐', '于', '时', '傅', '皮', '卞', '齐', '康', '伍', '余', '元', '卜', '顾', '孟', '平', '黄', '和', '穆', '萧', '尹',
'姚', '邵', '堪', '汪', '祁', '毛', '禹', '狄', '米', '贝', '明', '臧', '计', '伏', '成', '戴', '谈', '宋', '茅', '庞',
'熊', '纪', '舒', '屈', '项', '祝', '董', '梁']
fuxing = ['万俟','司马','上官','欧阳','夏侯','诸葛','闻人','东方','赫连','皇甫','尉迟','公羊','诸葛','闻人','东方','赫连','皇甫','尉迟','澹台','公冶','宗政','濮阳','淳于','单于','太叔','申屠','公孙','仲孙','轩辕','令狐','宇文','长孙','慕容','司徒','司空']ming = [
'的', '一', '是', '了', '我', '不', '人', '在', '他', '有', '这', '个', '上', '们', '来', '到', '时', '大', '地', '为',
'子', '中', '你', '说', '生', '国', '年', '着', '就', '那', '和', '要', '她', '出', '也', '得', '里', '后', '自', '以',
'会', '家', '可', '下', '而', '过', '天', '去', '能', '对', '小', '多', '然', '于', '心', '学', '么', '之', '都', '好',
'看', '起', '发', '当', '没', '成', '只', '如', '事', '把', '还', '用', '第', '样', '道', '想', '作', '种', '开', '美',
'总', '从', '无', '情', '己', '面', '最', '女', '但', '现', '前', '些', '所', '同', '日', '手', '又', '行', '意', '动',
'方', '期', '它', '头', '经', '长', '儿', '回', '位', '分', '爱', '老', '因', '很', '给', '名', '法', '间', '斯', '知',
'世', '什', '两', '次', '使', '身', '者', '被', '高', '已', '亲', '其', '进', '此', '话', '常', '与', '活', '正', '感',
'见', '明', '问', '力', '理', '尔', '点', '文', '几', '定', '本', '公', '特', '做', '外', '孩', '相', '西', '果', '走',
'将', '月', '十', '实', '向', '声', '车', '全', '信', '重', '三', '机', '工', '物', '气', '每', '并', '别', '真', '打',
'太', '新', '比', '才', '便', '夫', '再', '书', '部', '水', '像', '眼', '等', '体', '却', '加', '电', '主', '界', '门',
'利', '海', '受', '听', '表', '德', '少', '克', '代', '员', '许', '稜', '先', '口', '由', '死', '安', '写', '性', '马',
'光', '白', '或', '住', '难', '望', '教', '命', '花', '结', '乐', '色', '更', '拉', '东', '神', '记', '处', '让', '母',
'父', '应', '直', '字', '场', '平', '报', '友', '关', '放', '至', '张', '认', '接', '告', '入', '笑', '内', '英', '军',
'候', '民', '岁', '往', '何', '度', '山', '觉', '路', '带', '万', '男', '边', '风', '解', '叫', '任', '金', '快', '原',
'吃', '妈', '变', '通', '师', '立', '象', '数', '四', '失', '满', '战', '远', '格', '士', '音', '轻', '目', '条', '呢',
'病', '始', '达', '深', '完', '今', '提', '求', '清', '王', '化', '空', '业', '思', '切', '怎', '非', '找', '片', '罗',
'钱', '紶', '吗', '语', '元', '喜', '曾', '离', '飞', '科', '言', '干', '流', '欢', '约', '各', '即', '指', '合', '反',
'题', '必', '该', '论', '交', '终', '林', '请', '医', '晚', '制', '球', '决', '窢', '传', '画', '保', '读', '运', '及',
'则', '房', '早', '院', '量', '苦', '火', '布', '品', '近', '坐', '产', '答', '星', '精', '视', '五', '连', '司', '巴',
'奇', '管', '类', '未', '朋', '且', '婚', '台', '夜', '青', '北', '队', '久', '乎', '越', '观', '落', '尽', '形', '影',
'红', '爸', '百', '令', '周', '吧', '识', '步', '希', '亚', '术', '留', '市', '半', '热', '送', '兴', '造', '谈', '容',
'极', '随', '演', '收', '首', '根', '讲', '整', '式', '取', '照', '办', '强', '石', '古', '华', '諣', '拿', '计', '您',
'装', '似', '足', '双', '妻', '尼', '转', '诉', '米', '称', '丽', '客', '南', '领', '节', '衣', '站', '黑', '刻', '统',
'断', '福', '城', '故', '历', '惊', '脸', '选', '包', '紧', '争', '另', '建', '维', '绝', '树', '系', '伤', '示', '愿',
'持', '千', '史', '谁', '准', '联', '妇', '纪', '基', '买', '志', '静', '阿', '诗', '独', '复', '痛', '消', '社', '算',
'义', '竟', '确', '酒', '需', '单', '治', '卡', '幸', '兰', '念', '举', '仅', '钟', '怕', '共', '毛', '句', '息', '功',
'官', '待', '究', '跟', '穿', '室', '易', '游', '程', '号', '居', '考', '突', '皮', '哪', '费', '倒', '价', '图', '具',
'刚', '脑', '永', '歌', '响', '商', '礼', '细', '专', '黄', '块', '脚', '味', '灵', '改', '据', '般', '破', '引', '食',
'仍', '存', '众', '注', '笔', '甚', '某', '沉', '血', '备', '习', '校', '默', '务', '土', '微', '娘', '须', '试', '怀',
'料', '调', '广', '蜖', '苏', '显', '赛', '查', '密', '议', '底', '列', '富', '梦', '错', '座', '参', '八', '除', '跑',
'亮', '假', '印', '设', '线', '温', '虽', '掉', '京', '初', '养', '香', '停', '际', '致', '阳', '纸', '李', '纳', '验',
'助', '激', '够', '严', '证', '帝', '饭', '忘', '趣', '支', '春', '集', '丈', '木', '研', '班', '普', '导', '顿', '睡',
'展', '跳', '获', '艺', '六', '波', '察', '群', '皇', '段', '急', '庭', '创', '区', '奥', '器', '谢', '弟', '店', '否',
'害', '草', '排', '背', '止', '组', '州', '朝', '封', '睛', '板', '角', '况', '曲', '馆', '育', '忙', '质', '河', '续',
'哥', '呼', '若', '推', '境', '遇', '雨', '标', '姐', '充', '围', '案', '伦', '护', '冷', '警', '贝', '著', '雪', '索',
'剧', '啊', '船', '险', '烟', '依', '斗', '值', '帮', '汉', '慢', '佛', '肯', '闻', '唱', '沙', '局', '伯', '族', '低',
'玩', '资', '屋', '击', '速', '顾', '泪', '洲', '团', '圣', '旁', '堂', '兵', '七', '露', '园', '牛', '哭', '旅', '街',
'劳', '型', '烈', '姑', '陈', '莫', '鱼', '异', '抱', '宝', '权', '鲁', '简', '态', '级', '票', '怪', '寻', '杀', '律',
'胜', '份', '汽', '右', '洋', '范', '床', '舞', '秘', '午', '登', '楼', '贵', '吸', '责', '例', '追', '较', '职', '属',
'渐', '左', '录', '丝', '牙', '党', '继', '托', '赶', '章', '智', '冲', '叶', '胡', '吉', '卖', '坚', '喝', '肉', '遗',
'救', '修', '松', '临', '藏', '担', '戏', '善', '卫', '药', '悲', '敢', '靠', '伊', '村', '戴', '词', '森', '耳', '差',
'短', '祖', '云', '规', ' ', '散', '迷', '油', '旧', '适', '乡', '架', '恩', '投', '弹', '铁', '博', '雷', '府', '压',
'超', '伏', '勒', '杂', '醒', '洗', '采', '毫', '嘴', '毕', '九', '冰', '既', '状', '乱', '景', '席', '珍', '童', '顶',
'派', '素', '脱', '农', ' ', '练', '野', '按', '军', '拍', '征', '楠', '骨', '余', '承', '置', '臓', '彩', '灯', '巨',
'琴', '免', '环', '姆', '暗', '换', '技', '翻', '束', '增', '忍', '餐', '洛', '塞', '缺', '忆', '判', '欧', '层', '付',
'阵', '玛', '批', '岛', '项', '狗', '休', '懂', '武', '革', '良', '恶', '恋', '委', '拥', '娜', '妙', '探', '呀', '营',
'退', '摇', '弄', '桌', '熟', '诺', '宣', '银', '势', '奖', '宫', '忽', '套', '康', '供', '优', '课', '鸟', '喊', '降',
'夏', '困', '刘', '罪', '丽', '鞋', '健', '模', '败', '伴', '守', '挥', '鲜', '财', '孤', '枪', '禁', '恐', '伙', '杰',
'迹', '妹', '藸', '遍', '盖', '副', '坦', '牌', '江', '顺', '秋', '萨', '菜', '划', '授', '归', '浪', '听', '凡', '预',
'奶', '雄', '升', '碃', '编', '典', '彩', '莱', '含', '盛', '济', '蒙', '棋', '端', '腿', '招', '释', '介', '烧', '误',
'乾', '坤']
ming2 = [
'丽', '琴', '馨', '璇', '萍', '希', '媛', '艳', '红', '莉', '蓉', '玲', '瑛', '茹', '美', '茜', '华', '恬', '嫣', '芸',
'娜', '雨', '燕', '瑶', '彩', '莹', '妍', '珠', '俐', '妤', '筱', '香', '雯', '倩', '楠', '芳', '婉', '菁', '寒', '肜'
'丽', '琴', '馨', '璇', '萍', '希', '媛', '艳', '红', '莉', '蓉', '玲', '瑛', '茹', '美', '茜', '华', '恬', '嫣', '芸',
'娜', '雨', '燕', '瑶', '彩', '莹', '妍', '珠', '俐', '妤', '筱', '香', '雯', '倩', '楠', '芳', '婉', '菁', '寒', '肜'
'丽', '琴', '馨', '璇', '萍', '希', '媛', '艳', '红', '莉', '蓉', '玲', '瑛', '茹', '美', '茜', '华', '恬', '嫣', '芸',
'娜', '雨', '燕', '瑶', '彩', '莹', '妍', '珠', '俐', '妤', '筱', '香', '雯', '倩', '楠', '芳', '婉', '菁', '寒', '肜'
'丽', '琴', '馨', '璇', '萍', '希', '媛', '艳', '红', '莉', '蓉', '玲', '瑛', '茹', '美', '茜', '华', '恬', '嫣', '芸',
'娜', '雨', '燕', '瑶', '彩', '莹', '妍', '珠', '俐', '妤', '筱', '香', '雯', '倩', '楠', '芳', '婉', '菁', '寒', '肜'
'丽', '琴', '馨', '璇', '萍', '希', '媛', '艳', '红', '莉', '蓉', '玲', '瑛', '茹', '美', '茜', '华', '恬', '嫣', '芸',
'娜', '雨', '燕', '瑶', '彩', '莹', '妍', '珠', '俐', '妤', '筱', '香', '雯', '倩', '楠', '芳', '婉', '菁', '寒', '肜']
woman_name = []
man_name = []
fu_name = []
for i in range(1,17):fx = random.randint(0, len(fuxing) - 5)m1 = random.randint(0,len(ming)-20)m2 = random.randint(0,len(ming2)-10)fu_name.append('' + fuxing[fx] + ming[m1] + ming2[m2])for i in range(1,97):x = random.randint(0,len(xing)-10)m1 = random.randint(0,len(ming)-20)m2 = random.randint(0,len(ming2)-10)woman_name.append(''+xing[x]+ming[m1]+ming2[m2])man_name.append('' + xing[x] + ming[m1] + ming2[m2])names = woman_name + man_name +fu_name
print(names)pf_name=pd.DataFrame(names,columns=["姓名"])
pf_name.to_excel('d:\\python\\students\\student_names.xlsx',sheet_name='name_1')
模块3：pandas 分析模块
pandas根据保存
pd.DataFrame()构建二维框架数据表函数
.to_excel()保存为excel电子表格文件函数
创建学生成绩表：student_scores.xlsx
知识索引：
创建空的列表c_other_list = []
利用模块random。randrange(20,100)创建随机数在20-100之间的随机整数一个，利用c_other_list.append(c_temp)把生成的随机数以追加形式，保存到列表中，for i in range(1,101)用100次遍历产生100个随机数保存到列表中
other_subjects = random.sample(c_other_list,100),再次利用随机函数中sample函数，从生成的1000个数据中挑出100个保存变量other_subjects中，另外的变量cn,ma也是同理
data_column = [[x] + [y] + [z] for x,y,z in zip(cn,ma,other_subjects)]，这句很重要，利用zip把我们前面生成的数列先打包，然后依次遍历取出放到x,y,z中使得数据由原来的1行，变成每个列表中数据1行只有1个，从而变成了100行的显示效果
使用pd.DataFrame(data_column,columns=columns) 把原数据转化为pd框架二维数据
最后使用pf_scores.to_excel(‘d:\python\students\student_scores.xlsx’,sheet_name=‘score_3’),把生成的数据全部存入硬盘
数据源代码：
import random
import pandas as pdc_other_list = []
c_chi_and_math_list= []for i in range(1,1001):c_temp = random.randrange(20,100)c_temp1 = random.randrange(80, 120)c_other_list.append(c_temp)c_chi_and_math_list.append(c_temp1)cn = random.sample(c_chi_and_math_list,100)ma = random.sample(c_chi_and_math_list,100)other_subjects = random.sample(c_other_list,100)columns= ["Chinese","Math","other_suject"]
data_column = [[x] + [y] + [z] for x,y,z in zip(cn,ma,other_subjects)
]pf_scores = pd.DataFrame(data_column,columns=columns)pf_scores.to_excel('d:\\python\\students\\student_scores.xlsx',sheet_name='score_3')每一次分享是用心学习的成果，每一次文章的完成至少需要3-5个小时的准备，一方面是对知识的敬畏，另一方面是对读者的尊重，屏幕前的您辛苦的点赞，将会激励我不断的前行，PYthon学习的路上感谢，感恩，感动有你的陪伴！
我们一起加油！ 书友汇：德天（2020-6-7）
书友汇德天5小时精心整理分享如何自建数据集【3大模块+逾百个python知识点】吹响集结号！相关推荐
- 书友汇德天-创作不停，学习不止（十字交叉线画法）
前面学习了画函数,现在再来看一下直线的画法: 先上干货 #导入模块 import numpy as np import matplotlib.pyplot as pltplt.figure(" ...
- 书友汇德天帮助小白正确区分plot,subplot,subplots三个命令之间关系！
对于一个知识点学习,我一直本着多看,多想,多分析的态度,一方面,通过思考可以让模糊的知识变清晰,另一方面,通过思考可以让你有办法找到更多的想法,遵循你的想法去寻找你想要的答案! 关于Matplotli ...
- 书友汇德天-解谜数字九宫格
可视化表格排布之谜 今天我们和大家一起来了解一下数字可视化布局的代码 一起来看一下代码的主体结构: 知识结构1:mp.subplot(4,4,i)行,列,for in中的变量值 知识结构2:mp.te ...
- 【近3万字分享】《Android开发之路——10年老开发精心整理分享》
目录 前言 1 Android开发学习路线 1.1 大神最新总结(推荐直接看这个) 2021 最新Android知识体系 1.2按内容划分 1.3按阶段划分 1.4Android进阶路线(思维导图) ...
- 阿里专家精心整理分享的Java程序员面试笔试通关宝典PDF
前言 学习是一种基础性的能力.然而,"吾生也有涯,而知也无涯.",如果学习不注意方法,则会"以有涯随无涯,殆矣". 学习就像吃饭睡觉一样,是人的一种本能,人人都 ...
- 精心整理计算机热门视频教程免费下载[特集A](1-50)
发扬网络共享精神,让免费资源传遍整个互联网.以下是本人精心整理的50个计算机视频教程.收集不易,请各位网友多多支持. 欢迎大家转载,发扬共享精神.(声明:网站防盗链,只发布链接地址.) 01. 3ds ...
- 我精心整理的一些大牌男装正品店
应一些朋友们的要求,为让大家查看起来方便,最新更新添加的店铺都以紫色字体突出显示!! 中金博客评论留言会自动屏蔽淘宝链接,大家若有鉴定真假的问题,请发至我以前的网易博客交流--http://blog. ...
- Unity学习资源指南[精心整理]
前言 进入一个领域,最直接有效的方法就是寻找相关综述性文章,首先你需要对你入门的领域有个概括性的了解,这些包括: 1.主流的学习社区与网站. 2.该领域的知名大牛与热心分享的从业者. 3.如何有效的激 ...
- Linux 面试题（史上最全面试题，精心整理100家互联网企业，面试必过）
最全面试题,精心整理100家互联网企业面经,祝你面试成功.面试必过(2023优化版)已发布在个人微信公众号[面向Offer学编程],优化版首先修正了读者反馈的部分答案存在的错误,同时根据最新面试总结, ...
最新文章
- 用canvas实现一个vue弹幕组件
- 暑期集训3:几何基础 练习题C: POJ - 1269
- “我的父老乡亲”公益征文活动 ——讲述平凡故事，记录小的伟大
- 算法2：邻居好说话：冒泡排序
- 小白学JAVA，与你们感同身受，JAVA---day6:抽象类接口的理解。鲁迅的一句话:总之岁月漫长,然而值得等待。
- 军事医学研究院应晓敏组招聘博士后
- Java高级语法笔记-HashMap
- asp.net最常用的三十三种编程代码
- 爱,可以如此悲壮!(转)
- 小红书2019年校园招聘：字符串压缩算法
- JAVA爬虫实践（实践二：博客园）
- 集合的创建、集合的特性（成员操作符、for循环）
- 卡在linuxctrld进系统_Linux系统执行df -h命令卡死的解决方案
- CSE 5/7350 – Project Course Timeslot and Student Assignment Project
- 算法：整数除法上取整
- 问卷与量表数据分析（SPSS+AMOS）学习笔记（二） ：问卷设计的原则与注意事项
- DeBank和非小号网站的数据分析-实习工作小结
- Python链家租房信息爬虫和高德地图展示
- 影响你选择职业的，跟个人相关的主要的因素
- 《惢客创业日记》2019.05.18（周六）视频通话后的一个创意