1 数据分析篇

1.1 重要库

  1. numpy扩展包:numpy是一个支持数组和矩阵的科学计算库,包含数学函数、线性代数、傅里叶变化和随机数等功能;
  2. pandas扩展包:Pandas是数据的分析和操作工具,快速便捷处理结构化数据(DataFrame和Series对象),兼具Numpy高性能的数组计算功能以及电子表格和关系型数据(如SQL)灵活的数据处理能力。它支持以时间序列的以一维数据、二维表格数据和三维数组,支持从CSV文件、excel文件中加载数据;
  3. scikit-learn (sklearn)扩展包:sklearn是学习机器学习的神器,支持数据的分类算法、回归算法、聚类算法、纬度降低算法、交叉验证等;
  4. scipy扩展包:scipy是基于numpy基础上的高级科学计算库,支持向量、数学常量、傅里叶变换、积分、统计函数等功能;
  5. matplotlib扩展包:matplotlib是一个2D绘图库,通过函数就可以生成绘图、直方图、散点图等,可以直接对机器学习的算法模型进行直观感知;
  6. statsmodels扩展包:统计分析包(回归、方差分析、时间序列、非参数方法等)。

1.2 应用示例(pyecharts)

【例】高考分析可视化:https://www.w3cschool.cn/python3/python3-ujsx2z43.html

2 机器学习篇

2.1 机器学习vs数据挖掘

机器学习:机器学习属于人工智能研究与应用的一个分支领域,机器学习的研究更加偏向理论性,其目的更偏向于是研究一种为了让计算机不断从数据中学习知识,而使机器学习得到的结果不断接近目标函数的理论。机器学习是多领域交叉,涉及概率论、统计学,算法复杂度理论等多门学科,广泛应用于数据挖掘、计算机视觉、自然语言处理、生物特征识别、搜索引擎、垃圾邮件过滤、推荐系统、知识图谱、医学诊断、检测信用卡欺诈、语音和手写识别、战略游戏和机器人运用等。

数据挖掘:一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。机器学习为数据挖掘提供了理论方法,而数据挖掘技术是机器学习技术的一个实际应用。“数据挖掘十大算法”包括:C4.5决策树、K-均值(K-mean)、支持向量机(SVM)、Apriori、 最大期望算法(EM)、PageRank算法、AdaBoost算法、k-近邻算法(kNN)、朴素贝叶斯算法(NB)和分类回归树(CART)算法。

2.2 应用示例(sklearn)

【例】鸢尾花分类:https://jingyan.baidu.com/article/b7001fe1caae230e7282dd88.html

3 网络爬虫篇

3.1 概述

3.1.1 网络爬虫定义

网络爬虫(Web Spider),又被称为网页蜘蛛,是一种按照一定的规则,自动地抓取网站信息的程序或者脚本。网络蜘蛛是通过网页的链接地址来寻找网页,从 网站某一个页面开始,读取网页的内容,找到在网页中的其它链接地址,然后通过这些链接地址寻找下一个网页,这样一直循环下去,直到把这个网站所有的网页都抓取完为止。

3.1.2 网页审查元素

在讲解爬虫内容之前,我们需先学习一项写爬虫的必备技能–审查元素:在浏览器的地址栏输入URL地址 -> 在网页处右键单击 -> 找到检查。可以看到,右侧出现了一大串代码,这些代码就叫做HTML,服务器返回的HTML决定了网站的原始容貌。我们在页面的哪个位置点击审查元素,浏览器就会为我们定位到相应的HTML位置,通过修改服务器返回的HTML信息,可以修改页面信息。其中,Elements显示了网页的结构,Network显示浏览器和服务器之间的通信。确保Network下的小红灯亮着,灯亮即表示Chrome在记录server和browser之间的通信。

HTML(Hyper Text Markup Language,超文本标记语言)是一套标记标签 ,HTML 使用标记标签来描述网页。HTML 标记标签是由尖括号包围的关键词,比如 <html>,且HTML 标签通常是成对出现的,比如<b>和 </b>,标签对中的第一个标签是开始标签,第二个标签是结束标签。如:

<html> 与 </html> 之间的文本描述网页
<body> 与 </body> 之间的文本是可见的页面内容
<h1> 与 </h1> 之间的文本被显示为标题
<p> 与 </p> 之间的文本被显示为段落

3.1.3 网络爬虫流程

  1. 爬取:先由urllib.request或requests打开Url得到网页html文档。
  2. 分析:浏览器打开网页源代码html分析元素节点-父节点和子节点。
  3. 提取:通过Beautiful Soup或则正则表达式提取想要的数据。
  4. 存储:存储数据到本地磁盘或数据库。

3.2 应用示例(urllib.request)

【例】批量下载照片:https://www.jb51.net/article/150286.html

4 其他

4.1 办公自动化

【例1】合并工作簿:https://zhuanlan.zhihu.com/p/75741930
【例2】拆分工作表:https://blog.csdn.net/AKlianwenlan/article/details/107046227
【例3】自动发送邮件:https://blog.csdn.net/liao392781/article/details/80521194

4.2 绘画(turtle)

【例】绘制玫瑰花:https://blog.csdn.net/as_csdn/article/details/93086075

4.3 可执行程序(pyinstaller)

脚本程序转变为可执行程序的第三方库PyInstaller 库,用法:

pyinstaller 选项 Python源文件

选项:-F 产生单个的可执行文件;-D 产生一个目录(包含多个文件)作为可执行程序)。
【例】创建带图形用户界面的数据库查询窗口:http://c.biancheng.net/view/2690.html

4.4 游戏开发(pygame)

【例】制作简单射击游戏:https://www.w3cschool.cn/python3/python3-dojn2zg9.html

python-应用篇相关推荐

  1. Python入门篇-匿名函数

    Python入门篇-匿名函数 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.匿名函数概述 1>.什么是匿名函数 匿名,即没有名字 匿名函数,即没有名字的函数 2>. ...

  2. Python入门篇-数据结构堆排序Heap Sort

    Python入门篇-数据结构堆排序Heap Sort 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.堆Heap 堆是一个完全二叉树每个非叶子结点都要大于或者等于其左右孩子结点的 ...

  3. Python入门篇-functools

    Python入门篇-functools 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.partial方法 1>.partial概述 偏函数,把函数部分的参数固定下来,相当 ...

  4. 计算机二级python基础知识总结-计算机二级python 知识点篇(程序的控制结构)...

    计算机二级python 知识点篇(程序的控制结构) 程序的基本结构 程序由三种基本结构组成: 顺序结构. 分支结构和循环结构 分支结构 单分支结构 if and 表示多个条件"与" ...

  5. 三步解决C语言中struct字节对齐问题,Python进阶篇-struct字节对齐问题

    Python进阶篇-struct字节对齐问题 Python进阶篇-struct字节对齐问题 Python调用C的时候,会传递一些复杂的数据结构,例如结构体,这时候就会遇到各种各样字节对齐的问题.下边所 ...

  6. Python入门篇-高级数据类型集合(set)和字典(dict)

    Python入门篇-高级数据类型集合(set)和字典(dict) 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.集合(set) 1>.集合的特点 约定set 翻译为集合c ...

  7. 最优化算法python实现篇(4)——无约束多维极值(梯度下降法)

    最优化算法python实现篇(4)--无约束多维极值(梯度下降法) 摘要 算法简介 注意事项 算法适用性 python实现 实例运行结果 算法过程可视化 摘要 本文介绍了多维无约束极值优化算法中的梯度 ...

  8. 最优化算法python实现篇(3)——无约束一维极值(黄金分割法)

    最优化算法python实现篇(3)--无约束一维极值(黄金分割法) 算法适用问题 python实现 示例运行结果 算法适用问题 搜索给定单峰区间的极值问题,一般对凸优化问题比较适用. python实现 ...

  9. 最优化算法python实现篇(2)—无约束一维极值(二分法)

    最优化算法python实现篇(2)--无约束一维极值(二分法) 算法适用问题 python实现 示例运行结果 算法适用问题 搜索给定单峰区间的极值问题,一般对凸优化问题比较适用. python实现 # ...

  10. 程序异常是python语言基本控制结构_计算机二级python 知识点篇(程序的控制结构)...

    计算机二级python 知识点篇(程序的控制结构) 程序的基本结构 程序由三种基本结构组成: 顺序结构. 分支结构和循环结构 分支结构 单分支结构 if and 表示多个条件"与" ...

最新文章

  1. 简单的OPC与C#通讯,别想复杂了
  2. 搜狗输入法在idea打不了汉字_IDEA开发软件在linux环境下使用搜狗输入法无法进行中文输入...
  3. 《C++ Primer 5th》笔记(3 / 19):字符串、向量、迭代器和数组
  4. python学习之路day02
  5. centos 修改密码_openstack Train版部署——基于centos系统(四)
  6. 为什么Spring MVC能自动转换json/xml,你研究过它背后的原理吗?
  7. Windows7下chm文件打不开
  8. 一篇文章带你入门python基础开发
  9. 淡泊以明志,宁静而致远
  10. h5打开麦克风权限录音_微信H5录音实现
  11. 长角牛网络监听 arp欺骗
  12. 如何编辑程序(一个简单的程序)
  13. js复制文本(带文本格式or不带文本格式)
  14. 信号完整性系统学习(一)前言
  15. python 从源码讲解random模块
  16. 第19步:重用对话框
  17. C++ Reference: Standard C++ Library reference: C Library: cmath: erfc
  18. Java代码转换成伪代码生成器_将一段java程序片段改成算法伪代码
  19. 一款学习笔记或者计划笔记纸的应用:A4打印纸和手帐笔记,手帐素材全部拿下
  20. win10 资源管理器 可以识别U盘 无法识别 移动硬盘【已解决】

热门文章

  1. 最新CCF目录推荐, 不容错过的评职好刊~
  2. 他能一举拿下阿里的offer,靠的绝对不止运气!
  3. 妄想偏见Delusion Bias
  4. 介绍一款资料管理软件EverNote
  5. 获取摄像头和麦克风权限_APP在偷偷调用摄像头、麦克风?你有权知道谁在这么做...
  6. 金庸、古龙笔下48句经典语录
  7. IOT固件模拟-dir605L_FW_113(函数劫持)
  8. 51单片机——暴躁升旗手在线升旗(一款简陋的升旗装置)
  9. ArcBlock ⑧ 月报 | 异构链换币服务开发稳步推进
  10. 使用python背《诗经》