1、课程介绍

课程编号：xxxx 学时：40 学分：2.0 课程属性：公共选修课 主讲教师：刘老师
教学目的、要求
本课程以完整互联网公司真实项目复现为主线，以python编程语言为基础纽带，结合互联网行业最具生产力的技术栈，介绍了数据目标识别、获取、整理、存储、分析、优化、可视化输出及报警等场景，重点讲述了网络流量分析（Netflow Analysis）及自动化收集、数据序列化（Serialize）及清洗、数据统计分析（Statistical Analysis）模型、数据深度神经网络（Deep Neural Network）学习模型、数据可视化（Visualization）的实际应用与落地过程。最后综合讨论了数据分析中的重要关注节点及核心方法原理。在完成本课程后，学生应能够了解数据分析周期中数据的整体流向、掌握其原理和方法，并能够独立完成生产环境中数据分析的实际任务。
预修课程
（略）
教材
Python数据分析与应用，黄红梅，张良均著出版社：人民邮电出版社 ISBN：9787115373045 出版时间：2018-04-01
主要内容
第一章使用数据抓取、存储——抓取：按照应用场景，分别从接口、xml格式文件、本地文件的方式进行数据获取，以及绕过一些反爬的机制。存储：使用Python结合ELK栈进行存储，使用Python es库对Elasticsearch进行增删改查操作，分别以本地文件、消息队列、Elasticsearch直连的方式进行数据输入。

第二章数据的清洗、使用统计机器学习模型进行分析——分别使用Python进行数据清洗、Logstash进行清洗并输入Elasticsearch存储。使用Python结合Sklearn、Karas等框架，分别使用回归、聚类等模型进行数据分析

第三章使用统计机器学习进阶模型及深度学习进行分析——使用k-means、装袋、提升、CNN、RNN、GAN等模型进行数据分析。第四章使用Python进行展示、可视化——分别使用Pychars、Kibana结合每组项目的数据进行可视化编辑及展示。

教材与参考文献：无指定教材，课程选用反映业界主流软件过程及最新进展的技术文献作为参考资料。
参考文献
Python数据分析与挖掘实战（第2版）张良均，谭立云，刘名军，江建明著出版社：机械工业出版社 ISBN：9787111640028 出版时间：2019-12-01
教师简介
（略）

数据分析

Python语言。2次课程完成Python基础的学习。工具。java，开发岗位，包括运维开发。

机器学习：（1）机器学习（2）统计学。

经典机器学习开始了解。
深度学习。
1.机器学习
（1）定义：机器学习实战。

（2）流程：数据收集（采集）、公开数据集、自己找数据（写爬虫）、导师给数据（行业场景强相关）、小样本学习。

作业：用python写爬虫，两周后交。自动化机器人--->自动化办公。
算法设计（knn算法，了解及实现），下次上课提问knn算法的相关问题，记录到平时成绩中。

算法实现。Java包、python库、

算法训练（数据量越大越好）。算法验证。算法应用。

两本书
1.基于python flow
2.经典机器学习实战

计算机领域：天下武功，唯快不破。——>创新

机器学习--->深度学习

学习近两三年的研究方向，看看有没有创新成果。——>创新瓶颈。

发某一方向的文章，先看看当前最新的研究成果。

作业：爬虫，基本的爬虫demo

刘老师写了本书，分析此书相关资料，4~6个人一组。

每组每周有个汇报时间，4-6人。相关方向汇报。

基础要求：复现。

做好分工、设好组长

边界拓展、算法改进

每人单独汇报，可以无创新。

2、机器学习

机器学习分类：有监督、无监督、强化学习。

师哥《强化学习教程》

深度学习

机器学习书籍：

1.《机器学习实战》自学完成

2.机器学习-西瓜书

3.《深度学习》蓝色书皮

4.人工智能（一种现代的方法）

TensorFlow、Google教程

包含了六大主要人工智能领域，nlp、cv、dp等。

资源的整理、教程。

联邦学习的实践、吴方照老师（清华毕业），微软亚洲研究院。推荐使用：课比科app。

迁移学习

刘老师方向：大数据、移动互联网、智慧医疗（cv）、数字孪生（与腾讯合作）。

电影《头号玩家》、元宇宙、虚实联动。

nlp、cv、自动驾驶。徐睿峰。cv方向：清华崔鹏老师。

正则表达式。《正则表达式必学必会》必知必会。

Python数据分析-笔记01相关推荐

Cris 的 Python 数据分析笔记 01：NumPy 基本知识
01. NumPy基本知识文章目录 01. NumPy基本知识 1. numpy 的第一个函数 genfromtxt 2. numpy 的第二个函数 array 3. numpy 的第三个函数 sh ...
从零开始学python数据分析-【01】从零开始学Python—数据分析与挖掘概述
马云曾说"中国正迎来从IT时代到DT时代的变革",DT就是大数据时代.数据已成为企业的核心资产和宝贵资源,企业愈加重视和善加利用数据分析与挖掘技术. 1.1什么是数据分析与挖掘数 ...
Python 学习笔记01
print:直接输出 type,求类型数据类型:字符串,整型,浮点型,Bool型 note01.py # python learning note 01 print('Hello world!') ...
Python数据分析笔记——Numpy、Pandas库
Python数据分析--Numpy.Pandas库总第48篇 ▼ 利用Python进行数据分析中有两个重要的库是Numpy和Pandas,本章将围绕这两个库进行展开介绍. Numpy库 Numpy最 ...
python数据分析笔记——数据加载与整理
Python数据分析--数据加载与整理总第47篇 ▼ (本文框架) 数据加载导入文本数据 1.导入文本格式数据(CSV)的方法: 方法一:使用pd.read_csv(),默认打开csv文件. 9. ...
python 正态化_#Python数据分析/笔记 - 准备工作
Chapter-I 准备工作 1. 什么类型的数据结构化数据:表格性数据.多维数组.表数据(数据库).时间序列等现实生活中,很多数据需要转换成一种更适合分析和建模的结构化形式,才容易被分析和解读. ...
七月在线python数据分析_七月在线Python数据分析笔记
一块钱的网课,真的值!!!!!一直拖到现在才看,真的挺不好意思的,哈哈哈哈~ 对于没有任何基础的萌新来说,真的还是有难度,希望后面能好好学习,有所收获,给自己加个油吧!!! 第一节课主要是数据分析入门 ...
Python数据分析笔记（上）
文本文件的读取 Pandas读取官方文档查阅地址 Input/Output - pandas 0.24.2 documentation (pydata.org) read_csv\read_table ...
Python数据分析笔记
第一章 NumPy基础:数组和矢量计算 1.Numerical Python是高性能科学计算和数据分析的基础包.它提供了一个具有矢量算术运算和复杂广播能力的快速且节省空间的多维数组ndarray:用于 ...

Python数据分析-笔记01

1、课程介绍

2、机器学习

Python数据分析-笔记01相关推荐

最新文章

热门文章