第一讲 Python语言及工作环境准备

一、数据分析

1 数据分析的基本概念

• 1.用适当的统计分析方法对收集来的大量数据进行分析
• 2.提取有用信息和形成结论
• 3.对数据加以详细研究和概况总结
• 目的:从数据中挖掘规则、验证猜想、进行预测

2 数据分析的流程

• 明确目的(提出问题)->准备数据->数据解析->分析数据->获得结论->成果可视化

3 为什么要学习数据分析

• 1、有岗位需要
• 2、是机器学习的基础
• 3、数据科学的基础

4 环境部署

• 环境部署

认识jupyter
1、基于web的在线编辑器
2、可交互式
3、.ipynb文件分享
4、支持markdown

4.1 pip install jupyter

4.2安装完成后，输入命令jupyter notebook,会自动打开浏览器, 浏览器显示的是当前目录的文件。

4.3在F盘下新建文件夹，在命令行中输入F:切换到F盘，cd 新建文件夹，输入jupyter notebook ，此时打开的浏览器就显示为当前F盘下面的文件。

4.4新建python3文件

4.5点击上方Untitled，重命名为demo

4.6 在当前浏览器中输入print(‘hello yangyu’),点击运行执行此操作。

4.7 在F盘\新建文件夹下生成的文件如下：

4.8不要关闭windows的命令行窗口，否则当前网页将会显示连接失败。

pycharm社区版
1、集成开发环境
2、官网下载地址:https://www.jetbrains.com/pycharm/download/#section=windows

pycharm的安装教程参照：
python学到死—第二讲 python基础、python3.6安装、pip工具的使用、pycharm简介、安装、配置
https://blog.csdn.net/yangyusir/article/details/114692760

二、本地数据的采集与操作

常用的本地文件格式

• TXT文件操作
• JSON文件操作
• CSV文件操作
• Excel文件

1.TXT文件操作

• 1.打开文件

• 2.文件操作(读写)

• 3.关闭文件

• 示例

'''
TXT文件操作
1.打开文件
file = open(filename, mode)
filename   文件名
mode        模式（打开文件的模式）
r           read  只读模式     文件不存在，程序报错
w           write  只写模式   文件不存在，程序会创建一个文件出来，程序正常
a           append  追加模式   文件不存在，程序会创建一个文件出来，程序正常2.文件操作（读写）
2.1 读操作
file.read()      读取全部文件
file.readline()  读取一行
file.readlines()  返回列表
2.2 写操作
file.write()      写，会覆盖原来的内容3.关闭文件
file.close()
'''# file = open('demo.txt', 'r')  # 文件不存在报错FileNotFoundError: [Errno 2] No such file or directory: 'demo.txt'
file = open('demo.txt', 'a')  # 文件不存在，程序会创建一个文件出来，程序正常
# print(file.readable())  # False 判断文件是否可读   当前是以追加写的方式打开文件所以不可读
file.close()   # 关闭文件
file = open('demo.txt', 'a')
# print(file.readable())  # True 可读
# print(file.read())      #读取全部文件
# print(file.readline())  # 读取一行
# print(file.readlines())  # 读取多行
file.close()file = open('demo.txt', 'w')
file.write('yangyu changes the world')   # 会覆盖原来的内容
file.close()file = open('demo.txt', 'a')
file.write('\nHe is a king of the world')   # 追加方式写入
file.close()

2. with语句

• 包括了异常处理,自动调用文件关闭操作,推荐使用
  with open(filename,mode) as f:
  文件操作
• 练习
  创建1个文件，文件中放入’人生苦短 我用Python’, 读取刚才创建的文件内容。
• 示例

# 上下文管理器
with open('test1.txt', 'w', encoding='utf-8') as f:f.write("人生苦短 我用Python")with open('test1.txt', 'r', encoding='utf-8') as f:data = f.read()print(data)  # 人生苦短 我用Python

3. JSON文件操作

• Json是一种轻量级的数据交换格式。Json源自JavaScript语言，易于人类的阅读和编写，同时
  也易于机器解析和生成，是目前应用最广泛的数据交换格式
• Json是跨语言，跨平台的，但只能对Python的基本数据类型做操作，对Python的类就无能为
  力。JSON格式和Python中的字典非常像。但是，json的数据要求用双引号将字符串引起来，
  并且不能有多余的逗号

{
“name”:“json”,
“age”:25,
“address”:{
“city”:“CSC”,
“postalCode”:2001
},
“phoneNumber”:{
“type”:“home”,
“number”:“292-666-999”
}
}

JSON文件写操作
写入文件 json.dump()
写入字符串变量 json.dumps()

JSON文件读操作
从文件读取 json.load()
从字符串变量读取 json.loads()

• 示例

'''
Json文件操作
写操作
json.dump   写入文件
json.dumps  写入字符串变量
读操作
json.load   从文件读取
json.loads  从字符串中读取
'''
import jsonstr1 = 'yangyu'
json.dump(str1, open('json.txt', 'w'))  # 打开json.txt，显示"yangyu"
str2 = json.dumps(['yangyu', {'age': 18}])
print(str2)  # ["yangyu", {"age": 18}]p1 = json.load(open('json.txt', 'r'))
print(p1)  # yangyu
p2 = json.loads(str2)
print(p2)  # ['yangyu', {'age': 18}]

4. CSV文件操作

以纯文本形式存储的表格数据(以逗号作为分隔符),通常第一行为列名

• CSV文件写操作
  import csv
  with open(“demo.csv”, “w”, newline="") as datacsv:
  csvwriter = csv.writer(datacsv, dialect=(“excel”))
  csvwriter.writerow([“A”, “B”, “C”, “D”])

• CSV文件读操作
  import csv
  rf = open(‘demo.csv’,‘r’)
  reader = csv.reader(rf)
  print(next(reader))
  for i in reader:
  print(i)

• 示例

'''
CSV文件操作
写操作
'''
import csv
#  newline 新行，默认是None
with open('demo.csv', 'w', newline='') as data_csv:# dialect 默认打开的方式是excelcsv_writer = csv.writer(data_csv, dialect='excel')csv_writer.writerow(['a', 'b', 'c'])csv_writer.writerow(['a1', 'b1', 'c1'])
'''
CSV文件操作
读操作
'''
f = open('demo.csv')
reader = csv.reader(f)
print(reader)  # <_csv.reader object at 0x0000000002646128># 生成器
print(next(reader))  # ['a', 'b', 'c']
print(next(reader))  # ['a1', 'b1', 'c1']
# print(next(reader))  # 抛出异常StopIteration
# 用for循环打开不会抛出异常
for i in reader:print(i)
'''
['a', 'b', 'c']
['a1', 'b1', 'c1']
'''
import pandas as pddf = pd.read_csv("demo.csv")
print(df)
'''a   b   c
0  a1  b1  c1
'''
print(df.head())   # 预览数据，默认前五行
'''a   b   c
0  a1  b1  c1
'''
data = df.head()
data.to_csv('demo1.csv', index=False)  # index默认是True,False就是去掉索引  打开demo1.csv,里面就没有0

5. Excel文件

Excel文件
Excel和CSV区别：
1.都可以Excel程序打开
2.Excel除了文本,数据也可以包含图表、样式等
3.CSV每条记录都存储为一行文本文件,每一条新行都表示一个新的数据记录

• Excel文件读操作
  import xlrd
  book = xlrd.open_workbook(‘1.xls’)
  sheet = book.sheet_by_index(0) # 获取第一个sheet
  print(sheet.nrows) # 获取行数
  print(sheet.cell(1,1)) # 获取单元格的值，根据行列
  print(sheet.row(1)) # 获取第一行
  print(sheet.row_values(1,1)) # 获取第一行，跳过第一列
  -示例

'''
excel文件操作
文件读取
'''
import xlrd  # xl readbook = xlrd.open_workbook('1.xls')
# print(book)  # <xlrd.book.Book object at 0x000000000285EA88>
# 获取第一个sheet
sheet = book.sheet_by_index(0)
# print(sheet)  # Sheet  0:<Sheet1>
print(sheet.nrows)  # 2
#  行 列  从零开始
print(sheet.cell(1, 0))  # text:'杨yu'
print(sheet.cell(0, 1))  # text:'age'
print(sheet.row(1))  # [text:'杨yu', number:18.0]
print(sheet.row(0))  # [text:'name', text:'age']

• Excel文件写操作
  import xlwt
  wbook = xlwt.Workbook()
  wsheet = wbook.add_sheet(‘sheet1’)
  wsheet.write(0, 0, label = ‘Row 0, Column 0’)
  wsheet.write(0, 1, label = ‘Row 0, Column 1’)
  wbook.save(‘output.xls’)
• 示例

'''
excel文件操作
文件写入
'''
import xlwt  # xl writebook1 = xlwt.Workbook()
w_sheet = book1.add_sheet('sheet1')
w_sheet.write(0, 0, label='name')
w_sheet.write(0, 1, label='age')
book1.save('demo2.xls')

'''
excel文件操作
文件读取
'''
import pandas as pddata = pd.read_excel('demo2.xls')
print(data)
'''
Empty DataFrame
Columns: [name, age]
Index: []
'''

6.练习

爬取王者荣耀英雄头像

json请求地址:http://gamehelper.gm825.com/wzry/hero/list

'''
爬取王者荣耀英雄头像
json请求地址:http://gamehelper.gm825.com/wzry/hero/list
'''
import requests
import jsonhero_url = 'http://gamehelper.gm825.com/wzry/hero/list'def download():# 下载头像res = requests.get(hero_url).json()# print(res)# print(type(res))  # <class 'dict'>for item in res['list']:print(item)hero_name = item['name']hero_image = item['cover']img = requests.get(hero_image).contentpath = './%s.png' % hero_namewith open(path, 'wb') as f:f.write(img)if __name__ == '__main__':download()

数据分析 第一讲 Python语言及工作环境准备、本地数据的采集与操作相关推荐

1. 【博学谷学习记录】超强总结，用心分享|人工智能第一课Python的认识与环境搭建。

   一:Python的认识 1.python的简介与应用 ①简介: Python是一种跨平台的计算机程序设计语⾔. 是一个高层次的结合了解释性.编译性.互动性和面向对象的脚本语⾔.最初被设计用于编写⾃动化 ...

2. 第一讲：ESP32-IDF+VSCode开发环境配置

   第一讲:ESP32-IDF+VSCode开发环境配置 文章目录 第一讲:ESP32-IDF+VSCode开发环境配置 1.1写进ESP32芯片的二进制程序的生成方式 1.2ESP32-IDF+VSCo ...

3. 【JAVA SE】第一章 Java语言概述、环境变量和HelloWorld

   第一章 Java语言概述.环境变量和HelloWorld 文章目录 第一章 Java语言概述.环境变量和HelloWorld 一.Java语言概述 1.Java简介 2.Java发展历史 3.Java ...

4. [转载] 《python程序设计应用教程》第一章 python语言概述

   参考链接: Python语言的优势和应用 第一章 python语言概述 1.1 python语言简介 ① 众多的开源的科学计算软件包都提供了python的调用接口,例如:计算机视觉库OpenCV.三维 ...

5. python搭建自动化测试平台_如何用python语言搭建自动化测试环境

   原标题:如何用python语言搭建自动化测试环境 技术分享:基于Python语言的Web自动化测试环境搭建 近期发现很多初学者在学习自动化的过程当中,在环境安装环节总是出现问题,所以详细的出一篇环境搭 ...

6. 【Python基础学习一】在OSX系统下搭建Python语言集成开发环境 附激活码

   Python是一门简单易学,功能强大的编程语言.它具有高效的高级数据结构和简单而有效的面向对象编程方法.Python优雅的语法和动态类型以及其解释性的性质,使它在许多领域和大多数平台成为编写脚本和快速 ...

7. RAC环境创建本地数据文件的解决方法

   RAC环境创建本地数据文件的解决方法: 思路如下: 1.数据文件 offline 2.通过RMAN 将数据文件拷贝到存储 3.alter database  rename  file 将本地文件路径修 ...

8. Python数据分析高薪实战第一天 python基础与项目环境搭建

   开篇词 数据赋能未来,Python 势不可挡 你好,我是千帆. 互联网公司从红利下的爆发期,进入新的精细化发展阶段,亟须深入分析与挖掘业务与数据价值,从而找到新的增长点突破现有增长瓶颈.各行各业的数据 ...

9. anaconda3卸载python_python从安装到到数据分析应用高手 Python语言基础知识

   本文主要介绍python的历史发展,安装应用,语言特点与基本常识. Python语言历史与趋势剖析 •1991年第一个Python编译器(也是解释器)诞生,作者 是Guido von Rossum , ...

最新文章

1. range() 和 np.arange()区别
2. 吃亏是福--创业[3]
3. 第三方工具生成密钥对连接GCP服务器（putty生成密钥远程连接服务器）
4. Daily scrum[2013.11.28]
5. 重装系统计算机名称回对ug,电脑重装系统后UG软件没有卸载的情况下重新启动UG软件的方法...
6. python怎么换行输代码_python输代码怎么换行？
7. C语言指针的使用例子（1）指针地址的输出
8. 如何使用水经注下载地图
9. 不仅仅是游戏，王者荣耀如何突破次元壁？
10. 爱思国际获戈壁创投数百万美元Pre-A 轮融资，意做菲律宾的分众传媒
11. linux下rsync启动命令,linux下rsync命令详细整理
12. 王菲语法11 动词（非谓语动词）
13. C语言winmain函数的参数,c++:谁调用了main/WinMain函数！
14. pm产品经理如何使用Axure？
15. c语言大数运算知乎,为什么知乎上大多数人不推荐C语言入门?
16. vSphere之VMkernel网络层
17. 使用 VS Studio 2022 创建自己的 NuGet包，图片教程包教包会！
18. Android防劫持
19. form表单属性集合
20. 如果你也23岁（2）

热门文章

1. 在线编辑word文档代码
2. Filter Solutions 10.0+破解
3. OpenWRT设置IPV6
4. css实现loading,CSS3实现18种Loading效果
5. 众多Android 开源项目推荐
6. 如何查看python安装了哪些模块_Python模块如何安装 并确认模块已经安装好？
7. 为什么husky哈士奇放弃了传统的 JS 配置（翻译）
8. 【python毕业设计源码】汽车销售系统
9. 别只会搜日志了，求你懂点原理吧（超详细）
10. 最近面试的软件测试笔试题笔试题（已整理参考答案）