该文章代码均在jupyter Notebook中运行，且已安装re包

# 先读取数据

import pandas as pd

f = open(r'C:\Users\qingfeng\Desktop\Python爬虫与文本分析\Python爬虫与文本分析\Python爬虫与文本分析课件(更新)\03-初识文本分析\data\table_data\sentimentexcell.csv',encoding='gbk')

df = pd.read_csv(f,encoding='utf-8')

print(type(df))

df

或者

# 先读取数据

import pandas as pd

df = pd.read_csv(open(r'C:\Users\qingfeng\Desktop\Python爬虫与文本分析\Python爬虫与文本分析\Python爬虫与文本分析课件(更新)\03-初识文本分析\data\table_data\sentimentexcell.csv'),encoding='utf-8')

print(type(df))

df

结果如下

前面讲解过如何读取CSV与Excel文件，可参考前面写过的内容

1 、df.head()

选取前n行数据，默认选取前5行，主要用来查看数据是否已经读取

df.head(3)

df.head()

2、df.tail()

选取后n行数据，默认选取后5行，主要用来查看数据是否已经读取

df.tail()

df.columns

输出df的列索引(列名)

df.columns

df[‘colname’]

查看colname这一列数据及数据类型，注意写法，不带.

df['name']

df[[‘cols1’,‘cols2’]]

返回cols这几列的数据

df[['name','text']]

df[‘newcolname’]=series

添加新的一列，名字为newcolname

df['eve_age']=28

df

df.to_datetime(df['日期列‘])

将格式混乱的日期列，转换为标准日期列

df['data_new']=pd.to_datetime(df['date'])

df

这里是将date日期列转化为格式标准的日期列，并将标准日期列添加到新的一列中，但是仍然有不精确的地方待完善

df[m:n]

显示m到n-1行的数据

df[2:4]

df.iterrows()

逐行迭代

for row in df.iterrows():

print(row)

输出结果如下

(0, date 2019/10/08

name 张三姐

text 我很开心，每天都这么快乐，我很幸福

age 20

gender female

data_new 2019-10-08 00:00:00

eve_age 28

Name: 0, dtype: object)

(1, date 13.07.07

name 李四姐

text 我很难过

age 30

gender female

data_new 2007-07-13 00:00:00

eve_age 28

Name: 1, dtype: object)

(2, date 19-10-10

name 王五哥

text 唉，真难受

age 22

gender male

data_new 2010-10-19 00:00:00

eve_age 28

Name: 2, dtype: object)

(3, date 2015/2/8

name 赵六兄弟

text 无所谓开心还是难过

age 14

gender male

data_new 2015-02-08 00:00:00

eve_age 28

Name: 3, dtype: object)

(4, date 08-5-5

name 凯哥

text 每天赚一万，真爽！

age 22

gender male

data_new 2005-08-05 00:00:00

eve_age 28

Name: 4, dtype: object)

(5, date 2019/9/9

name 八戒

text 爽歪歪

age 38

gender male

data_new 2019-09-09 00:00:00

eve_age 28

Name: 5, dtype: object)

(6, date 2018-03-21

name 孙悟空

text 天气很凉爽，很舒服

age 11

gender male

data_new 2018-03-21 00:00:00

eve_age 28

Name: 6, dtype: object)

(7, date 2018.10.9

name 白骨精

text 每天开心

age 44

gender female

data_new 2018-10-09 00:00:00

eve_age 28

Name: 7, dtype: object)

(8, date 2019.05.09

name 武媚娘

text 难过悲伤

age 32

gender female

data_new 2019-05-09 00:00:00

eve_age 28

Name: 8, dtype: object)

(9, date 2017/09/09

name 不知道起什么名字了

text 美满幸福

age 52

gender male

data_new 2017-09-09 00:00:00

eve_age 28

Name: 9, dtype: object)

观察上述返回的内容，形似元组，我们可以对其进行拆包

for idx,row in df.iterrows():

print(row)

返回内容如下

date 2019/10/08

name 张三姐

text 我很开心，每天都这么快乐，我很幸福

age 20

gender female

data_new 2019-10-08 00:00:00

eve_age 28

Name: 0, dtype: object

date 13.07.07

name 李四姐

text 我很难过

age 30

gender female

data_new 2007-07-13 00:00:00

eve_age 28

Name: 1, dtype: object

date 19-10-10

name 王五哥

text 唉，真难受

age 22

gender male

data_new 2010-10-19 00:00:00

eve_age 28

Name: 2, dtype: object

date 2015/2/8

name 赵六兄弟

text 无所谓开心还是难过

age 14

gender male

data_new 2015-02-08 00:00:00

eve_age 28

Name: 3, dtype: object

date 08-5-5

name 凯哥

text 每天赚一万，真爽！

age 22

gender male

data_new 2005-08-05 00:00:00

eve_age 28

Name: 4, dtype: object

date 2019/9/9

name 八戒

text 爽歪歪

age 38

gender male

data_new 2019-09-09 00:00:00

eve_age 28

Name: 5, dtype: object

date 2018-03-21

name 孙悟空

text 天气很凉爽，很舒服

age 11

gender male

data_new 2018-03-21 00:00:00

eve_age 28

Name: 6, dtype: object

date 2018.10.9

name 白骨精

text 每天开心

age 44

gender female

data_new 2018-10-09 00:00:00

eve_age 28

Name: 7, dtype: object

date 2019.05.09

name 武媚娘

text 难过悲伤

age 32

gender female

data_new 2019-05-09 00:00:00

eve_age 28

Name: 8, dtype: object

date 2017/09/09

name 不知道起什么名字了

text 美满幸福

age 52

gender male

data_new 2017-09-09 00:00:00

eve_age 28

Name: 9, dtype: object

迭代逐行输出

for idx,row in df.iterrows():

date = row['date']

name = row['name']

print(date,name)

2019/10/08 张三姐

13.07.07 李四姐

19-10-10 王五哥

2015/2/8 赵六兄弟

08-5-5 凯哥

2019/9/9 八戒

2018-03-21 孙悟空

2018.10.9 白骨精

2019.05.09 武媚娘

2017/09/09 不知道起什么名字了

df.agg({‘colname’:[func]})

对df对colname列批量进行func运算；如果是内置函数，func为”mean“、”sum“等，否则为函数名

# 计算文本长度

def length(string):

return len(string)

test = 'hello'

length(test)

结果为5

# 对text列进行批量计算

df['text_len']=df.agg({'text':[length]})

df

对其进行字符串长度计算后，添加到新的一列text_len中

如果function是一个情感计算函数，那么我们就可以将其情感计算结果写入新的一列中

df.to_csv(文件路径)

# df.to_csv(文件路径) 将dataframe输出到csv文件中

# df.to_excel(文件路径) 将dataframe输出到excel文件中

df.to_csv(r'C:\Users\qingfeng\Desktop\df.csv',encoding='gbk')