标签(空格分隔)： 数据分析 python 数据挖掘

MovieLens 1M数据集

一组从20世纪90年末到21世纪初由MovieLens用户提供的电影评分数据。这些数据中包括电影评分、电影元数据(风格类型和年代)以及关于用户的人口统计学数据(年龄、邮编、性别和职业等)。

MovieLens 1M数据集含有来自6000名用户对4000部电影的100万条评分数据。分为三个表：评分、用户信息和电影信息。

以下代码，通过pandas.read_table将各个表分别读到一个pandas DataFrame对象中：

import pandas as pd

unames = ['user_id', 'gender', 'age', 'occupation', 'zip']

users = pd.read_table('G:\\lcw\\movielens\\users.dat', sep='::', header=None, names=unames)

rnames = ['user_id', 'movie_id', 'rating', 'timestamp']

ratings = pd.read_table('G:\\lcw\\movielens\\ratings.dat', sep='::', header=None, names=rnames)

mnames = ['movie_id', 'title', 'genres']

movies = pd.read_table('G:\\lcw\\movielens\\movies.dat', sep='::', header=None, names=mnames)

# 如果是读取CSV的数据格式(说明)：

import pandas as pd

# Reading data locally

df = pd.read_csv('/Users/al-ahmadgaidasaad/Documents/d.csv')

# Reading data from web

data_url = "https://raw.githubusercontent.com/alstat/Analysis-with-Programming/master/2014/Python/Numerical-Descriptions-of-the-Data/data.csv"

df = pd.read_csv(data_url)

问题：对分布在三个表的数据进行分析同时进行分析很难，那必须将所有的数据都合并到一个表中进行分析，下面，用pandas的merge函数将ratings跟users合并到一起，然后再将movies也合并进去。pandas会根据列名的重叠情况推断出哪些列是合并(或连接)键：

>>> data = pd.merge(pd.merge(ratings,users),movies)

>>> data

user_id movie_id rating timestamp gender age occupation zip \

0 1 1193 5 978300760 F 1 10 48067

1 2 1193 5 978298413 M 56 16 70072

2 12 1193 4 978220179 M 25 12 32793

3 15 1193 4 978199279 M 25 7 22903

4 17 1193 5 978158471 M 50 1 95350

5 18 1193 4 978156168 F 18 3 95825

6 19 1193 5 982730936 M 1 10 48073

7 24 1193 5 978136709 F 25 7 10023

8 28 1193 3 978125194 F 25 1 14607

9 33 1193 5 978557765 M 45 3 55421

10 39 1193 5 978043535 M 18 4 61820

11 42 1193 3 978038981 M 25 8 24502

下面对pandas进行聚类操作：

1、按性别计算每部电影的平均得分，用Pivot_table方法：

DataFrame 对象有一个 .pivot_table(data, values=None, rows=None, cols=None, aggfunc='mean', fill_value=None, margins=False, dropna=True) 方法可以用来制作透视表，同时 pd.pivot_table() 也是一个顶层函数。

data 参数相当于 self，这里将其命名为 data 也许是为了与顶级函数版本的 pivot_table 保持一致。

values 参数可以是一个以列名为元素的列表，用于指定想要聚合的数据，不给出的话默认使用全部数据。

rows 参数用于指定行分组键

cols 参数用于指定列分组键

aggfunc 参数用于指定聚合函数，默认为均值(mean)，也可以是np.sum

margins 参数是小计(Total)功能的开关，设为 True 后结果集中会出现名为 “ALL” 的行和列

>>> df

A B C D

0 foo one small 1

1 foo one large 2

2 foo one large 2

3 foo two small 3

4 foo two small 3

5 bar one large 4

6 bar one small 5

7 bar two small 6

8 bar two large 7

>>> table = pivot_table(df, values='D', rows=['A', 'B'], cols=['C'], aggfunc=np.sum)

>>> table

small large

foo one 1 4

two 6 NaN

bar one 5 4

two 6 7

具体实例：

>>> mean_ratings = data.pivot_table('rating', rows='title',cols='gender',aggfunc='mean')

>>> mean_ratings[:5]

gender F M

title

$1,000,000 Duck (1971) 3.375000 2.761905

'Night Mother (1986) 3.388889 3.352941

'Til There Was You (1997) 2.675676 2.733333

'burbs, The (1989) 2.793478 2.962085

...And Justice for All (1979) 3.828571 3.689024

ps 该操作产生了另一个DataFrame，其内容为电影平均得分，行标为电影名称，列表为性别。

2、过滤掉评分数据不够250条的电影，为了达到这个目的，先对title进行分组，然后利用size() 得到一个含有各电影分组大小的Series对象：

>>> ratings_by_titlr = data.groupby('title').size()

>>> ratings_by_titlr[:10]

title

$1,000,000 Duck (1971) 37

'Night Mother (1986) 70

'Til There Was You (1997) 52

'burbs, The (1989) 303

...And Justice for All (1979) 199

1-900 (1994) 2

10 Things I Hate About You (1999) 700

101 Dalmatians (1961) 565

101 Dalmatians (1996) 364

12 Angry Men (1957) 616

dtype: int64

>>> active_titles = ratings_by_titlr.index[ratings_by_titlr >250]

>>> active_titles

ps 这个地方得到的其实是满足条件的title的Index索引值，然后在下面用索引字段ix中直接获取

然后从1中切出评论大于250条的电影了：

>>> mean_ratings = mean_ratings.ix[active_titles]

>>> active_titles

Index([u''burbs, The (1989)', u'10 Things I Hate About You (1999)', u'101 Dalmatians (1961)', ...], dtype='object')

ps :这个地方用ix[active_titles] 直接获取对应的数据

我们做了个试验：

>>> data = {'state': ['Ohio', 'Ohio', 'Ohio', 'Nevada', 'Nevada'],'year': [2000, 2001, 2002, 2001, 2002],'pop':[1.5, 1.7, 3.6, 2.4, 2.9]}

>>> frame2 = pd.DataFrame(data, columns=['year', 'state', 'pop', 'debt'],index=['one', 'two', 'three', 'four', 'five'])

>>> frame2.columns

Index([u'year', u'state', u'pop', u'debt'], dtype='object')

>>> frame2.ix['three']

year 2002

state Ohio

pop 3.6

debt NaN

Name: three, dtype: object

>>> obj = frame2.index

>>> frame2.ix[obj]

year state pop debt

one 2000 Ohio 1.5 NaN

two 2001 Ohio 1.7 NaN

three 2002 Ohio 3.6 NaN

four 2001 Nevada 2.4 NaN

five 2002 Nevada 2.9 NaN

这里涉及到切片，DataFrame对象的标准切片语法为：.ix[::,::].ix对象可以接受两套切片，分别为行(axis =0)和列(axis =1)的方向：

>>> df

Ohio Texas California

a 0 1 2

c 3 4 5

d 6 7 8

[3 rows x 3 columns]

>>> df.ix[:2,:2]

Ohio Texas

a 0 1

c 3 4

[2 rows x 2 columns]

>>> df.ix['a','Ohio']

0

而不使用 ix，直接切的情况就特殊了：索引时，选取的是列，切片时，选取的是行

>>> df['Ohio']

a 0

c 3

d 6

Name: Ohio, dtype: int32

>>> df[:'c']

Ohio Texas California

a 0 1 2

c 3 4 5

[2 rows x 3 columns]

>>> df[:2]

Ohio Texas California

a 0 1 2

c 3 4 5

[2 rows x 3 columns]

使用布尔型数组的情况，注意行与列的不同切法(列切法的“：”不能省)

>>> df['Texas']>=4

a False

c True

d True

Name: Texas, dtype: bool

>>> df[df['Texas']>=4]

Ohio Texas California

c 3 4 5

d 6 7 8

[2 rows x 3 columns]

>>> df.ix[:,df.ix['c']>=4]

Texas California

a 1 2

c 4 5

d 7 8

[3 rows x 2 columns]

我只是不知道为什么不能显示摘要模式

接下来就是对某一行的数据进行排列，主要用到的是sort_index

>>> top_female_ratings = mean_ratings.sort_index(by = 'F', ascending = False)

>>> top_female_ratings

Series 的sort_index(ascending=True) 方法可以对index进行排序操作，ascdending 参数用于控制升序或者降序，默认是升序 DataFrame 上，.sort_index(axis=0, by=None, ascending=True) 方法多了一个轴向的选择参数与一个 by 参数，by 参数的作用是针对某一(些)列进行排序(不能对行使用 by 参数)：。

3、计算评分分歧，找出男性和女性观众分歧最大的电影。在mean_ratings 加上一个用于存放平均得分之差的列，并对其进行排序：

mean_ratings['diff'] = mean_ratings['M'] - mean_ratings['F']

>>> sort_by_diff = mean_ratings.sort_index(by='diff')

>>> sort_by_diff[:15]

gender F M diff

title

Dirty Dancing (1987) 3.790378 2.959596 -0.830782

Jumpin' Jack Flash (1986) 3.254717 2.578358 -0.676359

Grease (1978) 3.975265 3.367041 -0.608224

Little Women (1994) 3.870588 3.321739 -0.548849

Steel Magnolias (1989) 3.901734 3.365957 -0.535777

Anastasia (1997) 3.800000 3.281609 -0.518391

Rocky Horror Picture Show, The (1975) 3.673016 3.160131 -0.512885

Color Purple, The (1985) 4.158192 3.659341 -0.498851

Age of Innocence, The (1993) 3.827068 3.339506 -0.487561

Free Willy (1993) 2.921348 2.438776 -0.482573

French Kiss (1995) 3.535714 3.056962 -0.478752

Little Shop of Horrors, The (1960) 3.650000 3.179688 -0.470312

Guys and Dolls (1955) 4.051724 3.583333 -0.468391

Mary Poppins (1964) 4.197740 3.730594 -0.467147

Patch Adams (1998) 3.473282 3.008746 -0.464536

对排序结果反序并取出前15行，得到的则是观众更喜欢的电影：[:: -1] 取反

>>> sort_by_diff[:: -1][:15]

gender F M diff

title

Good, The Bad and The Ugly, The (1966) 3.494949 4.221300 0.726351

Kentucky Fried Movie, The (1977) 2.878788 3.555147 0.676359

Dumb & Dumber (1994) 2.697987 3.336595 0.638608

Longest Day, The (1962) 3.411765 4.031447 0.619682

Cable Guy, The (1996) 2.250000 2.863787 0.613787

Evil Dead II (Dead By Dawn) (1987) 3.297297 3.909283 0.611985

Hidden, The (1987) 3.137931 3.745098 0.607167

Rocky III (1982) 2.361702 2.943503 0.581801

Caddyshack (1980) 3.396135 3.969737 0.573602

For a Few Dollars More (1965) 3.409091 3.953795 0.544704

Porky's (1981) 2.296875 2.836364 0.539489

Animal House (1978) 3.628906 4.167192 0.538286

Exorcist, The (1973) 3.537634 4.067239 0.529605

Fright Night (1985) 2.973684 3.500000 0.526316

Barb Wire (1996) 1.585366 2.100386 0.515020

但是，只是想要找出分歧最大的电影(不考虑性别因素)，则可以计算得分数据的方差或者标准差

>>> rating_std_by_title = data.groupby('title')['rating'].std()

>>> rating_std_by_title

title

$1,000,000 Duck (1971) 1.092563

'Night Mother (1986) 1.118636

'Til There Was You (1997) 1.020159

'burbs, The (1989) 1.107760

...And Justice for All (1979) 0.878110

1-900 (1994) 0.707107

10 Things I Hate About You (1999) 0.989815

101 Dalmatians (1961) 0.982103

101 Dalmatians (1996) 1.098717

12 Angry Men (1957) 0.812731

13th Warrior, The (1999) 1.140421

187 (1997) 1.057919

2 Days in the Valley (1996) 0.921592

20 Dates (1998) 1.151943

20,000 Leagues Under the Sea (1954) 0.869685

...

Name: rating, Length: 3706, dtype: float64

注意，这个地方用了groupby 默认的情况下就是统计这个属性出现的次数，但是，就像我们用mysql一样，用了groupby，肯定也会有很多相关的统计的方法：

一些numpy常用的统计方法：

count 非 NA 值的数量

describe 针对 Series 或 DF 的列计算汇总统计

min , max 最小值和最大值

argmin , argmax 最小值和最大值的索引位置(整数)

idxmin , idxmax 最小值和最大值的索引值

quantile 样本分位数(0 到 1)

sum 求和

mean 均值

median 中位数

mad 根据均值计算平均绝对离差

var 方差

std 标准差

skew 样本值的偏度(三阶矩)

kurt 样本值的峰度(四阶矩)

cumsum 样本值的累计和

cummin , cummax 样本值的累计最大值和累计最小值

cumprod 样本值的累计积

diff 计算一阶差分(对时间序列很有用)

pct_change 计算百分数变化

接下来，过滤掉评论不足250条的记录：

>>> rating_std_by_title = rating_std_by_title.ix[active_titles]

>>> rating_std_by_title .order(ascending = False)[: 10]

title

Dumb & Dumber (1994) 1.321333

Blair Witch Project, The (1999) 1.316368

Natural Born Killers (1994) 1.307198

Tank Girl (1995) 1.277695

Rocky Horror Picture Show, The (1975) 1.260177

Eyes Wide Shut (1999) 1.259624

Evita (1996) 1.253631

Billy Madison (1995) 1.249970

Fear and Loathing in Las Vegas (1998) 1.246408

Bicentennial Man (1999) 1.245533

Name: rating, dtype: float64

若要按值对 Series 进行排序，当使用 .order(na_last=True, ascending=True, kind='mergesort') 方法，任何缺失值默认都会被放到 Series 的末尾。

扩展: 排名(Series.rank(method='average', ascending=True))的作用与排序的不同之处在于，他会把对象的 values 替换成名次(从 1 到 n)。这时唯一的问题在于如何处理平级项，方法里的 method 参数就是起这个作用的，他有四个值可选：average, min, max, first。

>>> ser=Series([3,2,0,3],index=list('abcd'))

>>> ser

a 3

b 2

c 0

d 3

dtype: int64

>>> ser.rank()

a 3.5

b 2.0

c 1.0

d 3.5

dtype: float64

>>> ser.rank(method='min')

a 3

b 2

c 1

d 3

dtype: float64

>>> ser.rank(method='max')

a 4

b 2

c 1

d 4

dtype: float64

>>> ser.rank(method='first')

a 3

b 2

c 1

d 4

dtype: float64