推荐系统--MovieLens数据集

推荐系统–MovieLens数据集

简介

MovieLens 数据集是由 GroupLens 项目组制作的公开数据集。MoveieLens数据集可以说是推荐系统领域最为经典的数据集之一，其地位类似计算机视觉领域里的MNIST数据集。

MovieLens数据集

MovieLens 是一系列数据集的统称。根据创建时间、数据集大小等划分为若干个子数据集。例如：

MovieLens 100K Dataset
MovieLens 1M Dataset
MovieLens 10M Dataset
MovieLens 20M Dataset

每个数据集都可以在官网进行下载。

数据集详情

我们以 MovieLens 1M Dataset 为例进行分析。

首先，我们下载 MovieLens 1M Dataset 后得到压缩包 ml-1m.zip。对其进行接下后可以得到四个文件：

movies.dat
ratings.dat
user.dat
README

README

README 文件中描述了数据集的相关信息，有兴趣的同学可以自行查阅。我们主要关注另外三个文件的内容和格式。

ratings.dat

ratings.dat 文件里面的内容包含了每一个用户对于每一部电影的评分。打开文件，我们可以看到以下内容（我们仅展示一部分）：

1::1193::5::978300760
1::661::3::978302109
1::914::3::978301968
1::3408::4::978300275
1::2355::5::978824291
1::1197::3::978302268
1::1287::5::978302039
1::2804::5::978300719

内容的描述格式为：UserID::MovieID::Rating::Timestamp

UserID 表示用户编号，范围从 1 到 6040
MovieID 表示电影编号，范围从 1 到 3952
Rating 表示用户对电影的评级，范围是 1 到 5，都是整数
Timestamp 表示时间戳，以秒为单位

注意：每个用户至少会对 20 部电影进行评级。

users.dat

users.data 描述了用户的信息。我们展示文件的部分行。

1::F::1::10::48067
2::M::56::16::70072
3::M::25::15::55117
4::M::45::7::02460
5::M::25::20::55455
6::F::50::9::55117
7::M::35::1::06810
8::M::25::12::11413

内容的描述格式为：UserID::Gender::Age::Occupation::Zip-code

UserID 表示用户编号，范围从 1 到 6040
Gender 'M’代表男性，'F’代表女性
Age 表示用户年龄
- 1： 18岁以下
- 18： 18~24岁
- 25： 25~34岁
- 35： 35~44岁
- 45： 45~49岁
- 50： 50~55岁
- 56：56岁以上
Occupation 表示用户的职业
- 0：其他或者未指定
- 1：学者/教育行业
- 2：艺术家
- 3：办事员/行政人员
- 4：大学生/研究生
- 5：服务业
- 6：医疗医护业
- 7：执行官/管理者
- 8：农民
- 9：家庭主妇
- 10：中小学生
- 11：律师
- 12：程序员
- 13：退休人员
- 14：销售人员/市场人员
- 15：科学家
- 16：自主创业
- 17：技术人员/工程师
- 18：商人/手工工作者
- 19：失业
- 20：作家
Zip-dode 表示用户所在地的邮政编码

movies.dat

movies.dat 文件中描述了电影的详细信息，我们展示部分内容。

1::Toy Story (1995)::Animation|Children's|Comedy
2::Jumanji (1995)::Adventure|Children's|Fantasy
3::Grumpier Old Men (1995)::Comedy|Romance
4::Waiting to Exhale (1995)::Comedy|Drama
5::Father of the Bride Part II (1995)::Comedy
6::Heat (1995)::Action|Crime|Thriller
7::Sabrina (1995)::Comedy|Romance
8::Tom and Huck (1995)::Adventure|Children's

内容的描述格式为：MovieID::Title::Genres

MovieID 表示电影编号，范围从 1 到 3952
Title 表示电影名称，由IMDB提供，且包括发行年份
Genres 表示电影题材，多种题材之间用 | 隔开，共包含以下题材
- Action
- Adventure
- Animation
- Children’s
- Comedy
- Crime
- Documentary
- Drama
- Fantasy
- Film-Noir
- Horror
- Musical
- Mystery
- Romance
- Sci-Fi
- Thriller
- War Western

数据的加载

我们使用 pandas 加载数据

import pandas as pddef get_data(root_path):# 读取数据--并重新定义列名col_names = ['user_id','movie_id','rating','timestamp'] ratings = pd.read_csv(os.path.join(root_path, 'ratings.dat'), sep='::', engine='python', names=col_names)# 打印出前几行数据print(ratings[0:5])"""user_id  movie_id  rating  timestamp0        1      1193       5  9783007601        1       661       3  9783021092        1       914       3  9783019683        1      3408       4  9783002754        1      2355       5  978824291"""col_names = ["user_id", "gender", "age", "occupation", "zip_code"]users = pd.read_csv(os.path.join(root_path, 'users.dat'), sep='::', engine='python', names=col_names)print(users[:5])"""user_id gender  age  occupation zip_code0        1      F    1          10    480671        2      M   56          16    700722        3      M   25          15    551173        4      M   45           7    024604        5      M   25          20    55455"""col_names = ["movie_id", "title", "genres"]movies = pd.read_csv(os.path.join(root_path, 'movies.dat'), sep='::', engine='python', names=col_names)print(movies[:5])"""movie_id                               title                        genres0         1                    Toy Story (1995)   Animation|Children's|Comedy1         2                      Jumanji (1995)  Adventure|Children's|Fantasy2         3             Grumpier Old Men (1995)                Comedy|Romance3         4            Waiting to Exhale (1995)                  Comedy|Drama4         5  Father of the Bride Part II (1995)                        Comedy"""return ratings, users, moviesif __name__ == "__main__":root_path = './data/ml-1m/'get_data(root_path)

推荐系统--MovieLens数据集