从IMDB上爬取MovieLens数据集中的详细电影信息

文章目录

基于协同过滤的电影推荐系统
数据集
HTML页面分析
爬虫代码
运行时间
百度网盘链接

基于协同过滤的电影推荐系统

用这个数据集实现了一个小型的电影推荐网站，GitHub代码

数据集

数据集是MovieLens提供的ml-latest-small

https://grouplens.org/datasets/movielens/

试了几个数据集，这个数据集效果比较好

10万条评分记录，3600个用户对电影打的标签，9000部电影，600个用户

数据集的格式是这样的

link.csv ：存放电影的imdb id和tmdb id

movies.csv ：存放电影的id 名称类型

ratings.csv ：用户对电影的评分，范围是0.5~5

tags.csv ：用户对电影打的标签

link.csv文件是这样的格式：

HTML页面分析

我刚看的时候不明白imdbID是什么意思，后面访问IMBD网站发现，这里的imdbID就是URL里面的标识符
有了link.csv文件里面的imdbID，我们就可以访问到这部电影在IMDB上面的详情页面了（这个数据集也太爽了

从IMDB上爬取MovieLens数据集中的详细电影信息相关推荐

Matlab 从怀俄明大学上爬取探空数据
function sounding %设置爬取时间 49行可以选取早八晚八,默认是都下载 start_year =2019 ; start_month =06 ...
从IMDB上爬取MovieLens-1m的补充数据（电影海报和简介）
文章主要内容本人是想做推荐算法相关的一名在校生,目前想做多模态融合,而MovieLens-1m数据集只有电影信息和用户信息,于是有想法能否在原有的电影推荐公开数据集中而外获取电影海报(图片信息)和电 ...
imdb文本爬取及数据清理
imdb电影爬取代码 import requests from bs4 import BeautifulSoup import pandas as pd import time import nump ...
爬取豆瓣评分前50的电影信息
文章目录项目描述内容模块代码区运行测试项目描述根据豆瓣评分排名,获取豆瓣评分前50的电影信息.主要包括:电影名称.电影评分.评价人数和电影短评信息,并存储到本地表格文件. 内容模块使用r ...
爬取94神马网的电影信息
1.程序如下 import requests from lxml import etree import json Base_download='http://www.9rmb.com'#后期每一电影 ...
node爬取app数据_从零开始写一个node爬虫（上）—— 数据采集篇
爬虫相信大家都知道,这里我们从一个空的文件夹开始,也来写一写我们自己的爬虫程序吧. github入口下一篇--数据分析篇入口爬虫毕竟涉及到数据的爬取,所以其实有一个道德的约束,那就是Robots协 ...
利用python编写爬虫程序，从招聘网站上爬取数据，将数据存入到MongoDB数据库中，将存入的数据作一定的数据清洗后做数据分析，最后将分析的结果做数据可视化
教程演示创建爬虫项目编写需要爬取的字段(items.py) 编写spider文件(wuyou.py) 编写数据库连接(pipelines.py) 编写反爬措施(settings.py) Mongo ...
boss直聘账号异常登不上_python爬虫Scrapy:爬取boss数据
一.概述学习python有一段时间了,最近了解了下Python的入门爬虫框架Scrapy,参考了文章Python爬虫框架Scrapy入门.本篇文章属于初学经验记录,比较简单,适合刚学习爬虫的小伙伴. ...
从小说网站上爬取数据
首先安装环境,在setting里面的project interpreter里面安装requests和lxml 首先第一步:抓取网页从url开始在url里面输入要爬取的网站第一种方法通过lxml ...

从IMDB上爬取MovieLens数据集中的详细电影信息

文章目录

基于协同过滤的电影推荐系统

数据集

HTML页面分析

从IMDB上爬取MovieLens数据集中的详细电影信息相关推荐

最新文章

热门文章