AI 影评家/ 用 Hugging Face 模型打造一个电影评分机器人

本文为社区成员 Jun Chen 为百姓 AI 和 Hugging Face 联合举办的黑客松所撰写的教程文档，欢迎你阅读今天的第二条推送了解和参加本次黑客松活动。文内含有较多链接，我们不再一一贴出，请点击这里查看渲染后的 Notebook 文件。

随着人工智能和大模型 ChatGPT 的持续火爆，越来越多的个人和创业者都想并且可以通过自己创建人工智能 APP 来探索这个新兴领域的机会。只要你有一个想法，你就可以通过各种开放社区和资源实现一些简单功能，满足特定领域或者用户的需求。

试想现在有一部新的电影刚刚上线了，我们和朋友在家热烈的讨论着这部新的电影，这些都是非常有价值的电影评价的信息，不过估计这个时候很少有人会特地去登陆自己的豆瓣账号再去发表这些刚刚的评论，如果有一个电影评论机器人可以自动收集这些评论并且根据评论打分，然后自动上传到制定的电影评论网站呢？再比如，我们在某个餐厅吃饭，我们只用对着手机说几句话，我们的评分就自动上传到大众点评呢？我们来试试如何实现这样一个小小的机器人吧！

在本教程中，我们将探索如何使用 Hugging Face 资源来 Finetune 一个模型且构建一个电影评分机器人。我们将向大家展示如何整合这些资源，让你的聊天机器人具备总结评论并给出评分的功能。我们会用通俗易懂的语言引导你完成这个有趣的项目！

为了可以简单的说明实现的步骤，我们简化这个【电影打分机器人】的实现方法：

App 直接收集来自 input 的 text 作为输入，有兴趣的小伙伴们可以研究一下如何接入到语音，Whisper to ChatGPT 是一个很有好的例子。
App 不会实现自动上传评价到特定网站。

第一步: 训练电影评价打分模型

首先我们需要一个可以看懂评论且给评论打分的模型，这个例子选用的是利用数据集 IMDb 微调 DistilBERT，微调后的模型可以预测一个电影的评论是正面的还是负面的且给出评分（五分满分）。

当然大家可以根据各自的需求找到不同的数据集来 Finetune 模型，也可以使用不同的基础模型，Hugging Face 上提供了很多可选项。

本任务使用或间接使用了下面模型的架构:

ALBERT, BART, BERT, BigBird, BigBird-Pegasus, BLOOM, CamemBERT, CANINE, ConvBERT, CTRL, Data2VecText, DeBERTa, DeBERTa-v2, DistilBERT, ELECTRA, ERNIE, ErnieM, ESM, FlauBERT, FNet, Funnel Transformer, GPT-Sw3, OpenAI GPT-2, GPT Neo, GPT-J, I-BERT, LayoutLM, LayoutLMv2, LayoutLMv3, LED, LiLT, Longformer, LUKE, MarkupLM, mBART, Megatron-BERT, MobileBERT, MPNet, MVP, Nezha, Nyströmformer, OpenAI GPT, OPT, Perceiver, PLBart, QDQBert, Reformer, RemBERT, RoBERTa, RoBERTa-PreLayerNorm, RoCBert, RoFormer, SqueezeBERT, TAPAS, Transformer-XL, XLM, XLM-RoBERTa, XLM-RoBERTa-XL, XLNet, X-MOD, YOSO

# Transformers installation
! pip install transformers datasets evaluate
# To install from source instead of the last release, comment the command above and uncomment the following one.
# ! pip install git+https://github.com/huggingface/transformers.git

在使用本示例前请安装如下库文件:

pip install transformers datasets evaluate

我们建议登陆 Hugging Face 账户进行操作，这样就可以方便的上传和分享自己创建的模型。当有弹框时请输入个人的 token 。根据下图找到我们自己的 Hugging Face Tokens。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4KOyW9OQ-1679034911763)(null)]

from huggingface_hub import notebook_loginnotebook_login()

Token is valid.
Your token has been saved in your configured git credential helpers (store).
Your token has been saved to /root/.cache/huggingface/token
Login successful

加载 IMDb 数据集

开始从 Datasets 库中加载 IMDb 数据集