AI 影评家: 用 Hugging Face 模型打造一个电影评分机器人
❝
本文为社区成员 Jun Chen 为 百姓 AI 和 Hugging Face 联合举办的黑客松所撰写的教程文档,欢迎你阅读今天的第二条推送了解和参加本次黑客松活动。文内含有较多链接,我们不再一一贴出,请在文末阅读原文处点击查看渲染后的 Notebook 文件。
随着人工智能和大模型 ChatGPT 的持续火爆,越来越多的个人和创业者都想并且可以通过自己创建人工智能 APP 来探索这个新兴领域的机会。只要你有一个想法,你就可以通过各种开放社区和资源实现一些简单功能,满足特定领域或者用户的需求。
试想现在有一部新的电影刚刚上线了,我们和朋友在家热烈的讨论着这部新的电影,这些都是非常有价值的电影评价的信息,不过估计这个时候很少有人会特地去登陆自己的豆瓣账号再去发表这些刚刚的评论,如果有一个电影评论机器人可以自动收集这些评论并且根据评论打分,然后自动上传到制定的电影评论网站呢?再比如,我们在某个餐厅吃饭,我们只用对着手机说几句话,我们的评分就自动上传到大众点评呢?我们来试试如何实现这样一个小小的机器人吧!
在本教程中,我们将探索如何使用 Hugging Face 资源来 Finetune 一个模型且构建一个电影评分机器人。我们将向大家展示如何整合这些资源,让你的聊天机器人具备总结评论并给出评分的功能。我们会用通俗易懂的语言引导你完成这个有趣的项目!
为了可以简单的说明实现的步骤,我们简化这个【电影打分机器人】的实现方法:
App 直接收集来自
input
的text
作为输入,有兴趣的小伙伴们可以研究一下如何接入到语音,Whisper to ChatGPT 是一个很有好的例子。App 不会实现自动上传评价到特定网站。
第一步: 训练电影评价打分模型
首先我们需要一个可以看懂评论且给评论打分的模型,这个例子选用的是利用数据集 IMDb 微调 DistilBERT,微调后的模型可以预测一个电影的评论是正面的还是负面的且给出评分(五分满分)。
当然大家可以根据各自的需求找到不同的数据集来 Finetune 模型,也可以使用不同的基础模型,Hugging Face 上提供了很多可选项。
本任务使用或间接使用了下面模型的架构:
ALBERT, BART, BERT, BigBird, BigBird-Pegasus, BLOOM, CamemBERT, CANINE, ConvBERT, CTRL, Data2VecText, DeBERTa, DeBERTa-v2, DistilBERT, ELECTRA, ERNIE, ErnieM, ESM, FlauBERT, FNet, Funnel Transformer, GPT-Sw3, OpenAI GPT-2, GPT Neo, GPT-J, I-BERT, LayoutLM, LayoutLMv2, LayoutLMv3, LED, LiLT, Longformer, LUKE, MarkupLM, mBART, Megatron-BERT, MobileBERT, MPNet, MVP, Nezha, Nyströmformer, OpenAI GPT, OPT, Perceiver, PLBart, QDQBert, Reformer, RemBERT, RoBERTa, RoBERTa-PreLayerNorm, RoCBert, RoFormer, SqueezeBERT, TAPAS, Transformer-XL, XLM, XLM-RoBERTa, XLM-RoBERTa-XL, XLNet, X-MOD, YOSO
# Transformers installation
! pip install transformers datasets evaluate
# To install from source instead of the last release, comment the command above and uncomment the following one.
# ! pip install git+https://github.com/huggingface/transformers.git
在使用本示例前请安装如下库文件:
pip install transformers datasets evaluate
我们建议登陆 Hugging Face 账户进行操作,这样就可以方便的上传和分享自己创建的模型。当有弹框时请输入个人的 token 。根据下图找到我们自己的 Hugging Face Tokens。
from huggingface_hub import notebook_loginnotebook_login()
Token is valid.
Your token has been saved in your configured git credential helpers (store).
Your token has been saved to /root/.cache/huggingface/token
Login successful
加载 IMDb 数据集
开始从 Datasets 库中加载 IMDb 数据集
AI 影评家: 用 Hugging Face 模型打造一个电影评分机器人相关推荐
- AI 影评家/ 用 Hugging Face 模型打造一个电影评分机器人
本文为社区成员 Jun Chen 为 百姓 AI 和 Hugging Face 联合举办的黑客松所撰写的教程文档,欢迎你阅读今天的第二条推送了解和参加本次黑客松活动.文内含有较多链接,我们不再一一贴出 ...
- AI公开课:19.04.17杨松帆—好未来AI Lab负责人《为人工智能时代打造一个AI老师》课堂笔记以及个人感悟
AI公开课:19.04.17杨松帆-好未来AI Lab负责人<为人工智能时代打造一个AI老师>课堂笔记以及个人感悟 导读 杨松帆,现为好未来教育集团人工智能实验室负责人.曾任FaceThi ...
- python黑科技:Python大佬用20行代码带你打造一个微信聊天机器人,真神了~
如何用20行Python代码打造一个微信群聊助手? 1.安装python环境 2.安装python的itchat库 3.安装itchat库 4.Linux 5.申请图灵机器人API和key 6.编写p ...
- 小白如何用苹果CMS打造一个电影网站?
对于网站制作,很多小白可能不是很懂,做网站之前想了很多,最终还是决定做一个,所以,我根据www.mydytt.com 影视的影视站建站教程就分享给大家了. 首先说下电影站程序,一般分为asp和php的 ...
- 达观数据如何打造一个中文NER系统
1 NER简介 NER(Named Entity Recognition,命名实体识别)又称作专名识别,是自然语言处理中常见的一项任务,使用的范围非常广.命名实体通常指的是文本中具有特别意义或者指代性 ...
- AI:2023年6月9日北京智源大会演讲分享之基础模型前沿技术论坛—《工程化打造AI中的CPU》、《构建一个AI系统:在LLM上应用带有RLHF来推进定制》、《多模态预训练的进展回顾与展望》、《扩展大
AI:2023年6月9日北京智源大会演讲分享之基础模型前沿技术论坛-<工程化打造AI中的CPU>.<构建一个AI系统:在LLM上应用带有RLHF来推进定制>.<多模态预训 ...
- 【AI人工智能大模型】如何基于大模型打造企业的智能底座?
目录 如何基于大模型打造企业的智能底座? 1. 引言 1.1 企业智能底座的定义和重要性
- 猫主子总往家里带老鼠?那就用深度学习打造一个「猫门」吧
猫主子想带老鼠进门?休想,我有人工智能武器. 机器之心报道,作者:路.李亚洲. 可爱的猫主子在安享主人的爱护时,也常常想「回报」主人,比如送点小礼物啦-然而猫主子的小礼物一般人可是消受不起的--(捂脸 ...
- Nature封面:IBM团队发布“AI辩论家”最新研究进展、Insitro创AI制药领域单笔融资金额记录 | AI日报...
AI制药公司Insitro完成4亿美元的C轮融资,创AI制药领域单笔融资金额记录 近日,AI制药公司Insitro宣布完成 4 亿美元的 C 轮融资,成为全球 AI 制药领域单笔融资金额最高的公司.本 ...
最新文章
- java并发读取相同的文件_高效读取大文件,再也不用担心 OOM 了!
- D - Mike and strings
- EEGNet: 神经网络应用于脑电信号
- 一行Java代码实现将数组转成List
- java+mysql性能优化_Java培训实战教程之mysql优化
- /var/log目录中Linux日志文件的功能详解
- 别再瞎找了,设计师日常工作需要的软件都在这里了
- 消息映射与消息路由原理
- ActiveReportsJS 2.2.1 中文特殊版
- Ableton Live 10 mac 破解版永久激活方法
- arcgis栅格数据绘制等值线_ArcGIS教程:绘制等值线的工作原理
- 2021年信息系统监理师考试大纲
- 蜻蜓飞过,从此智能硬件厂商有了儿童梦工厂
- 2022最新:8种常用DNA甲基化测序技术,你知道几个?|易基因
- 工作环境配置及putty工具常见设置
- idea项目列表名称与项目名称不一致
- 解决VUE项目更新后需要客户手动刷新浏览器问题
- swift转场动画_Swift游乐场的演变
- Excel2013利用图标集在单元格内加上各式各样的图标来表示状态
- Junos设备密码恢复