model.generate返回句子大于1时出现＜unk＞的情况处理

今天写代码的时候遇到很狗血的地方，在用T5模型的model.generate()方法是用了beam_search并且num_return_sequences>1，如下所示：

但在部分句子中却出现了如下问题：

具体来讲就是出现了pad和unk这种无效路径，因此要把这种无效路径去除掉，所以要在generate里添加参数remove_invalid_values = True即可。

model.generate返回句子大于1时出现＜unk＞的情况处理相关推荐

解决springmvc在单纯返回一个字符串对象时所出现的乱码情况(极速版)
使用springmvc框架开发了这么长时间,之前都是直接返回jsp页面,乱码情况都是通过配置和手动编解码来解决,但是今天突然返回一段单纯的字符串时,发现中文乱码情况解决不了了,下面就给各位分享一下如何 ...
题解 | #第二快/慢用时之差大于试卷时长一半的试卷#简单解
题解 | #第二快/慢用时之差大于试卷时长一半的试卷# 思路:1. 使用窗口函数为每个exam_id组中的每个试卷记录赋予用时排名;分为正向用时和反向用时;计算每份试卷记录的答题用时列time_dif ...
Android4.0.4之后，服务器返回401或者407时，获取不到消息体的解决办法
Android4.0.4之后,服务器返回401或者407时,获取不到消息体的主要原因就是报错了,内容是: java.io.IOException: No authentication challeng ...
jQuery $.post()返回类型为json时不进入回调函数的原因及解决方法
jQuery $.post()返回类型为json时不进入回调函数的原因及解决方法参考文章: (1)jQuery $.post()返回类型为json时不进入回调函数的原因及解决方法 (2)https: ...
shareSDK 微信分享的时候只能分享jpg格式的图片大于32k时为什么分享不出去？
最新下了9.0的下shareSDK的来做iOS app社交分享,发现当分享到微信上的时候,图片如果是.png格式的话,功能是正常的,但其他格式的图片大于32k时就会分享不成功, 转载于:https:/ ...
php execl 列的长度,php生成excel列名超过26列大于Z时的解决方法
本文实例讲述了php生成excel列名超过26列大于Z时的解决方法.分享给大家供大家参考.具体分析如下: 我们生成excel都会使用phpExcel类,这里就来给大家介绍在生成excel列名超过26列 ...
当excel 导入数据库的字段大于255时，把第一行的字段加长超过255.
当excel 导入数据库的字段大于255时,把第一行的字段加长超过255. 因为Excel驱动程序在进行导入操作时会预先采样部分数据判断字段的数据类型,所以对采样数据结果作的判断同全部数据的数据类型有 ...
Android注册会员系统返回上一步时如何保存信息
实例:(在注册一个系统会员的时候经常需要多个步骤,我们经常使用"上一步","下一步"来完成,那么当用户在返回"上一步"时应如何保存信息呢?) ...
一个整数按照n，2n，4n，8n的顺序递增，当值大于5000时，把值按照指定顺序输出来。（递归）
输入1237 输出结果: 1237 2474 4948 9896 9896 4948 2474 1237 package com; /* 一个整数,大于0,不用循环和本地变量,按照n,2n,4n,8n ...

model.generate返回句子大于1时出现＜unk＞的情况处理

model.generate返回句子大于1时出现＜unk＞的情况处理相关推荐

最新文章

热门文章