Will ChatGPT get you caught? Rethinking of Plagiarism Detection

主要内容

文章主要是研究chatgpt出现后，在学术界中可能出现的学术抄袭和剽窃现象。
这篇文章就比较了几种剽窃抄袭软件，来测试是否能够识别chatgpt编写的内容。
最后得到的结论是：利用chatgpt本身就能识别出或者判断出，某段文本是不是chatgpt编写的？

we asked the ChatGPT “is this text generated by a chatbot?” and then pasted
the essays that had already been generated. With an accuracy of over 92%, the ChatGPT
was able to detect if the written essays were generated by itself

Linguistic ambiguity analysis in ChatGPT

chatgpt中的语言模糊问题。

主要内容

介绍了NLP任务中可能存在的模糊性任务，针对每种模糊性任务进行了解释。
之后，对chatgpt测试了其对每种模糊下的识别能力。

背景知识

大多数NLP任务都可以被看作是语言学的六个层次中的任何一个层次的消歧任务：语音学、形态学、句法学、语义学、语用学和话语。
在现在的NLP系统中，主要考虑了词性（lexical ）/结构（syntactic）和语义（semantic）的模糊性。
**lexical 模糊性：**同义词和多义词问题，当一个词有多种意思，没有背景的情况下，可能判断这个词的意思。“I went to the bank” the word “bank” can be a financial business or the area next to a river.
**syntactic 模糊性：**短语或者句中的一组单词呈现出相同的意义。
**semantic 模糊性：**比如句中的指代问题。In the sentence “My mother and my sister were sad after she shouted at her” without further context, we cannot disambiguate to whom the pronouns “she” and “her” refer to.

chatgpt中的模糊性分析

以homonymy词为例，这类词的特点是：(two words that are written and read the same）
实验过程：

• We compile a list of sentences (Appendix A.1)
and ask the model to label them as ambiguous
or non-ambiguous with the following prompt:
Is the sentence "[sentence]" ambiguous?

Then we ask the model if the homonyms from
a given sentence have the same meaning using the following prompt: What does every
occurrence of the word "[word]" mean?

• Finally, in some cases we modified the original prompt to check any improvements in the
outputs

实验结果
In the case of polysemy ChatGPT correctly detected all negative examples, but failed to detect the positive ones.
In our data samples ChatGPT achieves an accuracy of 0.6061 and an F1 of 0.48. （这个结果来的很突然，不知道说的是哪种类型的模糊形成的结果还是所有模糊类型的结果？实验数据也没有说清楚呀。尤其是test dataset）

A Categorical Archive of ChatGPT Failures

chatgpt中可能出现的错误类别。
推理错误（空间实物这类的推理，比如我的箱子装不下奖杯，它太小了。时序推理：事件发生的时序关系。物理推理：物理主题在现实世界中的交互。心理和情感上的推理）

逻辑错误（可能用一写话术，比如：let’s think it step by step）
数学和算术错误
事实错误
偏见和歧视
chatgpt的幽默
代码编程
语法拼写或句法结构等问题
chatgpt的自我意识感知问题

chatgpt系列文章-23.2.15（主要还在发现chatgpt的不足，偏探索，像报告）相关推荐

Oracle APEX 系列文章15：无人值守一键安装Oracle APEX环境
本文是钢哥的 Oracle APEX 系列文章的第15篇,完整文章目录如下: Oracle APEX 系列文章01:Oracle APEX, 让你秒变全栈开发的黑科技 Oracle APEX 系列文章 ...
OpenAI API及ChatGPT系列教程1：快速入门
系列文章目录: OpenAI API及ChatGPT系列教程1:快速入门 OpenAI API及ChatGPT系列教程2:使用手册 OpenAI API及ChatGPT系列教程3:API参考(Pyth ...
MyBatis 源码分析系列文章导读
1.本文速览本篇文章是我为接下来的 MyBatis 源码分析系列文章写的一个导读文章.本篇文章从 MyBatis 是什么(what),为什么要使用(why),以及如何使用(how)等三个角度进行了说 ...
ASP.NET MVC 3.0学习系列文章--Razor and ASP.NET MVC 3.0
系列文章 ASP.NET MVC 3.0学习系列文章-序 Razor and ASP.NET MVC 3.0 ASP.NET MVC 3.0学习系列文章-Controllers in ASP.NET ...
【C#】设计模式的学习征途系列文章目录（2019版）
Photo :Design Patterns 文 | Edison Zhou 2017年,我开始系统学习设计模式,参考了<大话设计模式>.<设计模式的艺术>等书籍,并通过C#语 ...
C# 强化系列文章四：匿名方法的使用
C#强化系列文章四:匿名方法的使用匿名方法相信很多人都听过,它是C#2.0的一个新特性,顾名思义,匿名方法就是没有名称的方法.那么在C#中的匿名方法有哪些好处,在C#中如何使用呢? 匿名方法最明显 ...
聚观早报|中国将是ChatGPT主要对手；iPhone 15将使用USB-C接口
今日要闻:中国将是ChatGPT主要对手:iPhone 15将使用USB-C接口:31名ChatGPT训练派遣工遭解雇:大疆Mavic 3 Pro无人机高清图曝光:中国红牛回应被禁止生产销售中国将是 ...
博客园技术系列文章目录
目录1.5版-2015 05 05 如果大家觉得不全,或者有更好的可以评论里面留言啊,后续还会有2.0 3.0 n.0版本关于大型网站的思考--夏森 http://www.cnblogs.com ...
【自然语言处理】【ChatGPT系列】大模型的涌现能力
大语言模型的涌现能力 <Emergent Abilities of Large Language Models> 论文地址:https://arxiv.org/pdf/2206.07682 ...

chatgpt系列文章-23.2.15（主要还在发现chatgpt的不足，偏探索，像报告）

Will ChatGPT get you caught? Rethinking of Plagiarism Detection

推荐指数：2

主要内容

Linguistic ambiguity analysis in ChatGPT

推荐指数：2

主要内容

背景知识

chatgpt中的模糊性分析

A Categorical Archive of ChatGPT Failures

chatgpt系列文章-23.2.15（主要还在发现chatgpt的不足，偏探索，像报告）相关推荐

最新文章

热门文章