离谱!美国教授用ChatGPT「证实」论文抄袭,半个班学生惨遭挂科

离了个大谱!

辛辛苦苦码出的毕业论文,居然被教授拿去放在ChatGPT里检测,然后就被判定为抄袭?

教授因此挂掉了全班一半的人,然后学校还因此拒发毕业证?

教授:被ChatGPT认领的,都得0分

离谱!美国教授用ChatGPT「证实」论文抄袭,半个班学生惨遭挂科

最近,在得克萨斯农工大学(Texas A&
M),发生了这样一件令人哭笑不得的事。

为了检测学生提交的论文是否作弊,一位名叫Jared Mumm的教授把他们的论文提交给了ChatGPT。

他对学生们说:我会把你们的论文复制粘贴到ChatGPT中,它会告诉我,你们的论文是不是它生成的。

「我会在两个不同的时间段里,把每个人的最后三篇论文放进去,如果这两次它们都被ChatGTP认领了,我就会给你0分。」

显然,没有任何计算机相关背景知识的Mumm教授,对ChatGPT的原理一窍不通。

实际上,ChatGPT并不能识别由AI创建的内容,即使是它自己写的都不行。

甚至,他连ChatGPT都没拼对——直接写成了「Chat GPT」以及「chat GPT」。

结果,全班有一多半人的论文被ChatGPT不负责任地「认领」,因而挂了这一科。

更倒霉的是,大多数已毕业学生的文凭,因此直接被学校拒发了。

当然,Mumm教授也不是毫不留情,他为全班同学提供了重做作业的机会。

如何证明自己没用ChatGPT?

收到上面这封邮件后,几名学生写信给Mumm力证自己的清白。他们提供了带有时间戳的Google Docs,来证明自己并没有使用ChatGPT。

但Mumm教授直接无视了这些电子邮件,只在几个学生的评分软件中留下了这样的回应——我不给AI生成的狗屎评分。

不过,还是有学生「平反」了,据说,已经有一名学生被「无罪释放」,并且得到了Mumm的道歉。

然而,让情况更复杂的事,有两名学生「挺身而出」,承认自己的确在本学期使用过ChatGPT。

这一下子就让其他没有用ChatGPT写论文的学生,更难自证清白了……

对此,得克萨斯农工大学商学院表示正在调查这一事件,但并没有学生不及格,也没有人因为这个问题被延毕。

学校表示,Mum教授正在一对一地与学生谈话,了解他们写作业的过程中是否使用了AI,使用到了什么程度。个别学生的文凭将被扣留,直到调查完成。

而学生们表示,自己并没有获得文凭。

目前,事件还在调查中。

用ChatGPT检测ChatGPT?

那么问题来了,ChatGPT能证明一篇文章是不是自己写的吗?

对此,我们基于教授这封邮件的内容,问了问ChatGPT的观点:

ChatGPT一上来就表示,自己并没有能力验证内容的原创性,以及是不是由AI生成的。

「这位老师似乎误解了像我这样的AI是如何工作的。虽然AI可以根据提示生成文本,但它不能确定另一篇文本是否由人工智能生成。」

话虽如此,但这并不能拦住爱整活的网友。

他们来了一出「以其人之道还治其人之身」,在线教Mumm教授做人。

首先,ChatGPT表示,教授写的这封邮件,正是出自自己之手。

紧接着,网友又复刻了Mumm教授的做法——

拿一段看起来像是某篇论文的节选,来问ChatGPT是不是它写的。

这次,ChatGPT虽然没说是自己写的,但基本上确定内容就是来自AI。

其中,有几个特征与Al生成的内容一致:

1. 文本是连贯的,遵循一个清晰的结构,从一般到具体。

2. 准确地引用了来源和数字数据。

3. 正确地使用了术语,这是典型的Al模型的特点。比如GPT-4,就是在包括科学文献在内的各种文本中训练出来的。

那么实际上,这段内容的出处是哪里呢?

有意思的地方来了,没想到竟然是Mumm教授自己写的博士论文!

AI检测器并不灵?

既然ChatGPT无法检验一段内容是不是AI生成的,那什么可以呢?

自然是为此专门诞生的「AI检测器」,号称是用魔法打败魔法。

众多AI检测器中,最出名的一个便是由普林斯顿华人本科生Edward Tian创建的GPTZero——它不仅免费,而且效果拔群。

只需把文字复制粘贴进去,GPTZero就可以明确地指出一段文字中,哪段是AI生成的,哪段是人类写的。

原理上,GPTZero主要靠「困惑度」(文本的随机性)和「突发性」(困惑度的变化)作为指标进行判断。

在每次测试中,GPTZero还会挑选出困惑度最高的那个句子,也就是最像人话的句子。

但这个方法其实并不完全可靠,虽然GPTZero声称产品的假阳性率<
2%,但这个数据更多是基于对新闻类内容的评判。

在实测中,有人曾把美国宪法输入GPTZero,结果被判定是AI写的。

而刚刚那段ChatGPT的回复,GPTZero则认为很可能完全是由人类写的。

这导致的后果就是,不了解其中原理、太固执的老师,就会无意中冤枉很多学生,比如Mumm教授。

所以,如果遇到这种情况,我们该怎么自证清白?

有网友提议,类似「美国宪法实验」,把ChatGPT出现之前的文章丢进AI检测器,看看结果如何。

然而,从逻辑上讲,即使能证明AI检测器确实不靠谱,学生也无法直接证明自己的论文不是由AI生成的。

问一下ChatGPT怎么破,它是这么说的。

「让老师理解AI的工作方式和局限性」,嗯,ChatGPT发现了华点。

目前小编唯一想到的答案是,如果不在教授眼皮底下直接写,那就每次写论文都录屏,或者干脆给教授开直播。

连OpenAI对于自己的官方ChatGPT检测器,也只能保证26%的「真阳性」正确率。

他们还特地发了官方声明给大家打预防针:「我们真的不建议孤立地使用这个工具,因为我们知道它可能出错,使用AI进行任何种类的评估都是如此」。

AI内容检测为何如此困难?

目前市面上已有的检测器已经数不胜数——GPTZero、Turnitin、GPT-2 Output、Writer AI 、Content at Scale AI等等,但准确率都差强人意。

那么,为什么我们想检测一段内容是不是AI生成的,就这么困难?

Turnitin的AI副总裁Eric Wang称,用软件检测AI写作的原理,是基于统计学。从统计学的角度来看,AI与人类的区别在于,它极其稳定地处于平均水平。

「像ChatGPT这样的系统就像是自动补全的高级版本,寻找下一个最可能要写的单词。这实际上就是它为什么读起来如此自然的原因。AI写作是人类写作中最可能的子集。」

Turnitin的检测器便会「识别出书写过于一致的平均情况」。然而,有时人类的写作看起来也会处于平均水平。

在经济学、数学和实验室报告中,学生倾向于遵循固定的写作风格,这意味着他们更有可能被误认为是AI写作。

更好笑的是,前不久的一篇论文中,来自斯坦福大学的研究团队发现:对于非母语者的论文,GPT检测器更容易判为AI写的。其中,中国人写的英文论文被判为AI生成的概率,高达61%。

论文地址:https://arxiv.org/pdf/2304.02819.pdf

研究人员从中国的教育论坛上获取了91篇托福作文,又从美国Hewlett基金会的数据集中摘取了88篇美国八年级学生写的作文,输进了7大GPT检测器。

图中百分比即「误判」比例,也就是明明由人写的,却被判为AI生成的

可以看到,美国学生的作文被误判的概率最高才12%,而中国学生的作文,概率基本过半,甚至高达76%。

研究者的结论是,因为非母语者写的东西不地道,复杂度低,容易被错判。

可见,以复杂度来判定作者是人类还是AI,并不合理。

抑或,背后还有其他原因?

对此,英伟达科学家Jim Fan称,检测器在很长一段时间内都是不可靠的。毕竟AI会变得越变越强,并且会以越来越像人类的方式写作。

可以肯定地说,随着时间的推移,这些语言模型的小怪癖会越变越少。

不知这对学生们,会是福音还是噩耗。



无辜学生遭受“剽窃陷阱”
某美国大学的一名教授使用了一款名为ChatGPT的机器学习工具,试图“证实”自己一些学生提交的论文抄袭。但该教授却忘记了机器学习工具需要高度准确的数据训练,结果导致机器学习误判论文中的引用来源,错怪了大部分无辜学生,惹得半个班挂科。
“证据胜过一切”成往事?
传统的抄袭检测技术需要人工辅助,非常耗时,而且无法百分百准确。机器学习技术的出现曾让人们对抄袭问题抱有很大的希望。然而,这种依赖“证据”胜过一切的做法,在没有足够数据验证的情况下,依旧有可能带来巨大的风险和损失。
严格的论文规范填补道德缺失
除了进行科学技术的创新研究,对于学术研究者而言,道德底线更是必须时刻牢记。对于学术不端现象,学术界作为维护学术诚信的守门员,必须制定更完善的制度保障性。从严格的论文规范入手,才有望补足学术“道德缺失”。
“AI+人工” 或成解决之道
单靠机器学习进行论文抄袭检测的困难已经凸显,如何让更多的学术研究者和学生受益于先进技术则需要更为科学的创新。在“AI+人工”共同作业下,机器技术和人工智慧有望带来更加准确的学术论文检测方案。
道义与技术并重的学术伦理
论文抄袭事件虽然短暂,但对于学术界的冲击在影响力上不容低估。对于研究者而言,技术水平固然重要,但遵守道德底线,维护学术诚信,更是现代学术的核心要素。
科技进步而不能背道而驰
让科技更好地服务于人类的发展,是科技企业和从业者们的宏伟理想。相对应的,也有着庄严且持久的责任和义务。局限于自身利益的技术创新,往往也会引发道德和社会利益上的利益冲突。大家或许需要一个集体的、科技能力和道德能力并重、创新理念前沿的学习机构引领人类社会的发展。