最近社区内的某个大佬因为使用AIGC生成帖子引起一些争议,其实自从AI越来越人性化之后,关于社区是否可以使用AIGC的争论就从未停歇。
(图源:图片由ChatGPT辅助生成)
嗯,关于如何使用AIGC见仁见智,我们姑且先不去讨论(以后可能会再写一篇文章说这个事情),今天要说的话题是AI内容检测工具。
没错,这个社区大佬的文章就是被人用AI检测工具查出来使用AI生成的概率为84.7%,如果检测工具无误,那么这么高的概率基本上可以断定文章是由AI生成的啦。
然后大佬也果然光明磊落,直接承认文章是使用AI工具生成,并且将会继续拥抱AI工具。
这个事件中,我最好奇的莫过于到底是哪个工具检测的这篇文章呢?本想去问问用AI检测数据回复大佬帖子的当事人,不过和人家也不太熟悉,那么我就自己找一些工具试试吧。
为此,我特意让ChatGPT帮我生成了一个500字左右的短文,提示词如下:
帮我生成一段软件公司员工下班后的办公大厅场景描写,500字左右。
为了方便大家测试,我把生成的内容也贴了出来:
夜幕降临, 华灯初上,软件公司的一天工作终于接近尾声。办公楼的灯光渐次熄灭,只有一楼大厅依旧亮如白昼。大厅宽敞通透,玻璃幕墙映出外头霓虹灯的斑斓色彩,仿佛一面流光溢彩的屏风,映照着这个属于程序员的白天与黑夜交替的世界。
三三两两的员工陆续走出电梯,有的肩背双肩包,手里拎着电脑包,神情放松;也有的仍眉头紧锁,边走边低声与同事讨论着代码的问题,显然脑中仍在运行着未完结的逻辑。他们脚步或快或慢,穿过大理石铺地的大厅,鞋跟踏在地面上发出清脆的回响,与远处保洁阿姨推着清洁车的轮声交织成一种安静中的节奏。
前台早已下班,柜台后的灯光微弱地亮着,一束装饰性的暖黄灯洒在角落的一盆绿萝上,投出柔和的影子。休息区的沙发上坐着几个刚下班的年轻人,有人拿着手机刷着短视频,有人靠在靠垫上闭目养神,还有人在小声打电话,语气轻松,像是与远方的爱人诉说一天的点滴。自动售卖机前,有个男生正在挑选饮料,最终选了罐冰可乐,打开时“哧”的一声清脆响动,打破了大厅片刻的寂静。
门口的感应玻璃门时不时自动开启,夜风裹挟着初夏的温热与城市的气息吹进来,带起大厅内空调冷气中的一丝浮动。外头街道上车水马龙,远远传来汽车鸣笛与人群的喧哗,但大厅内仍是那种属于科技公司下班后特有的平静与松弛。
在这样的夜晚,一天的繁忙似乎终于落了地,而属于个人的时间,正悄然开始。
然后再Google上找了几个AI测试工具,来测试一下。
第一轮测试
测试工具:https://justdone.com/ai-detector
用上边的文字测试结果如下:
咦,这么好用嘛?别急,我拿自己纯手写一个字一个字敲出来的一篇文章试试看。
结果如下:
我擦,这概率,你直接说我用AI生成的得了呗,我可以对灯、对天发誓,这篇文章绝对是我自己写的,一点AI技术也 没使用!不行我受不了这委屈。
第二轮测试
测试工具:https://smodin.io/ai-content-detector
还是拿之前的测试文本,看看会有什么不一样,结果如下:
擦,这个好,AI生成的内容,被它识别成纯手写的了。
然后再用我纯手写的文章测试一下,结果如下:
怎么说呢?就很尴尬,虽然貌似我摆脱了使用AI生成文章的嫌疑,但是其实是这玩意真的一点用都没有呀!
第三轮测试
测试工具: https://xdetector.ai/
分别测试AI生成的测试文本以及我自己的手写的小小说,结果分别如下。
AI生成的文本
我的小小说
哇,这个貌似很牛。不过看似很厉害,我如果 拿我生成文本中的第一段来进行测试:
夜幕降临,华灯初上,软件公司的一天工作终于接近尾声。办公楼的灯光渐次熄灭,只有一楼大厅依旧亮如白昼。大厅宽敞通透,玻璃幕墙映出外头霓虹灯的斑斓色彩,仿佛一面流光溢彩的屏风,映照着这个属于程序员的白天与黑夜交替的世界。
它就完全测试不出来。所以大概是某种炫技的写法,会触发AI检测机制吧。不过不管咋说,这个工具比前两个工具要好很多。
第四轮测试
测试工具:https://copyleaks.com/ai-content-detector
测试AI生成的测试文本和我的小小说
貌似结果很精准吧?不过当我用新的提示词重新生成了文本,检测工具就傻眼了:
明明是100%AI生成的,它竟然识别成了0%,哎,不过如此。
总结
测试到这里,已经心灰意冷了,不清楚AI内容检测工具们在英文和其它语系上表现如何,至少在中文检测上,几乎不可用(识别不出来或者误报)。
想到前几天刷到过一则消息,说朱自清的《荷塘月色》被AI内容检测工具检测说80以上的概率是由AI生成,哈哈哈,这是多么可笑的一件事情啊。
(图源:图片由ChatGPT辅助生成)
当然,虽然AI内容检测工具在检测中文文本是否AI生成时并不尽如人意,但是中文社区里随便拿篇文章,我凭肉眼基本上可以看出是否是AI生成的。如果发现谁滥用AI工具,我可能不会去踩,但是就别在妄想得到我的点赞喽。