📢 转载信息
原文链接:https://www.nature.com/articles/d41586-026-00386-2
原文作者:Folco Panizza, Yara Kyrychenko & Jon Roozenbeek
如何阻止威胁颠覆社会科学的AI聊天机器人答卷人
研究人员需要新的机器人检测策略,这些策略应利用人类推理的局限性,而非仅仅依赖AI的弱点。
调查问卷是社会科学研究的基石。在过去的二十年里,像Amazon Mechanical Turk、Prolific、Cloud Research的Prime Panels和Cint的Lucid这样的在线招募平台,已成为研究人员快速且廉价地接触大量调查参与者的重要工具。
然而,长期以来一直存在对不真实参与的担忧1。一些调查参与者为了快速赚钱而草草完成任务。由于他们通常根据完成调查的预估时间获得固定报酬(通常为每小时6-12美元),他们完成任务的速度越快,能赚到的钱就越多。
研究表明,社会科学调查中可能有30%到90%的回复是不真实或欺诈性的2,3。这个问题在针对特定人群或边缘化社区的研究中尤为突出,因为目标参与者更难接触到,而且常常是在线招募,这增加了欺诈和自动化程序(称为机器人)进行干扰的风险4,5。这些比例远高于大多数研究在保持结果统计有效性时能够承受的污染数据量:即使只有3%到7%的污染数据也可能扭曲结果,使解释变得不准确6。而且,这个问题正在变得越来越严重。
🚀 想要体验更好更全面的AI调用?
欢迎使用青云聚合API,约为官网价格的十分之一,支持300+全球最新模型,以及全球各种生图生视频模型,无需翻墙高速稳定,文档丰富,小白也可以简单操作。
评论区