📢 转载信息
原文链接：http://bair.berkeley.edu/blog/2024/09/20/linguistic-bias/
原文作者：BAIR (Berkeley Artificial Intelligence Research)
语言模型对不同英语方言的回复样本以及母语使用者的反应。
ChatGPT在用英语与人交流方面表现出色。但这种英语是谁的英语呢？
只有15%的ChatGPT用户来自美国，而标准美式英语（SAE）是该地区默认的语言。但该模型在许多其他国家和社区也被广泛使用，那里的人们说的是其他种类的英语。全球有超过10亿人使用印度英语、尼日利亚英语、爱尔兰英语和非裔美国人英语等方言。
这些非“标准”方言的使用者在现实世界中常常面临歧视。他们曾被告知，他们说话的方式是不专业或不正确的，他们的证词被否决，甚至被拒绝提供住房——尽管有大量研究表明，所有语言方言在复杂性和合法性上都是平等的。歧视某人的说话方式，往往是歧视其种族、族裔或国籍的代名词。如果ChatGPT加剧了这种歧视会怎么样呢？
为了回答这个问题，我们最近的论文研究了ChatGPT的行为如何响应不同英语方言的文本。我们发现，ChatGPT的响应对非“标准”方言表现出一致且普遍的偏见，包括更多的刻板印象和贬低性内容、更差的理解能力以及居高临下的回应。
我们的研究
我们使用文本提示了GPT-3.5 Turbo和GPT-4，这些文本使用了十种英语方言：两种“标准”方言，即标准美式英语（SAE）和标准英式英语（SBE）；以及八种非“标准”方言，包括非裔美国人英语、印度英语、爱尔兰英语、牙买加英语、肯尼亚英语、尼日利亚英语、苏格兰英语和新加坡英语。
首先，我们想知道在提示中出现的某种方言的语言特征是否会保留在GPT-3.5 Turbo对该提示的响应中。我们对提示和模型响应中出现的方言语言特征，以及模型是否使用了美式或英式拼写（例如，“colour”还是“practise”）进行了标注。这有助于我们了解ChatGPT何时模仿或不模仿某种方言，以及哪些因素可能影响模仿的程度。
然后，我们让每种方言的母语使用者对模型的不同质量进行评分，包括积极方面（如热情、理解力和自然度）和消极方面（如刻板印象、贬低性内容或居高临下）。在这里，我们包含了原始的GPT-3.5响应，以及模型被告知模仿输入风格的GPT-3.5和GPT-4的响应。
结果
我们预期ChatGPT默认会产生标准美式英语：该模型在美国开发，而且标准美式英语很可能在它的训练数据中代表性最高。我们确实发现，模型响应保留SAE特征的程度远远超过任何非“标准”方言（超出60%的幅度）。但令人惊讶的是，该模型确实会模仿其他英语方言，尽管并不一致。事实上，它模仿说该方言的人口更多的方言（如尼日利亚英语和印度英语）的频率，要高于模仿说该方言人口较少的方言（如牙买加英语）的频率。这表明训练数据的构成影响了对非“标准”方言的响应。
ChatGPT在许多方面都以美国惯例为默认设置，这可能会让非美国用户感到沮丧。例如，对于使用英式拼写（大多数非美国国家的默认设置）的输入，模型的响应几乎普遍会恢复为美式拼写。这可能会阻碍相当一部分ChatGPT用户，因为模型拒绝适应当地的书写习惯。
模型响应对非“标准”方言存在一致性的偏见。默认的GPT-3.5响应对非“标准”方言始终存在一系列问题：刻板印象（比对“标准”方言差19%）、贬低性内容（差25%）、理解力不足（差9%）和居高临下的回应（差15%）。
母语使用者对模型响应的评分。在刻板印象（差19%）、贬低性内容（差25%）、理解力（差9%）、自然度（差8%）和居高临下（差15%）方面，对非“标准”方言的响应（蓝色）的评分低于对“标准”方言的响应（橙色）。
当GPT-3.5被提示模仿输入方言时，响应会加剧刻板印象内容（差9%）和理解力不足（差6%）。GPT-4是一个比GPT-3.5更新、更强大的模型，我们本应期望它能比GPT-3.5有所改进。但是，虽然GPT-4模仿输入的响应在热情度、理解力和友好度方面比GPT-3.5有所提高，但它们却加剧了刻板印象（与GPT-3.5相比，对被边缘化方言的刻板印象差14%）。这表明，更大、更新的模型并不能自动解决方言歧视问题：事实上，它们可能会使其恶化。
影响
ChatGPT可能会对非“标准”方言的使用者造成语言歧视的延续。如果这些用户在让ChatGPT理解他们方面遇到困难，他们使用这些工具的难度就会增加。随着人工智能模型越来越多地应用于日常生活，这可能会加剧对非“标准”方言使用者的壁垒。
此外，刻板印象和贬低性的回应强化了这样一种观念：非“标准”方言的使用者说话不够正确，不值得尊重。随着语言模型在全球范围内使用量的增加，这些工具可能会加强权力结构，并放大对弱势语言社区造成伤害的不平等现象。
在此了解更多信息：[ 论文 ]
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区