Anthology：通过丰富的背景故事构建一致且多样化的虚拟人格

📢 转载信息

原文链接：http://bair.berkeley.edu/blog/2024/11/12/virutal-persona-llm/

原文作者：BAIR Blog

我们引入了 Anthology，这是一种通过生成并利用包含个人价值观与经历等丰富细节的自然背景故事，来引导大语言模型（LLM）形成具有代表性、一致性和多样性的虚拟人格的方法。

当大语言模型（LLM）在由数以亿计的独特人类作者共同创作的海量文本语料库上进行训练时，这意味着什么？在论文《Language Models as Agent Models》中，令人信服的证据表明，近期的大语言模型可以被视为智能体（agent）模型：在提供文本上下文的情况下，LLM 能够生成代表该上下文中可能产生的特定智能体特征的文本。这意味着，通过适当的引导，LLM 可以被指导去近似模拟特定人类的声音，而不是仅仅表现出原本语料库中混合的“大众声音”。如果这一能力得以实现，将对用户研究和社会科学产生重大影响——即作为人类受试者的虚拟人格，这些受控的语言模型可以作为极具成本效益的试点研究，并支持人类研究中的最佳实践。

在这项工作中，我们引入了 Anthology，这是一种通过提供个体丰富的详细人生叙事作为引导语境，从而引导 LLM 生成具有代表性、一致性和多样性虚拟人格的方法。通过 grounding（接地）在自然背景故事中，Anthology 允许 LLM 以更高的保真度模拟个体人类样本，在匹配人类响应的分布和一致性方面表现优异。

我们的方法：Anthology

利用个体人生叙事来引导语言模型生成

先前在引导 LLM 构建虚拟人格的方法中，一个显著的局限性是无法可靠地近似个体人类样本。以往的方法通常使用广泛的人口统计学信息来提示 LLM，例如“我是一名来自加州的 25 岁年轻人，我的最高教育水平低于高中”。本质上，这些方法仅仅是在一组人口统计变量的基础上生成文本，因此我们只能在群体层面而不是个体层面近似人类样本，这导致了以下问题：

• 由于仅以人口统计变量（如种族和性别）作为条件，模型生成的回复容易倾向于刻板印象或原型化表现。
• 无法提供协方差和统计显著性等重要的度量指标，因为这些计算需要个体级别的响应数据。

Anthology 通过丰富的详细背景故事来实现对个体受试者的近似。通过这些背景故事，模型捕捉到了个人身份的隐式和显式特征，包括人口统计特征，以及对文化、社会经济背景和生活哲学的自发引用。我们的方法涉及通过向大语言模型输入无限制的开放式提示（例如“请介绍一下你自己”），生成大量代表广泛人口统计属性的背景故事集，然后将由每个背景故事引导生成的虚拟人格与现实世界的调查样本进行匹配。

结果：更贴近公共舆论调查

为了评估效果，我们比较了在近似皮尤研究中心（Pew Research Center）ATP调查（第34、92和99波次）中，不同引导虚拟人格方法的有效性。

作为用虚拟人格近似人类样本的成功衡量标准，我们考虑了以下指标：

• 响应分布之间的平均 Wasserstein 距离（WD），作为衡量代表性的指标。
• 相关矩阵之间的 Frobenius 范数（Fro.），作为衡量一致性的指标。
• Cronbach’s alpha，作为内部一致性的额外度量。

我们一致观察到，Anthology 在 Llama-3-70B 和 Mixtral-8x22B 模型上，在所有指标方面均优于其他引导方法。我们的研究结果表明，该方法中生成的背景故事的丰富性，相比基线方法能够诱导出更细致入微的反应。

总结与思考

Anthology 标志着 LLM 虚拟人格引导领域的一个有希望的新方向。通过提供一种可扩展的、在某些情况下比传统人类调查更符合伦理的替代方案，它有可能重塑我们进行用户研究、民意调查和其他社会科学应用的方式。然而，正如在社会科学中应用语言模型的任何其他场景一样，Anthology 的使用也带来了一些值得关注的问题：尽管生成的背景故事有助于创建更具代表性的人格，但仍存在延续偏见或侵犯隐私的风险，因此结果的使用和解释应当谨慎。

展望未来，我们期待通过一套更广泛、更多样化的背景故事（每个故事都代表一个一致的个人生活叙事）来进一步优化该方法。此外，一个有价值的扩展工作是考虑自由形式的响应生成，从而实现超出结构化问卷格式（如多项选择）之外、更自然、更细腻的人格模拟。最后，将 LLM 应用于行为研究的下一个激动人心的维度将涉及模拟长期影响，使虚拟人格能够建模并回顾性地检查随时间产生的变化。

@article{moon2024virtual, title={Virtual personas for language models via an anthology of backstories}, author={Moon, Suhong and Abdulhai, Marwa and Kang, Minwoo and Suh, Joseph and Soedarmadji, Widyadewi and Behar, Eran Kohen and Chan, David M}, journal={arXiv preprint arXiv:2407.06576}, year={2024} }

🚀 想要体验更好更全面的AI调用？

欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。