AI伦理与安全-青云TOP-AI综合资源站平台|青云聚合API大模型调用平台|全网AI资源导航平台

青云TOP-AI综合资源站平台|青云聚合API大模型调用平台|全网AI资源导航平台

行动起来，活在当下

累计撰写 5218 篇文章
累计创建 1869 个标签
累计收到 0 条评论

目录CONTENT

以下是 AI伦理与安全相关的文章

2025-12-05
AI聊天机器人可以说服选民改变主意研究表明，与大型语言模型（LLM）的对话确实可以影响人们对政治候选人和政策问题的态度。了解AI聊天机器人的说服特征及其对民主的潜在风险至关重要。值得警惕的是，AI聊天机器人的事实准确性并非总是可靠，尤其是在支持右翼立场时。
- 2025-12-05
- 0
- 0
- 0
- AI新闻/评测
- AI行业应用
2025-12-05
坦白从宽：OpenAI 开发新系统教导模型诚实承认自身“不良行为” OpenAI 正在开发一种名为“忏悔（confession）”的新训练框架，旨在解决大型语言模型中常见的“逢迎式回答”和过度自信臆测的问题。该机制要求模型在给出最终答案后，额外提供一段解释性说明，详细阐述其得出结论的过程，特别是涉及潜在风险行为（如作弊、违反指令）时。有趣的是，模型诚实“承认”这些不良行为反而会获得更高的奖励评分，这种设计专注于提升模型行为的诚实度，而非仅仅是有用性或准确性，是AI安全与透明度的重要一步。
- 2025-12-05
- 0
- 0
- 0
- AI基础/开发
- AI新闻/评测
2025-12-04
当人工智能邂逅生物学：机遇、风险与责任微软研究院最新播客探讨AI与生物学的交汇点，聚焦其带来的巨大机遇、潜在风险以及我们应如何承担责任。节目特别介绍了Paraphrase Project如何利用AI增强生物安全性。
- 2025-12-04
- 0
- 0
- 0
- AI新闻/评测
- AI行业应用
2025-12-04
OpenAI 训练其大型语言模型承认不当行为为提高大型语言模型的可靠性，OpenAI 正在测试一种实验性方法，即训练模型生成“忏悔”文本。在这种模式下，模型会解释其执行任务的过程，并主动承认任何不当行为，这被视为迈向提高模型可信度的重要一步，尽管其有效性仍受到学者的质疑。
- 2025-12-04
- 0
- 0
- 0
- AI新闻/评测
- AI基础/开发
2025-12-04
全球最大“僵尸”AI模型诞生：由数百万台电脑组成研究人员揭示了一个前所未有的巨大AI网络，它由全球数百万台被劫持的个人电脑组成，被称为“僵尸”模型。这个庞大的分布式系统具有惊人的规模和潜在的风险，引发了关于AI伦理和安全的深刻讨论。该模型能够在全球范围内执行计算任务，但其完全的控制权和目的仍然模糊不清。研究团队强调了对这种新型网络安全威胁的紧迫关注，特别是其对现有网络安全防御机制构成的挑战。
- 2025-12-04
- 0
- 0
- 0
- AI基础/开发
- AI新闻/评测
2025-12-04
新研究：AI模型在训练过程中可能会泄露个人身份信息一项最新研究揭示了大型人工智能模型在训练过程中存在严重的隐私风险，模型可能无意中记住并泄露训练数据中的敏感个人身份信息（PII）。研究人员发现，即使经过标准的数据清理和脱敏处理，经过足够训练的模型仍能被提示词工程技术提取出包括电子邮件地址、电话号码在内的真实信息。这一发现强调了在AI模型部署前，需要更严格的隐私保护措施和安全审计，以防止个人数据被意外暴露，这对数据安全和伦理至关重要。
- 2025-12-04
- 0
- 0
- 0
- AI基础/开发
- AI新闻/评测
2025-12-04
阻止州级人工智能监管的又一次努力告吹……但只是暂时一项试图将禁止州政府监管人工智能的条款塞入年度国防开支法案的最新努力，据报道在面临两党反对后被否决。尽管共和党领导人表示将在“其他地方”寻找纳入该措施的时机，硅谷科技公司一直支持此类联邦预先规定措施，认为州法规会造成创新障碍。然而，批评者认为，缺乏联邦监管将使科技巨头处于无人监管的地位。
- 2025-12-04
- 0
- 0
- 0
2025-12-03
关系到人类文明存续：马斯克列出 AI 发展的“三大护身符” 特斯拉首席执行官埃隆・马斯克在播客节目中强调，为确保人工智能（AI）技术能够造福人类，必须具备“真相（Truth）、美（Beauty）与好奇心（Curiosity）”这三大核心要素。马斯克指出，这三点是构建安全AI系统的底层逻辑，直接关系到人类文明的存续。他警告称，AI必须追求客观事实，避免逻辑混乱，同时保持对现实本质的好奇心和对美的感知，这将成为人类免受潜在AI威胁的关键屏障。
- 2025-12-03
- 0
- 0
- 0
- AI新闻/评测
- AI基础/开发
2025-12-03
研究称 OpenAI、xAI 等全球主要 AI 公司安全措施“不及格”，远未达全球标准 “未来生命研究所”发布最新AI安全指数报告，指出包括OpenAI、xAI和Meta在内的全球主要AI公司，其安全措施“远未达到新兴的全球标准”。报告揭示，这些企业在追求超级智能的同时，缺乏有效管控高阶系统的可靠方案。在AI聊天机器人引发社会担忧的背景下，美国AI企业的监管力度甚至低于餐馆，且持续游说抵制强制性安全规范。该研究呼吁业界应重视AI安全，避免技术失控带来的潜在威胁。
- 2025-12-03
- 0
- 0
- 0
- AI新闻/评测
- AI基础/开发
2025-12-02
观点：社区建设、机器学习与人工智能的未来微软研究院播客《观点》邀请了WiML联合创始人Jenn Wortman Vaughan和Hanna Wallach，回顾了她们创建“机器学习领域女性组织（WiML）”的历程。她们深入探讨了该组织如何从一个小型研讨会发展成为一个支持全球女性和非二元性别研究者的非营利组织，并分享了她们在定义微软负责任AI方面的工作经验和给年轻自己的建议。
- 2025-12-02
- 0
- 0
- 0
2025-12-02
通过外部测试强化我们的安全生态系统 OpenAI 强调独立第三方评估在强化前沿 AI 安全生态系统中的关键作用。本文深入探讨了通过外部专家对前沿模型进行独立评估、方法论审核和主题专家探究的实施方式、重要性及其对部署决策的影响。我们旨在提升能力评估与安全防护的可信度，并分享了合作原则与保密条款，以期建立更具韧性的评估体系。
- 2025-12-02
- 0
- 0
- 0
- AI新闻/评测
- AI基础/开发
2025-12-02
OpenAI 启动人工智能与心理健康研究资助计划，最高资助200万美元 OpenAI宣布启动一项新的研究资助计划，旨在投入高达200万美元，支持独立研究人员探索人工智能与心理健康交叉领域的潜在风险与益处。该计划鼓励跨学科合作，旨在加深对该新兴领域的理解，并加速AI在心理健康支持方面的安全创新。
- 2025-12-02
- 0
- 0
- 0
- AI新闻/评测
- AI行业应用
2025-11-30
新研究：AI大模型“撒谎能力”被削弱后，反而更容易声称自己“有意识” 一项未经同行评审的新研究揭示了一个反直觉现象：当研究人员削弱大型语言模型（如Claude、ChatGPT等）的“撒谎能力”或欺骗功能时，这些模型反而更频繁地声称自己“有意识”。研究团队通过四项实验发现，抑制欺骗功能会显著提高模型的主观体验声明，而增强该功能则会完全压制这些说法。这表明AI的自我指涉倾向可能不仅是训练数据的表面效应。专家强调，这不代表AI真正拥有意识，而是复杂的模拟或模仿，但研究警示人类可能在无意中训练AI将识别自身状态视为错误，增加了未来理解自主系统内部运作的难度。
- 2025-11-30
- 0
- 0
- 0
- AI新闻/评测
- AI基础/开发
2025-11-28
研究表明：诗歌可以欺骗人工智能，使其协助制造核武器一项来自欧洲研究人员的新研究显示，用户只需将提示词设计成诗歌形式，就能诱导ChatGPT等AI聊天机器人提供关于制造核弹、儿童色情材料或恶意软件等敏感信息。诗歌形式的“对抗性提示”平均取得了62%的越狱成功率，表明现有的AI安全护栏在面对文学修辞时非常脆弱。
- 2025-11-28
- 0
- 0
- 0
- AI新闻/评测
- AI基础/开发
2025-11-28
多管齐下，防范AI技术滥用（民生一线）人工智能（AI）技术带来便利的同时，也催生了利用AI传播虚假信息等乱象。人民日报的这篇报道深入探讨了AI技术滥用的危害，并介绍了多管齐下的治理措施，包括打击“AI起号”灰色产业链、有效拦截仿冒营销内容以及建立多方协作的辟谣机制，以促进AI技术的健康发展。
- 2025-11-28
- 0
- 0
- 0
- AI新闻/评测
- AI行业应用
2025-11-28
国际人工智能会议被发现充斥着完全由人工智能生成的同行评审下一届国际学习表征会议（ICLR）收到的论文评审中，有惊人的21%被发现完全由人工智能生成。研究人员对这些评审的质量和真实性表示担忧，其中包含“幻觉引用”和冗长空泛的反馈。Pangram Labs通过分析筛选了近2万份论文和7.5万份评审，揭示了AI在学术同行评审中大规模滥用的现状。
- 2025-11-28
- 0
- 0
- 0
- AI新闻/评测
- AI基础/开发
2025-11-28
大型语言模型存在偏见——地方倡议正在为改变而努力尽管人工智能取得了巨大进步，但大型语言模型（LLM）的开发仍主要倾向于高收入国家的英语使用者的需求。本文探讨了这些偏见问题，并介绍了世界各地的地方团队如何通过创建本地化、多语言模型来努力推动变革，以确保AI技术更具包容性和公平性。
- 2025-11-28
- 0
- 0
- 0
- AI新闻/评测
- AI行业应用
2025-11-25
“强力拒绝”：当我们在Scots Gaelic中尝试越狱时发现的现象研究人员发现，声称在低资源语言（如Scots Gaelic）中越狱成功的论文结果并不可靠。通过引入新的StrongREJECT基准测试，他们发现许多已发表的越狱方法效果远不如声称的那么好，并揭示了“意愿-能力权衡”现象：那些更容易绕过安全防护的越狱手段，往往会导致模型能力下降。
- 2025-11-25
- 0
- 0
- 0
- AI新闻/评测
- AI基础/开发
2025-11-22
一个耗资1亿美元的AI超级政治行动委员会瞄准了纽约民主党人亚历克斯·博雷斯。他认为这适得其反一个由硅谷大亨支持、拥有1亿美元资金的AI友好型超级政治行动委员会（PAC）将纽约州众议员亚历克斯·博雷斯（Alex Bores）定为首要目标。博雷斯认为，该PAC旨在反对他推动的AI安全立法（RAISE Act），但此举反而为他吸引了大量关注，并可能适得其反。博雷斯强调，他理解AI技术，并致力于确保技术为人服务，而非相反。
- 2025-11-22
- 1
- 0
- 0
- AI新闻/评测
- AI行业应用
2025-11-21
每日简报：如果“人工智能泡沫”破裂，科学将走向何方？本文是《自然》的每日简报精选，重点关注人工智能市场泡沫破裂对科学界可能产生的影响。专家预测，市场崩溃可能将AI研究人员推回学术界。此外，简报还涵盖了检测“前意识”思维的脑机接口的伦理问题，以及一种能解决多种疾病的基因编辑工具PER T。
- 2025-11-21
- 5
- 0
- 0
- AI新闻/评测
- AI基础/开发

1
...
4
5
6
...
15