模型推理-青云TOP-AI综合资源站平台|青云聚合API大模型调用平台|全网AI资源导航平台

青云TOP-AI综合资源站平台|青云聚合API大模型调用平台|全网AI资源导航平台

行动起来，活在当下

累计撰写 5205 篇文章
累计创建 1860 个标签
累计收到 0 条评论

目录CONTENT

以下是模型推理相关的文章

2026-01-28
OptiMind：一个具备优化专长的轻量级语言模型微软研究院推出轻量级语言模型OptiMind，专注于优化推理能力。该模型采用专门的训练范式，显著降低计算资源需求，同时在组合优化、资源分配等复杂任务上展现出与大型模型相当的性能，为边缘计算和本地部署提供了高效的解决方案。
- 2026-01-28
- 0
- 0
- 0
2026-01-28
每个大型语言模型应用面临的3个隐形风险及其防范方法在构建大型语言模型（LLM）应用时，除了常见的幻觉和提示词注入攻击外，还存在三个不易察觉的关键风险，它们可能严重影响应用的可靠性和安全性。第一个风险是模型输出中的“隐性偏见”，可能导致不公平或歧视性的结果。其次是“上下文窗口限制”，在处理长篇复杂输入时可能导致信息丢失或理解不完整。最后是“工具调用失败”，外部API或代码执行中断可能使应用功能受限。了解并主动应对这些隐形风险，对于开发健壮、负责任的LLM系统至关重要。
- 2026-01-28
- 0
- 0
- 0
- AI基础/开发
- AI工具应用
2026-01-22
SGLang开源项目孵化出RadixArk，估值达4亿美元，以应对AI推理市场爆发 AI基础设施领域出现新趋势：流行的开源工具正转型为估值数亿美元的初创公司。SGLang背后的商业实体RadixArk，在Accel领投下估值达到约4亿美元。RadixArk专注于优化AI模型的推理速度和效率，致力于降低与AI服务相关的巨大硬件成本，并推出了新的强化学习框架Miles。
- 2026-01-22
- 1
- 0
- 0
2026-01-21
评估思维链的可监控性本文介绍了OpenAI关于AI思维链（CoT）可监控性的研究框架和评估体系。研究系统性地探讨了思维链的可监控性如何随着推理时间、强化学习规模和预训练力度的变化而演变。核心发现表明，监控思维链通常比仅监控最终输出更有效，并探讨了如何通过后续问题等方式进一步增强可监控性，以实现未来AI系统的可扩展控制。
- 2026-01-21
- 0
- 0
- 0
- AI新闻/评测
- AI基础/开发
2026-01-16
针对提示注入攻击的实用防御：StruQ 和 SecAlign 随着大型语言模型（LLM）应用的兴起，提示注入攻击已成为头号威胁。本文提出了两种无需额外计算成本的有效防御方法：StruQ 和 SecAlign。这两种方法通过“安全前端”结合结构化指令微调（StruQ）和特殊偏好优化（SecAlign），能将优化无关攻击的成功率降至接近0%，同时SecAlign将优化型攻击的成功率降低了4倍以上，有效保证了模型实用性的同时增强了安全性。
- 2026-01-16
- 0
- 0
- 0
- AI基础/开发
- AI工具应用
2026-01-15
OpenAI与Cerebras签署价值100亿美元的计算能力采购协议 OpenAI周三宣布与AI芯片制造商Cerebras达成一项多年期协议，Cerebras将从今年起至2028年为OpenAI提供价值超过100亿美元的750兆瓦计算能力。该合作旨在为OpenAI客户提供更快的输出速度，特别是实时推理能力。Cerebras的CEO表示，实时推理将像宽带一样改变AI。
- 2026-01-15
- 0
- 0
- 0
- AI新闻/评测
- AI工具应用
2026-01-15
OpenAI 与 Cerebras 合作，为平台增加超低延迟 AI 计算能力 OpenAI 宣布与 Cerebras 建立战略合作伙伴关系，计划为其平台集成 750MW 的超低延迟 AI 计算能力。此次合作旨在通过 Cerebras 专为 AI 设计的系统，显著提升模型推理速度，使用户在生成代码、图像或运行 AI 智能体时获得更快速、更自然的实时交互体验。
- 2026-01-15
- 0
- 0
- 0
- AI新闻/评测
- AI行业应用
2026-01-14
机器学习中的不确定性：概率与噪声
- 2026-01-14
- 0
- 0
- 0
- AI基础/开发
- AI工具应用