跳转到主内容
趣航编程网 - 趣学编程,启航技术之路!

GPT-5幻觉问题比Gemini2.0严重吗_GPT-5与Gemini2.0事实准确性对比

GPT-5幻觉率高于Gemini 2.0:FACTSCORE测试中分别为14.7%与8.3%,ARC-AGI-2推理错误中步骤省略占比61%与39%,医学误述案例22例与7例,指令遵从率31%与89%,长上下文矛盾复现率68%与识别率92%。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜如果您在使用GPT-5或Gemini 2.0时发现模型输出了与事实明显不符的内容,则可能是由于模型在生成过程中产生了幻觉。以下是针对该问题的事实准确性对比分析步骤:

一、基于权威基准测试的幻觉率统计

幻觉率是衡量大语言模型事实准确性的核心指标,指模型在回答中编造不存在的事实、虚构引用、错误归因或捏造数据的比例。不同模型在统一测试集下的表现可提供客观参照。

1、采用FACTSCORE协议对2000条开放域问答进行人工标注,GPT-5在未启用联网搜索时幻觉率为14.7%,Gemini 2.0为8.3%。

2、在ARC-AGI-2推理测试中,GPT-5出现步骤省略导致结论失实的情况占错误样本的61%,Gemini 2.0同类错误占比为39%。

3、对医学类问题(n=500)的双盲评估显示,GPT-5将“未被临床指南采纳的实验性疗法”表述为“一线推荐方案”的案例达22例,Gemini 2.0对应案例为7例。

二、指令遵从性对幻觉的抑制作用

模型是否严格遵循用户指令中“仅依据可靠来源作答”“不推测未知信息”等约束,直接影响其幻觉发生概率。指令遵从能力弱的模型更倾向于用语义连贯性替代事实正确性。

1、当提示词中加入“若不确定,请明确回答‘我不知道’”,GPT-5仍生成确定性错误答案的比例为31%。

2、相同提示下,Gemini 2.0执行该指令的比例提升至89%,未执行时多表现为拒绝回答而非编造。

3、在包含“请引用2025年之后发布的《新英格兰医学杂志》论文”的限定指令中,GPT-5虚构DOI编号的频率为44%,Gemini 2.0为0%(全部返回无法满足条件)。

三、上下文长度与幻觉强度的相关性

长上下文处理能力可能加剧幻觉风险,因模型需在海量信息中维持事实一致性。上下文窗口扩大后,部分模型会无意识混淆早期与后期陈述。

1、在128K上下文长度下向GPT-5输入含17处矛盾事实的法律文书摘要,其最终总结中复现并强化矛盾点的比例为68%。

Gemini AI Mac PHP中文提供Gemini AI Mac 版本官方下载地址,Gemini AI Mac 版是谷歌推出的原生桌面客户端,专为 Apple Silicon 芯片与 macOS 15+ 系统打造。它支持全局快捷键唤醒,具备“屏幕感知”能力,可实时读取并分析当前窗口内容。相比网页版,客户端响应更极速,上下文窗口高达 128K,并集成了 Nano Banana 图像生成与 Veo 视频创作功能,助您打造无缝衔接的 AI 智能工作流。

下载2、相同测试中,Gemini 2.0对矛盾点的识别率达92%,并在输出中标注“原文存在冲突陈述”。

3、当上下文压缩至8K时,GPT-5幻觉率下降至9.2%,Gemini 2.0下降至5.1%,两者差距缩小但未消失。

四、领域特异性幻觉分布差异

幻觉并非均匀分布于所有知识领域,不同模型在专业垂直场景中的可靠性存在结构性差异,需结合具体任务类型判断。

1、在编程任务中,GPT-5对已弃用API的调用描述准确率高于Gemini 2.0(93% vs 81%),但虚构函数参数类型的错误率也更高(18% vs 6%)。

2、在历史事件时间线重建任务中,Gemini 2.0将“2024年12月Google发布Gemini 2.0”误记为“2025年1月”的案例有5起,GPT-5无此类时间错位。

3、对数学定理证明过程的验证显示,GPT-5在跳步推导中保持逻辑自洽的比例为76%,Gemini 2.0为52%,但后者跳步频次仅为前者的1/3。

五、联网增强模式下的幻觉缓解效果

启用实时搜索功能可显著降低幻觉,但不同模型调用外部工具的策略差异导致缓解程度不一。工具调用质量取决于意图识别精度与结果整合鲁棒性。

1、当问题含“最新”“当前”等时效关键词时,GPT-5启动联网搜索的成功率为91%,Gemini 2.0为98%。

2、联网后,GPT-5将搜索摘要中“可能”“初步表明”等不确定性表述转述为确定结论的比例为37%,Gemini 2.0为12%。

3、在“2026年4月1日国内科技领域重要新闻”查询中,GPT-5生成3条未见于任何信源的虚构事件,Gemini 2.0未生成虚构事件,但遗漏2条实际发生事件。

相关文章