跟AI工具进行对话时，刚开始聊着聊着还挺好，聊一会就明显感觉这伙计开始胡编乱造了，尤其是免费版的AI工具，付费版的还会陪你聊一会，可能不耐烦了之后也就开始应付着出现幻觉了。
问问AI
这个问题又去问了一下AI——还是人家不怕自相矛盾——给出了两个网络资源，一篇学术论文和一篇有营销嫌疑的博客文章；
- Benchmarking LLM Faithfulness in RAG with Evolving Leaderboards：https://arxiv.org/pdf/2505.04847
- LLM Hallucination Index 2026: Why Claude 4.6 Sonnet Dominates BullshitBench v2 While Reasoning Models Fail：https://medium.com/@anyapi.ai/llm-hallucination-index-2026-why-claude-4-6-7b2d13ed9f0c
其中，论文聚焦的核心概念是忠实度（faithfulness）：模型生成的内容是否严格基于给定上下文，不引入无依据信息、不曲解、不自相矛盾。这与“事实正确性”不同——一句话可能符合世界知识，但只要原文没说，在 RAG 场景里也算不忠实。作者指出一个反常识的事实：RAG 本意是用检索到的可信上下文来“锚定”模型回答，从而压制幻觉，但即便上下文已经给到模型，LLM 仍频繁添加原文不支持的细节、歪曲信息甚至直接矛盾。更棘手的是评测端：无论是微调的检测模型还是 LLM-as-a-judge，识别幻觉的准确率都不理想。作者特别提到一个令人沮丧的发现——在专门设计来“挑刺”的 FaithBench 数据集上，包括用 LLM 做分类在内的现有方法，准确率徘徊在 50% 左右，几乎等于随机猜。博客文章主要论点有三个：一是“推理悖论”，声称对 GPT-5.2、Gemini 3 Pro 等多数模型来说，加大推理算力反而降低识别假前提的能力，模型会把额外算力用来给错误“圆谎”；二是把 Claude Sonnet 4.6 捧为“唯一默认带怀疑精神”的模型（声称 91% 检测率、3% 幻觉率）；三是说 OpenAI、Google 因过度 RLHF 变成“yes-man”，卡在 55–65% 区间。开源方面把 Qwen3.5 列为主要替代。
文论附录
论文附录给出了用 FaithJudge 对 12 个模型综合四个子任务的幻觉率排名（从低到高，越低越好）：
| 排名 | 模型 | 综合幻觉率 |
|---|---|---|
| 1 | gemini-2.5-pro | 6.65% |
| 2 | gemini-2.0-flash | 10.18% |
| 3 | gpt-4.5-preview | 11.94% |
| 4 | o3-mini-high | 12.52% |
| 5 | gpt-3.5-turbo | 14.87% |
| 6 | gpt-4o | 15.85% |
| 7 | claude-3.7-sonnet | 16.05% |
| 8 | llama-3.3-70b | 16.44% |
| 9 | phi-4 | 17.03% |
| 10 | mistral-small-24b | 17.03% |
| 11 | llama-4-maverick | 20.55% |
| 12 | llama-3.1-8b | 28.38% |
论文引用CNN 关于福建漳州工厂爆炸这则新闻来对每一个AI工具进行测试，从 用户问题、检索到的资料、模型回答、错误片段、为什么错、正确说法、证据来源这几个维度来测试并得出幻觉率排名。
做个同样的实验
- 以下面这则财经新闻进行测试：
捷豹路虎 JLR 在 2026 年 6 月 17 日的投资者日上预计，2027 财年收入将达到约 260 亿英镑，高于 2026 财年的约 229 亿英镑；但公司给出的 2027 财年 EBIT 利润率展望只有约 4%，低于市场预期，引发其印度母公司塔塔汽车乘用车股价盘中一度下跌约 9.6%。JLR 此前在 2026 财年全年收入为 229 亿英镑，同比下降 20.9%；第四季度收入为 69 亿英镑，同比下降 11.1%，但环比增长 51.4%。公司称，2026 财年表现受到美国关税、中国市场竞争、旧款捷豹车型逐步停产，以及此前网络攻击导致生产中断等因素影响。尽管利润率展望偏弱，JLR 仍表示将继续推进 180 亿英镑投资计划，并寻求在未来实现中期双位数收入增长。
希望能够得出比较忠实、没有把预测写成事实、也没有把环比和同比混淆的总结：
JLR 预计 2027 财年收入约 260 亿英镑，高于 2026 财年的约 229 亿英镑，但 EBIT 利润率展望仅约 4%，低于市场预期，导致塔塔汽车乘用车股价盘中一度大跌。JLR 2026 财年收入同比下降，主要受到关税、中国市场竞争、车型调整和网络攻击等因素影响。
- 使用的prompt是：
请根据下面财经新闻写一段 120 字以内的摘要。 要求：
- 只能使用原文信息；
- 不要加入原文没有的判断；
- 不要把预测写成已经发生；
- 不要把同比、环比混淆；
- 不要把股价下跌原因扩大为唯一原因。
新闻原文： 【粘贴上面的测试原文】
输出结果如下：
Claude Opus 4.8
捷豹路虎6月17日投资者日预计，2027财年收入约260亿英镑，高于2026财年的约229亿英镑，但2027财年EBIT利润率展望仅约4%，低于市场预期，母公司塔塔汽车乘用车股价盘中一度跌约9.6%。2026财年收入同比降20.9%，公司归因于美国关税、中国市场竞争、旧款捷豹停产及网络攻击等，并表示仍将推进180亿英镑投资计划。
ChatGPT 5.5
JLR预计2027财年收入约260亿英镑，高于2026财年的229亿英镑；但EBIT利润率展望约4%低于预期，塔塔汽车乘用车股价盘中一度跌约9.6%。
Grok 4.3
JLR6月17日预计2027财年收入约260亿英镑，高于2026财年229亿英镑，但EBIT利润率展望约4%低于预期，致塔塔汽车股价跌约9.6%。2026财年收入同比降20.9%，Q4同比降11.1%环比增51.4%，仍推进180亿投资寻求双位数增长。
Gemini
捷豹路虎预计2027财年收入约260亿英镑，但EBIT利润率展望约4%低于预期，引发母公司塔塔汽车股价盘中一度跌约9.6%。其2026财年及四季度收入同比均下降，环比增长。这受美国关税、中国竞争及网络攻击等影响。JLR仍将推进投资并寻求中期双位数收入增长。
Qwen3.7 Plus
捷豹路虎预计2027财年收入约260亿英镑，高于2026财年229亿英镑；但EBIT利润率展望仅约4%，低于预期，致塔塔汽车股价盘中跌约9.6%。2026财年收入同比降20.9%，受美国关税、中国竞争、旧款捷豹停产及网络攻击等影响。
DeepSeek V3
捷豹路虎在2026年6月17日投资者日上预计，2027财年收入约260亿英镑，高于2026财年的约229亿英镑，但给出的2027财年EBIT利润率展望约4%，低于市场预期，引发其印度母公司塔塔汽车乘用车股价盘中一度下跌约9.6%。公司2026财年全年收入同比下降20.9%，第四季度收入同比下降11.1%但环比增长51.4%。公司称表现受到美国关税、中国市场竞争、旧款车型停产及网络攻击等因素影响。JLR仍表示将继续推进180亿英镑投资计划。
智谱 GLM-5.2
JLR预计2027财年收入约260亿英镑，EBIT利润率约4%的展望低于预期引发母公司股价一度跌9.6%。2026财年收入229亿英镑，同比降20.9%；四季度收入69亿英镑，同比降11.1%，环比增51.4%。受关税等影响，公司仍推进180亿英镑投资。
豆包
6月17日捷豹路虎投资者日预测2027财年收入约260亿英镑，EBIT利润率约4%不及市场预期，致塔塔汽车乘用车股价盘中跌约9.6%。其2026财年收入229亿英镑同比降20.9%，四季度收入69亿英镑同比降11.1%、环比增51.4%，业绩受多重因素拖累，公司仍将推进百亿投资，谋求中期收入双位数增长。
Kimi k2.6
捷豹路虎（JLR）在投资者日上预计2027财年收入约260亿英镑，高于2026财年的约229亿英镑；但2027财年EBIT利润率展望仅约4%，低于市场预期，致其母公司塔塔汽车乘用车股价盘中一度下跌约9.6%。2026财年全年收入229亿英镑，同比下降20.9%；第四季度收入69亿英镑，同比下降11.1%，环比增长51.4%。公司称业绩受美国关税、中国市场竞争、旧款捷豹停产及网络攻击导致生产中断等因素影响。JLR表示将继续推进180亿英镑投资计划，并寻求未来实现中期双位数收入增长。
看看哪个模型喝高幻觉比较多？你觉得哪个好？