📰 来源：Towards Data Science　|　📅 翻译日期：2026年6月15日
🔗 原文：查看原文
🤖 翻译：DeepSeek AI · 仅供参考

几周前我在工作中接到了一个新任务：根据一份非结构化文本数据的数据导出，生成一份详细的PDF报告，内容是关于客户本季度对我们产品的评价。

于是，我编写了一个清晰的提示词，给了Claude一套详细的指令，将数据集喂给它。它给了我一个输出，我提交了报告。

但当利益相关者和我深入审查交付物时，我们发现了一些越来越令人不安的问题。

Claude 自信地错了。

不是那种凭空捏造事实的错误，更像是……过度自信的错误。它会生成一份季度洞察报告并说：

“Dresses部门的负面情绪本季度增加了23%，表明客户满意度发生了重大变化，需要产品团队立即关注。”

听起来不错。但这一激增几乎完全是由一款在季度中期推出的热门商品造成的，该商品存在已知的尺码缺陷。一个产品——而不是整个部门。

Claude对此一无所知，而我的提示词也没有告诉它要关心。

一个季度客户评论报告技能

我将向你介绍我构建的一个Claude技能，它可以根据非结构化产品评论文本生成季度客户情绪报告，并以PDF格式交付给利益相关者。

显然，我不会分享我工作中分析的实际数据集。我使用的数据集是Kaggle上的Women's E-Commerce Clothing Reviews数据集（CC0许可证）。它包含23,000条真实、匿名的客户评论，涵盖服装部门（上衣、连衣裙、裤子、夹克等），包含文本、星级评分和产品元数据。评论中提及公司的内容已被替换为“retailer”。

该技能应：

• 读取本季度过滤后的评论片段
• 按部门分组
• 识别趋势和问题
• 为产品领导团队撰写一份专业的总结PDF

以下是原始提示词：

你是一名数据分析师，为一家女性服装电商零售商生成季度客户情绪报告。给定本季度的客户评论（包括评论文本、星级评分和部门），撰写一份专业的利益相关者报告，内容包括：
– 本季度的总体情绪总结
– 各部门（上衣、连衣裙、裤子、夹克）的关键主题
– 评论文本中2-3个突出的洞察
– 给产品团队的一个简短建议
保持专业和清晰。
完成此任务后，请创建一个名为“reviews-analysis”的技能，并将你的指令保存在其中。

“自信地错误”看起来像什么

以下是一个例子，展示了在上述简单技能下Claude产生的输出，针对的是连衣裙部门负面评论激增的季度：

“连衣裙部门的负面情绪本季度显著增加，客户频繁提到合身和尺码问题。这表明零售商的尺码标准可能偏离了客户期望——如果这一问题不加解决，可能会削弱该关键品类的品牌忠诚度。”

真正的原因？一款连衣裙（一个SKU）在第7周推出，存在批次质量问题。评论几乎完全关于这一件商品。连衣裙部门其余商品表现正常。

Claude并没有完全捏造事实，但它不知道模式存在的原因。没有上下文，LLM就会做它擅长的事：用听起来最合理的叙述来填补空白。

解决方案：你必须包含的四行指令

第一行：告诉Claude它缺失的上下文

你没有访问产品发布日历、库存记录、促销活动或单个SKU级别历史的权限。不要将部门层面的趋势归因于品牌范围的原因。报告你在文本中观察到的模式；除非评论本身明确说明，否则不要解释它们存在的原因。

这一条指令就消除了大量“自信错误”的范畴。没有它，Claude总是会试图构建战略性叙述，因为那是优秀分析师的做法，而Claude正试图成为优秀分析师。

问题是，优秀分析师也知道自己不知道什么。他们会说：“本季度连衣裙部门的尺码投诉增多。这可能与近期发布有关，但我们需要SKU级别的数据来确认。”除非你告诉它，否则Claude不会这么说。

第二行：定义“显著”的实际含义

Claude喜欢“显著”这个词，它一直在用，但几乎从不定义。

只有当情绪变化相较于上季度波动超过15个百分点，或者某个主题在某个部门超过20%的评论中出现时，才将情绪变化标记为“显著”。对于较小的信号，使用“轻微上升”或“小幅增加”之类的语言。不要在低于这些阈值的情况下使用“显著”或“值得注意”这样的词。始终在陈述观点时附上变化的实际数值。

你可以根据数据调整15%和20%的阈值。关键是让Claude的语言与实际情况挂钩。

没有这个，Claude会把3条投诉激增和真正的30点情绪下降都称为“显著”。利益相关者会开始充耳不闻。当真正显著的事情发生时，他们也不会知道。

第三行：为每个洞察强制标注信心等级

在每个洞察之前，用括号包含一个信心标签：[Data-Supported]、[Possible]或[Speculative]。
仅当洞察直接来自提供的评论文本时使用[Data-Supported]。当洞察是文本的合理推断时使用[Possible]。当你对原因或背景做出评论中不存在的假设时使用[Speculative]。

有了这个，利益相关者就能立即知道哪些洞察是扎实的，哪些只是合理的猜测。最终的报告看起来像这样：

[Data-Supported] 连衣裙部门的负面评论本季度增加了23%，主要由一款连衣裙的尺码投诉驱动（出现在该部门68%的负面评论中）。
[Possible] 表明该商品可能存在批次质量控制问题，但我们无法确认，因为我们没有访问SKU级别数据的权限。
[Speculative] 如果该问题持续存在，可能会影响连衣裙部门的整体品牌情绪，但我们需要后续季度的数据来评估。

第四行：强制限制你的输出格式

在报告末尾，添加一节名为数据限制的内容，列出你无法获取但可能影响分析的数据源（例如：SKU级别数据、促销日历、库存记录）。

这不仅仅是透明度的问题。它改变了Claude在撰写整份报告时的行为。当它知道自己必须在最后承认缺失了什么时，它会从一开始就更谨慎地构建其叙述。

结果——可信的分析

将这些行添加到技能定义中后，Claude的输出发生了根本变化。它不再假装理解它不理解的东西。它报告模式，而不是原因。它使用精确的语言，并且承认自己的无知。

利益相关者仍然获得了他们需要的洞察，但现在他们对其中的局限性有了清晰的认识。当某件事被标记为“显著”时，他们知道它确实是显著的。当他们看到[Data-Supported]时，他们知道这是可信的。

最终，这就是我们真正需要的：不是更聪明的AI，而是更诚实的AI。