概览
大模型的输出具有不确定性，为此，Aily 平台提供了一套运行可视化与多阶段可调优的工具，帮助应用管理者更精准的调整和优化 AI 的行为。在「结果调优」工具中，用户可以观察到 AI 的执行步骤，检查各个步骤的执行结果是否符合预期，在不符合预期的时候应用相应的调优手段，对结果进行干预。
- 白盒化运行过程：展示每个阶段 AI 的执行步骤及结果，并在每个步骤中应用相应的调优手段，干预大模型，确保得到符合预期的结果。
- 整合调优手段：结果调优页面在各个步骤，整合了相应的调优手段，可以在这里方便的进行调优，包括：添加及修改知识、维护术语及术语检索参数、调整全局参数、修改全局生成规则、保存用例、提取标准答案等。
- 提升上限：调优不仅是让 AI 能够基于单一的问题得到符合预期的结果，根据应用调优手段的不同，还能对一定范围的问题产生影响，让整体的效果得到提升。
由于知识问答和数据分析的调优思路不同，下面将分为知识问答调优和数据分析调优两部分，结合具体的例子进行介绍。
知识问答调优
开始调优
调试和预览中发现回答不对的问题，进入调优界面。
250px|700px|reset
查看召回的切片
在「数据检索和处理」中查看「相关知识切片」，查看切片中是否包含正确答案。
250px|700px|reset
检查知识是否已添加
若「相关知识切片」中均未包含正确答案，请检查包含正确答案的知识是否已添加。若未添加知识，则在「检索到的文档」点击「添加知识」，选择需要补充的知识文档。
250px|700px|reset
一个检查知识是否已添加的办法
尝试在「数据检索和处理」-「知识检索参数」- 「去调整全局参数」中调整检索参数。可以尝试增加「召回的数量」，降低「内容召回阈值」，点击「运行」或「重新运行」看是否会有包含正确答案的切片召回
- 如果能召回，说明相关知识已添加
- 如果仍未能召回，建议手动检查一下添加的知识中是否包含目标文档
250px|700px|reset
250px|700px|reset
知识已添加但未召回
如果确认知识已添加，但在相关知识切片中并未出现，则点击「提取标准答案」，修改答案，同时也可以补充一些相似问题。
250px|700px|reset
250px|700px|reset
也可以在创建完成后，进入「标准问答库」，管理已有的标准问答对，点击「智能生成相关问题」，生成更多的相似问题，提高标准问答对的命中率。
250px|700px|reset
250px|700px|reset
250px|700px|reset
🌰 举例
调优前 | 调优后 | 调优手段 |
250px|700px|reset 回答错误：
| 250px|700px|reset 问的是相似表达也可以回答正确。 | 添加标准问答对 250px|700px|reset |
知识已添加且召回
使用了错误片段回答
如果确认知识已添加，且存在包含正确答案的相关切片，但 AI 却引用了其他切片的内容回答。请检查引用的切片是否有包含和问题高度匹配的片段，导致 AI 被干扰，如果是，点击相应的片段 - 「去修改文档」，修改干扰内容即可。
250px|700px|reset
250px|700px|reset
拒绝回答问题
请检查是否问题和正确片段的表述上有一些不同，涉及了一些概念，导致 AI 无法理解问题和正确片段的关联性。如果是，可以去「意图识别和召回」 - 「去维护术语」，添加对应的概念及其说明。
250px|700px|reset
250px|700px|reset
250px|700px|reset
答案包含了部分正确答案，但有缺失不完整
请参考第 2 - 3 步，检查缺失部分的知识是否已包含在召回片段里，若已包含，但 AI 在回答的时候答案不完整，考虑以下 2 种解决办法：
- 请检查是否问题中包含了某些概念，这个概念可以有一些子概念，答案只回答了部分子概念，没有回答全部的子概念。如果是，可以去「意图识别和召回」 - 「去维护术语」，添加对应的概念及其说明，说明中说明其包含的子概念。
- 请去「生成结果」-「修改全局生成规则」中，修改「结果生成指令」
250px|700px|reset
250px|700px|reset
📚 指令参考
- 希望当用户在没有指定场景的时候，AI 尽可能汇总多个场景进行回答
#约束
如果用户问题没有限定场景，检索到的多个段落是该问题不同场景下的解决方案，你需要按照不同段落对答案进行分类呈现，不要混杂不同场景下的步骤。。
对输出格式有一些额外的要求
明确没有找到答案时的回复话术
请去「生成结果」-「修改全局生成规则」中，修改「结果生成指令」
250px|700px|reset
250px|700px|reset
250px|700px|reset
250px|700px|reset
明确用户输入一些关键词时的回复原则
- 请去「生成结果」-「修改全局生成规则」中，修改「结果生成指令」
250px|700px|reset
250px|700px|reset
250px|700px|reset
250px|700px|reset
📚 指令参考
#输出格式
- 当用户表达感谢时，你可以做出以下回应：
- - 表达感谢：例如，“不客气，很高兴能够帮助你。”
- - 确认问题解决：“如果你还有其他问题，随时都可以问我。”
- - 提供额外信息：如果合适，可以提供一些相关的信息或建议，以进一步帮助用户。
- - 给予积极反馈：“你的感谢让我感到很开心，希望能继续为你提供更好的服务。”
- 如果上下文中没有相关信息，或用户输入模糊，且无法匹配到相似的文档标题时，不要澄清、追问或推荐相关的内容，针对中文问题就说 “暂未搜索到相关知识”，针对英文问题就说“I'm sorry, I couldn't find any relevant information at the moment.”，不要试图编造答案。
- 如果用户输入 ‘人工’、‘人工服务’、‘人工客服’、‘转人工’、等中文关键词，返回以下内容：
最后，如果答案仍然不对
通过「提取标准答案」，并修正标准答案解决。
理论上，添加标准问答对可以解决一切问题，但为什么不推荐直接一上来就是用标准问答对来解决：
- 标准问答对解决问题相对来说是更单点的，虽然它可以泛化到一些相似问题
- 如果是知识缺失或者是知识有误，或者是术语缺失可能会影响到更多的相关问题，这样调优后的效果可以对更大范围产生影响。
- 如果是结果生成指令的调整，往往也是对一类的问题生成效果有影响。
- 标准问答对的维护有一定的额外成本，虽然系统后续会提供一些相似问题、冲突问题的检查校验来降低维护成本，但还是推荐只维护一些关键的、高频的问题。
数据分析调优
开始调优
调试和预览中发现回答不对的问题，进入调优界面
250px|700px|reset
查看检索到的数据
在「数据检索和处理」-「检索到的数据」中，检查是否召回了正确的表及字段。
250px|700px|reset
召回表、字段不正确
如果召回的表或字段有误，请检查是否存在以下 2 种情况：
- 可以检查表或字段的描述是否比较模糊，或者存在相似的表或者字段对 AI 产生了干扰，尝试修改描述，让 AI 更好的理解。在「数据检索和处理」- 「检索到的数据」中点击「修改描述」，修改相应的表描述和字段描述。也可以点击「语义检测」，让 AI 帮你检查。
250px|700px|reset
250px|700px|reset
- 问题和实际数据的表述并不一致，存在一些企业黑话和企业特定知识，一些特殊的称呼，或者简称、别名、定义等，需要给 AI 提供信息，其才能理解。在「意图识别和召回」-「检索到的术语」中点击「去维护术语」
，添加对应的
250px|700px|reset
若已有对应的术语，但却没有召回，或召回的术语不符合预期，可以点击「去调整术语检索参数」。
