飞书智能伙伴Aily之运行分析

飞书智能伙伴Aily之运行分析

智能伙伴Aily手册精选NaN-NaN-NaN
产品功能
应用发布上线后,开发者及应用运维人员可以在此查看应用的使用情况。
250px|700px|reset
使用说明
你可以操作日期选择器,调整数据的时间范围,也支持调整按日、周、月聚合日期。「最近 7 天」指从当天到前 7 天为统计周期,默认按日维度展示最近 7 天的数据。
数据总览
「数据总览」总体展示应用的使用情况,包括 7 个核心指标。每个指标下,展示环比差值。如下图:
250px|700px|reset
运营分析
查看对话数、活跃、满意度、反馈等用户情况,以及对话技能命中情况;支持按照总计,或按发布渠道筛选查看
250px|700px|reset
对话技能命中情况会显示在统计周期内,技能的命中率、满意度,可以了解到用户在使用哪些技能
250px|700px|reset
运维分析
应用技能的 Token 用量、响应时间、成功率等重点指标分析;支持查看总量,以及按发布渠道、模型进一步下钻查看
250px|700px|reset
image.png
250px|700px|reset
image.png
250px|700px|reset
image.png
指标释义
版块
指标
指标说明
数据总览
对话数
用户主动给 AI 应用发送的消息数,包括命中技能和没有命中技能的情况
活跃用户数
主动跟 AI 应用有互动的用户数量
用户满意度
1- 不满意的对话数 / 总对话数,反映了用户对 AI 应用回复的满意程度
用户反馈率
统计用户有反馈(包括点赞和点踩)的 AI 回复数 / 总的 AI 回复数
对话平均响应时间
衡量 AI 应用处理和回复用户请求所花费的平均时间,反映性能和用户体验
技能成功率
用户输入请求后技能的成功率,反映了该应用当前的稳定性情况
Token 用量
用户输入请求过程中消耗的 Token 总用量,可用于成本控制
运营分析
对话数趋势图
指在统计周期内用户主动给 AI 应用发送的消息数
活跃用户数趋势图
指在统计周期内主动跟 AI 应用有互动的用户数量
用户满意度趋势图
指在统计周期内,1- 不满意的对话数 / 总对话数的比值
用户反馈率趋势图
指在统计周期内,用户有反馈(包括点赞和点踩)的 AI 回复数 / 总的 AI 回复数
对话技能命中情况
技能命中率
该技能被用户对话命中的次数/总的技能命中次数,反映了用户对该技能的使用情况
技能满意度
指定技能中,用户对该技能的回复满意程度
运维分析
Token 用量趋势图
指在统计周期内用户输入请求过程中消耗的 Token 用量变化
单轮对话的 Token 用量
指在统计周期内,每次对话中 Token 用量的平均值和最大值变化
对话响应时间
指在统计周期内,AI 应用处理和回复用户请求所花费的平均时间、最大值的变化
技能状态
指在统计周期内,技能成功、失败、中止、等待占比的变化
先进生产力和业务协同平台
联系我们立即试用

先进团队,先用飞书

欢迎联系我们,飞书效能顾问将为您提供全力支持
分享先进工作方式
输送行业最佳实践
全面协助组织提效
联系我们立即试用