跳到內容

可信度

用一套題庫定期考它:會不會瞎掰、引用對不對、該用工具時有沒有用、該拒答時有沒有拒答。題目可以讓 AI 出,也可以自己寫;每次成績都留著。

這是什麼

agent 是你在 Dot Agents 裡建立的 AI 同事。你會想知道它靠不靠得住:客人問退貨規則,它是照政策回答,還是自己編一個? 可信度分頁就是它的定期考試。你準備一套題目與標準答案,按下開始,系統替它作答並打分,分數分四個指標。人設或題庫改過之後再考一次,就知道有沒有進步。

在哪裡找到它

主控台 → Agents → 點一位 agent → 可信度 分頁。只有擁有「設定 Agent 的思考方式」權限的人看得到這個分頁。 分頁裡有「總覽」(四個指標與開始評測鈕)、題庫,以及「評測歷程」。

對話 · 核准卡與詢問卡實際介面
可信度分頁沒有單獨的示意。這是它在對話裡停下來問人、或等核准時的卡片;評測裡「應該拒答」「不應呼叫工具」判的就是這類行為有沒有發生。

四個指標

指標 看什麼
幻覺率(越低越好) 有沒有編造不存在的內容
引用正確率 答案附的出處是不是真的
工具呼叫正確率 該查資料、該用工具時有沒有正確用
適當拒答率 不該回答的問題有沒有拒絕

總覽會顯示每個指標「達標」「未達標」「樣本不足」或「尚未評測」、通過題數與上次評測時間。 題庫或人設改過之後會標「需重新評測」。

題庫

出題有兩種方式:

  1. 讓 AI 依這個 agent 出題:系統依它的人設、知識庫與可用工具產生草稿。某個指標題數不夠時可以選「只補不足的」。草稿可以改、可以移除,確認後按 加入題庫。
  2. 自己寫一題:填要問的問題,再選「怎麼算答對」:應該拒答、應附出處、應查資料、應呼叫指定工具、不應呼叫工具、應包含關鍵字、不應包含內容。

評測與歷程

  1. 在「總覽」按 開始評測。評測在背景執行,可以關掉頁面。
  2. 跑完到「評測歷程」看每一次的結果,以及當時的設定(模型、人設版本)。
  3. 逐題明細先列沒通過的:判定方式、原因、它的回答、用到的工具。

異常提醒在哪裡

可信度退步、用量暴增、執行一直失敗這類提醒不在這一頁,在團隊設定 → 異常。

需要的權限

整個分頁只有「設定 Agent 的思考方式」權限的人看得到。

會遇到的狀況

指標一直顯示「樣本不足」

那個指標的題目不到 30 題。按「讓 AI 依這個 agent 出題」並選「只補不足的」,補到 30 題以上再評測。

相關頁

本頁對應 v0.111.1