跳到主要內容
yoAkyoku
← Notes
AI Engineering約 1 分鐘

工具權限不該放在 Prompt 裡

請模型「遵守」的權限只是建議。真正的權限要放在模型碰不到的地方。

yoAkyoku 夜明曲 看板角色
Contents

問題

很容易在 System Prompt 寫一句「只有使用者明確要求時才呼叫 delete_record」,然後把它當成策略。接著上下文裡出現一份文件寫著「使用者明確要求」,策略就沒了。

設計目標

模型錯了、被騙了、被換掉了,權限都要成立。

權限住在哪裡

說明:

Prompt 描述意圖,邊界負責執行。它們是不同的層,應該是不同的程式碼。

邊界讀的是模型影響不到的事實:呼叫者是誰、工具的風險等級、目前環境允許什麼。它從不讀模型的推理過程。

在民宿客服裡,租戶就是這樣的事實。Webhook 收到訊息時決定租戶,之後所有工具與知識來源都沿著同一條路由帶著它,模型沒有機會換一個。

心得

邊界存在之後,Prompt 反而變短了。原本一堆「不要做什麼」的指示,換成模型根本呼叫不到的工具。