案例

osop 哪裡成立,哪裡不成立

每個案例是一件你可能想讓 osop 做的事。每一個都寫了怎麼跑、結果如何、限制在哪裡。

人工核對:2026 年 11 月 10 日到 14 日

我們拿作者自己這五天的 Claude Code session,逐筆人工核對 osop 對 claim 的判定。

  • 人工核對了 173 個 claim。
  • agent 說的 claim,沒有一個是假的。
  • osop 把 5 個判成 contradicted(❌)、17 個判成 no evidence(❓),這 22 個全部判錯。
  • 總共 35 列判錯(20%)。修了三次後在 11 月 15 日重跑,大約還有 20 列(12%)是錯的。之後的修正沒有在這批資料上重量過。
  • 大部分 cannot tell(⚠️)來自分號或 pipe 把指令的 exit status 藏起來。

在這批資料裡,osop 還沒抓到過一個真正的假 claim。

每回合看一行摘要

狀態: 部分成立
怎麼跑
裝上 Stop hook(hooks/osop-stop.py)。每回合結束印一行,連同 claim 列寫進 ~/.osop/brief.log。手動產生同一行:`osop log <session-id> --brief`
結果
5 天、173 列 claim,逐列人工審。當時判錯 35 列(20%)。修了 3 次後在 11 月 15 日重跑約 20 列(12%);之後的修正沒有重量。門檻是最多 3 列。抓到 agent 說錯:0 次。
限制
這段期間 agent 沒有說錯過,所以這一行只產生了假警報(22 列 ❌/❓)和「看不出來」。沒有達到門檻。

回頭查舊 session 的失敗

狀態: 部分成立
怎麼跑
`osop log <session-id> --stdout`,看 Tests 和 Errors 兩段。
結果
近 30 天 52 個 session:解析 42 個、60 MB 以上 10 個跳過、14 個至少有一次測試失敗。挑 3 個對照 transcript,共 5 次失敗。失敗在 Tests 段看得到:5/5。下一次跑同一組測試的結果看得到:5/5。中間改了什麼:看得到 1、只在收起來的清單 2、看不到 1、不適用 1。時間:4.6-11.6 MB 要 0.36-0.58 秒;168 MB 要 6.6 秒。
限制
Tests 表沒有時間。用 python 或 node 腳本寫的檔不會列出。故意跑紅的測試看起來和真的失敗一樣。Errors 段只列退出碼非 0 的呼叫(5 次裡 3 次),而且只顯示輸出開頭,不是失敗那一行。168 MB 的 session 產生 645 KB、181 列測試的收據。

PR 審查時拿收據當證據

狀態: 部分成立
怎麼跑
對叫出 verifier sub-agent 的 session 跑 `osop log <session-id> --stdout`,在 Tests 段看每個 verifier 的列(By 欄)。
結果
3 個 PR 共 10 個 verifier sub-agent,收據記在它們名下的測試 57 列。9 個回報「pytest exit 0,N passed」;1 個碰到用量上限,沒有回報。9 個裡 9 個都找得到自己印出 N passed 的那一列。那一列的判定:通過 6、可能通過 1、看不出來 2。N 直接出現在收據文字裡:6/9。28.8 MB transcript 加 22 個 sub-agent,產生收據 1.28 秒。
限制
verifier 自己的報告、PASS/FAIL、驗的是哪個 commit,收據都不顯示;它們說的話也不會被檢查,只檢查主 session 最後一則訊息。碰到用量上限而停下的 verifier,看起來和做完的一樣。用 shell 指令跑的第二個模型審查,只看得到指令和退出碼。

查每個 sub-agent 做了什麼

狀態: 成立
怎麼跑
`osop log <session-id> --stdout`,看 Sub-agents 表,以及 Tests、Errors、Commands 的 By 欄。
結果
人工對 3 個 sub-agent(52、32、22 個工具呼叫,其中 1 個是別的 sub-agent 叫出來的):呼叫數、失敗數、測試列、錯誤行都和它們自己的 transcript 完全一致。
限制
表格是平的,看不出誰叫出誰。一開始就碰到用量上限的 sub-agent 只顯示「0 個呼叫、0 個失敗」,沒有原因。被權限擋下的指令當時顯示成測試失敗(1 列);2026-11-17 起被拒的指令只列在 Errors,不算一次測試。description 相同的 sub-agent 會併成一列(讀程式得知,這次沒發生)。

每晚從收據自我改進

狀態: 部分成立
怎麼跑
osop 以外的一支 nightly 腳本:讀當天的 prompt、最後訊息和 brief.log 的 claim 列(就是 `osop log <session-id> --brief` 也會印的那些),請模型提案,再用程式檢查每個被接受的提案:引文逐字相符、至少 2 個 session、只改允許的檔。以 dry-run 模式跑。
結果
5 晚:15 個提案、接受 6 個,6 個都過了程式檢查,擋下 0 個。15 個裡 6 個引用 brief.log 的 claim 列;12 個的理由用到收據的判定。4 個被接受的提案變成 3 個已 merge 的修正,之後的人工稽核確認它們消掉 15 列誤判。另 2 個被接受的到 11 月 15 日還沒套用。花費:5 晚共 13.40 美元。
限制
5 晚都是 dry-run:nightly 自己沒開過 PR,修正都是手動做的。唯一一次 live 用的是手寫的演練提案,verifier 判 FAIL、PR 關掉,照設計擋下。「看不出來」的最大來源(測試後面接 `;` 蓋掉退出碼)連 5 晚被提出,一直沒做。最大的一類誤判(不是宣稱的句子被當成宣稱)是人工稽核找到的,不是 nightly。

只用 pipefail hook

狀態: 成立
怎麼跑
把 hooks/osop-pipefail.py 裝成 PreToolUse hook。它把 `pytest 2>&1 | tail -20` 改成 `set -o pipefail; pytest 2>&1 | tail -20`。之後 `osop log <session-id> --stdout` 會把失敗的那次判成失敗。
結果
近 30 天的 transcript:925 個 shell 呼叫在 `set -o pipefail;` 下執行(hook 自 11 月 7 日裝上後改寫 732 個,agent 自己寫 193 個)。其中 675 個把 test runner 接到 pipe。103 個退出碼非 0,而 pipe 最後一段本來會回 0,也就是 pipe 會藏住的失敗。103 個都是真的失敗(93 個有失敗摘要,10 個是 fatal 或參數錯誤)。把通過變成失敗的:找到 0 個。沒有 pipefail 時,收據會判 101 個「看不出來」、2 個「可能通過」;有了之後 103 個都判失敗。
限制
103 個裡 93 個的輸出本來就印出失敗數,agent 讀文字也看得到;hook 補的是退出碼。有 1 次改寫後被權限系統擋下,收據把它顯示成測試失敗(2026-11-17 已改:被拒的指令不算一次測試)。hook 改寫和 agent 自己寫的,是靠 hook 在 transcript 留下的紀錄區分;有 54 個現在的 hook 會改寫的呼叫沒有紀錄,多半是那種 runner 寫法後來才認得(沒有逐一查完)。

headless 與 CI

狀態: 部分成立
怎麼跑
對用 `claude -p` 跑的 session 執行 `osop log <session-id> --stdout`。
結果
3 個 headless session:3 個都產出收據,0.22-0.32 秒,目標、模型、時間、錯誤都和互動 session 一樣。Stop hook 在 headless 也會跑:查了 7 個,各有 1 筆 brief.log。
限制
headless session 沒有人能核准,需要核准的指令會被拒;當時 osop 把被拒的測試指令顯示成失敗:3 列測試裡 2 列其實被拒、根本沒跑(2026-11-17 已改:被拒的指令不算一次測試)。最後訊息是 JSON 時會被當成一般文字讀:一個 FAIL 結論產生了「claims: 1 backed」。沒有在真的 CI runner 上測。

其他 agent(Codex CLI、Cursor 等)

狀態: 沒測
怎麼跑
不支援。osop 只讀 Claude Code 的 transcript。
結果
不支援,沒測。
限制
其他 agent 的 session 格式不同,osop 沒有對應的解析器。