嘖嘖 所以 1m context 會特別快不是錯覺，在 agent sdk 的環境下確實會因為設計因素 , 導致 1m context token 會消耗的比預…

嘖嘖 所以 1m context 會特別快不是錯覺，在 agent sdk 的環境下確實會因為設計因素 , 導致 1m context token 會消耗的比預期快很多. 最快的方法是用 sdk 的時候切回 200k，這樣影響就沒那麼明顯，至於其他方案，可能暫時都不會太穩定。 我來想個方案先。 reference https://cablate.com/....../reverse-engineer-claude....../ https://github.com/tony1223/better-agent-terminal/issues/78

• 連結 V1 query() API 每次訊息都可能造成 prompt cache miss，實測 cache efficiency 從 85% 掉到 49% · Issue #78 · tony1223/better-agent-terminal

原始 Facebook 貼文