AIモデル呼び出しを自分で運用する中間サーバーを挟むと、利用履歴を確認できる(jrdsgl.com)

- AIモデルを呼び出すときにリクエストが通る中間サーバーは、LLMプロキシと呼ばれる。筆者のJared Siegelは、この中間サーバーを自分で運用すれば、どの呼び出しがいつどのモデルへ出たかを確認できると述べている。 - 原文の主張によると、一つのプロキシで複数のプロバイダーとモデルをまとめられ、どのキーがどのモデルを呼び出したかを記録でき、作業ごとに仮想APIキーを分けて使える。これは筆者が挙げた利点であり、原文には性能の数値は示されていない。 - 筆者は、コーディング作業中にキャッシュミス（保存された結果を使えず、計算し直す状況）が起きた場合、手作業で原因を20秒ほどで見つけられると話している。まだ自動化はしていないが、プロキシにはAPIがあるため自動化は可能だと付け加えている。 - 筆者は特定のプロキシ製品を推奨していない。代わりに、自分で管理できる場所に導入し、必要に応じて手を加えて使うよう勧めており、自身は照会機能やMCPサーバーへの接続などを追加したと紹介している。