AI 모델 호출을 직접 운영하는 중간 서버로 거치면 사용 내역을 볼 수 있다(jrdsgl.com)

- AI 모델을 부를 때 요청이 거치는 중간 서버를 LLM 프록시라고 부른다. 글쓴이 Jared Siegel은 이 중간 서버를 직접 운영하면 어떤 호출이 언제 어떤 모델로 나갔는지 확인할 수 있다고 말한다. - 원문 주장에 따르면 프록시 하나로 여러 제공자와 모델을 묶고, 어떤 키가 어떤 모델을 호출했는지 기록하며, 작업별로 가상 API 키를 나눠 쓸 수 있다. 이는 글쓴이가 든 장점이며 원문에는 성능 수치가 없다. - 글쓴이는 코딩 작업 중 캐시 미스(저장된 결과를 쓰지 못하고 다시 계산하는 상황)가 생기면 20초 정도 안에 손으로 원인을 찾을 수 있다고 한다. 아직 자동화하지는 않았지만 프록시에 API가 있어 자동화가 가능하다고 덧붙였다. - 글쓴이는 특정 프록시 제품을 추천하지 않는다. 대신 직접 통제하는 곳에 설치하고 필요에 맞게 고쳐 쓰라고 권하며, 자신은 조회 기능과 MCP 서버 연결 등을 추가했다고 소개한다.