사내 통합 LLM API 게이트웨이

단일 엔드포인트에서 모델 호출, 키별 예산, Redis 기반 호출 제한, 운영 로그를 한 번에 확인하는 데모입니다.

https://llm-gateway.internal/v1/chat/completions
18,420분당 제한 평균 41%
58.8%₩2,940,000 사용
37예산/속도 정책 적용
정상비동기 로그 적재 중

인프라 아키텍처

사내 서비스

업무 자동화, 검색, 고객 지원 시스템이 동일한 엔드포인트로 요청합니다.

LLM 프록시

키 검증, 모델 라우팅, 예산 차단, 초당/분당 호출 제한을 처리합니다.

PostgreSQL · Redis

예산 한도와 사용량은 DB에, 속도 제한 카운터는 Redis에 저장합니다.

실시간 운영 로그

[10:18:03] gateway ready, redis connected [10:18:07] key svc-search routed to gemini-primary [10:18:11] budget check passed: svc-crm daily 62% [10:18:15] async trace queued for observability [10:18:20] rate limit window refreshed

4주 구축 마일스톤

주차핵심 작업산출물상태
1주차Docker Compose, DB, Redis, 네트워크 기본 세팅인프라 구성도준비
2주차프록시 연동, 라우팅, 속도 제한 정책 적용설정 파일준비
3주차API 키 발급/삭제 CLI, 예산 관리 호출 가이드운영 스크립트검증
4주차연동 테스트, 장애 대응 문서, 인수인계관리자 매뉴얼예정

API 키별 예산 및 제한

서비스키일 예산월 예산RPM상태

키 발급 CLI

$ ./gateway-key create --service svc-analytics --daily 120000 --monthly 1500000 --rpm 80

프록시 호출 테스트

응답 및 정책 판정

요청을 보내면 라우팅 대상, 예산 차감, Redis 호출 제한 판정이 표시됩니다.

모델 라우팅

모델 추가 설정

model_list: - model_name: gemini-primary litellm_params: model: gemini/gemini-1.5-pro rpm: 120 enabled: true