
LiteLLM 알아보기 - 앱 레벨 LLM 게이트웨이 실습 [AI Gateway 3]
시리즈 1편에서 LLM Gateway가 키와 비용과 감사를 한 지점에 모은다고 정리했고, 2편에서 Envoy AI Gateway가 그 일을 인그레스 데이터플레인에서 처리하는 걸 봤습니다. 이번 3편은 반대쪽 축인 LiteLLM을 실제로 배포하고, virtual key 발급부터 예산 초과 거절까지 직접 확인한 기록입니다. 지난 글들이 개념 비교였다면 ...

시리즈 1편에서 LLM Gateway가 키와 비용과 감사를 한 지점에 모은다고 정리했고, 2편에서 Envoy AI Gateway가 그 일을 인그레스 데이터플레인에서 처리하는 걸 봤습니다. 이번 3편은 반대쪽 축인 LiteLLM을 실제로 배포하고, virtual key 발급부터 예산 초과 거절까지 직접 확인한 기록입니다. 지난 글들이 개념 비교였다면 ...

지난 글에서 LLM Gateway가 키, 비용, 감사를 한 지점에 모으는 관문이라고 정리했습니다. 거기 나온 LiteLLM은 애플리케이션 곁에 두는 Python 서버였습니다. 이번 글은 같은 문제를 완전히 다른 층에서 푸는 프로젝트를 봅니다. Envoy AI Gateway는 요청 경로 자체, 즉 데이터플레인에 LLM 트래픽 제어를 심는 방식입니다. ...

기업에서 LLM API를 직접 쓰기 시작하면 처음 마주치는 문제는 모델 품질이 아닙니다. OpenAI 키가 슬랙으로 공유되고, 팀마다 따로 결제한 Azure 구독이 3개 생기고, “이번 달 LLM 비용이 얼마인데 팀별로 얼마씩 쓴 거지?”라는 질문에 답할 방법이 없는 상황입니다. 이 글에서는 이 문제들을 해결하는 LLM Gateway가 무엇을 관문으로...

루프 하나야 잘 돌아간다. 문제는 둘째부터입니다. 코딩 루프는 커밋을 만들고, 검토 루프는 그 커밋을 읽고, 문서 루프는 그 변경을 노트에 남깁니다. 각자의 루프가 각자의 상태를 들고 있으면, 누가 무엇을 했는지 아무도 모르는 상태가 됩니다. 이 지점에서 다루는 대상이 바뀝니다. 루프 하나의 내부가 아니라, 루프와 에이전트와 상태를 어떻게 연결할 것...

“Boris Cherny가 프롬프트를 안 쓴다더라”는 이야기가 커뮤니티에 돌았습니다. Anthropic Claude Code를 이끄는 사람이 자기 제품에 프롬프트를 안 붙인다는 말이니 모순처럼 들립니다. 원문을 찾아보면 모순이 아니라 방향 전환에 대한 선언입니다. “I don’t prompt Claude anymore. I have loops ...

im-not-ai는 AI가 쓴 한글 텍스트에서 내용은 건드리지 않고 문체와 리듬만 자연스러운 한국어로 되돌리는 스킬입니다. 저장소 이름은 im-not-ai이고 설치되는 플러그인 이름은 humanize-korean입니다. Claude Code, GitHub Copilot CLI, Codex CLI, Gemini CLI를 지원합니다. 1. 기존 방식...

eli5는 모르는 주제를 큰 그림과 적은 단어로 설명하는 HTML 아티팩트를 만들어주는 Claude Code 스킬입니다. Anthropic이 운영하는 커뮤니티 마켓플레이스에 올라와 있습니다. 이름은 “Explain Like I’m 5”에서 왔습니다. 1. 스킬 없이 물어볼 때 모르는 주제를 그냥 물으면 답변은 대개 문단과 불릿으로 돌아옵니다. ...

새 체인 공지를 받으면 토큰 이름보다 먼저 물을 것이 있습니다. 머리는 어떤 객체인가, 실행은 어디에 있는가, 그 답을 어느 RPC가 주고 있는가. 이 글은 Solana 노드를 띄우지 않습니다. Solana 공식 RPC 문서의 commitment와, 이 시리즈가 이미 관측한 Bitcoin/Ethereum 실패를 같은 검사 순서로 맞춥니다. 이전 글에...

같은 Solidity 파일이라도 컴파일러 버전이 바뀌면 체인에 올라가는 프로그램이 바뀝니다. 9편 Escrow 소스를 Foundry 1.7.1에서 solc 0.8.35와 0.8.28로 각각 빌드했습니다. deployedBytecode 길이는 둘 다 5234 hex였고, sha256은 달랐습니다. 이전 글에서 Anvil에는 builder 시장이 없음을...

공개 mempool에 들어간 거래는 아직 block이 아닙니다. 그 거래를 누가 어떤 순서로 묶는지가 한 칸의 가치가 됩니다. ethereum.org는 그 가치를 Maximal extractable value, MEV라고 부릅니다. 이전 글에서 RPC 잔액이 node마다 다름을 봤습니다. 이번에는 같은 체인 안에서, 아직 확정되지 않은 거래 목록을 ...