출력 토큰을 포함한 최종 사용량은 응답 완료 시점에 확정됩니다. Envoy Gateway에서 HTTP 요청 수를 제한하던 설정에 토큰 예산을 넣으려면, provider 응답을 해석하고 사용량을 프록시의 정책 엔진에 전달하는 처리가 필요합니다. Envoy AI Gateway는 Envoy Gateway에 AI 전용 컨트롤러와 external process...

“이번 달 LLM 비용 중 마케팅팀 챗봇이 쓴 금액은 얼마인가?” 여러 팀이 OpenAI, Anthropic, Azure를 함께 쓰면 프로바이더별 사용량을 같은 팀 기준으로 묶어야 이 질문에 답할 수 있습니다. 공유한 API 키를 교체할 때 어느 애플리케이션까지 바꿔야 하는지도 알아야 합니다. LLM Gateway는 애플리케이션과 프로바이더 사이에서 ...

루프 하나야 잘 돌아간다. 문제는 둘째부터입니다. 코딩 루프는 커밋을 만들고, 검토 루프는 그 커밋을 읽고, 문서 루프는 그 변경을 노트에 남깁니다. 각자의 루프가 각자의 상태를 들고 있으면, 누가 무엇을 했는지 아무도 모르는 상태가 됩니다. 이 지점에서 다루는 대상이 바뀝니다. 루프 하나의 내부가 아니라, 루프와 에이전트와 상태를 어떻게 연결할 것...

“Boris Cherny가 프롬프트를 안 쓴다더라”는 이야기가 커뮤니티에 돌았습니다. Anthropic Claude Code를 이끄는 사람이 자기 제품에 프롬프트를 안 붙인다는 말이니 모순처럼 들립니다. 원문을 찾아보면 모순이 아니라 방향 전환에 대한 선언입니다. “I don’t prompt Claude anymore. I have loops ...

im-not-ai는 AI가 쓴 한글 텍스트에서 내용은 건드리지 않고 문체와 리듬만 자연스러운 한국어로 되돌리는 스킬입니다. 저장소 이름은 im-not-ai이고 설치되는 플러그인 이름은 humanize-korean입니다. Claude Code, GitHub Copilot CLI, Codex CLI, Gemini CLI를 지원합니다. 1. 기존 방식...

eli5는 모르는 주제를 큰 그림과 적은 단어로 설명하는 HTML 아티팩트를 만들어주는 Claude Code 스킬입니다. Anthropic이 운영하는 커뮤니티 마켓플레이스에 올라와 있습니다. 이름은 “Explain Like I’m 5”에서 왔습니다. 1. 스킬 없이 물어볼 때 모르는 주제를 그냥 물으면 답변은 대개 문단과 불릿으로 돌아옵니다. ...

AWS Bedrock Knowledge Base 글에서는 Knowledge Bases의 구성 요소와 API, 접근제어를 정리했습니다. 이번 글은 그중 S3 Vectors를 직접 선택한 Customer-managed Knowledge Base를 실제로 조립한 기록입니다. 사내 정책 문서(Google Docs)를 지식 소스로 삼아, Slack에서 봇을 멘...

RAG 시리즈에서 chunking, 임베딩, 벡터 DB, hybrid search, 보안까지 RAG 파이프라인을 직접 구성하는 관점으로 다뤘습니다. Amazon Bedrock Knowledge Bases는 이 중 데이터 수집, 파싱, 청킹, 임베딩, 색인, 검색을 서비스 API로 연결해 주는 선택지입니다. 현재 Bedrock은 저장소와 검색 인프라까지...

Hermes Agent는 터미널과 메시징 환경에서 동작하는 self-hosted open-source agent입니다. Command-line interface(CLI) 대화만 제공하는 도구가 아니라 memory, SOUL.md persona, skills, cron, messaging gateway를 조합할 수 있습니다. 이 글은 Windows Su...

RAG 1편부터 6편까지 검색 파이프라인을 인덱싱, 벡터 DB, 검색 정확도, 보안, 지연/평가 순으로 살펴봤습니다. 검색된 청크를 LLM에 넘기면 답을 만드는 generation 단계가 남습니다. 이 단계에서 출처(citation)를 어떻게 보장하는지, 표준 vector RAG를 넘어서는 고급 기법인 GraphRAG와 Agentic RAG가 사내 정...