
vLLM - LLM 추론과 서빙의 원리
vLLM이 LLM 추론 요청을 실행하고 서비스하는 구조를 설명합니다. Prefill과 decode, KV cache의 블록 관리, continuous batching 및 OpenAI 호환 API의 역할과 운영상 한계를 구분합니다.

vLLM이 LLM 추론 요청을 실행하고 서비스하는 구조를 설명합니다. Prefill과 decode, KV cache의 블록 관리, continuous batching 및 OpenAI 호환 API의 역할과 운영상 한계를 구분합니다.

고정된 기본 가중치와 작은 보정 행렬로 학습할 파라미터를 줄이는 LoRA의 원리, 파라미터 계산, 병합 및 QLoRA와 RAG의 차이를 설명합니다.

AWS WAF의 1,500 WCU 초과 과금 구조와 동일 판정을 더 적은 WCU로 구성하는 방법을 설명합니다. CheckCapacity 측정으로 정규식 대체, 변환 공유와 rule group capacity의 비용을 비교합니다.

zot으로 HomeLab CI의 Docker Hub mirror와 이미지 저장소를 구성한 기록입니다. digest 보존과 태그 신뢰 경계, 네트워크 제한 및 cold와 warm pull을 실제 CI run과 로컬 실험으로 설명합니다.

Databricks의 SQL 경로로 계정, 컴퓨트와 권한 구조를 설명합니다. control plane, serverless 및 classic compute, Unity Catalog와 S3 연결 및 비용과 감사 기록을 구분합니다.

HomeLab에 ARC runner를 구축해 웹과 Rust 저장소 CI를 옮긴 기록입니다. light와 rootless DinD 풀 분리, 슬롯 및 quota 제한, 캐시와 오라클 fixture 조정에 따른 run 관측을 정리합니다.

ARC가 GitHub의 작업 대기열과 Kubernetes runner를 연결하는 구조와 수명주기를 설명합니다. 일회성 등록과 저장 데이터 정리의 차이, Kubernetes mode 및 DinD의 제약과 운영 책임을 정리합니다.

Typesafe Jev의 Choice, Score와 Noul 응답을 에이전트의 정책 입력으로 연결하는 구조를 설명합니다. 판단 확률과 실행 권한의 차이, state 구성과 실제 호출의 지연 및 반복성 관측을 정리합니다.

Express compression이 중단된 응답의 zlib stream을 정리하지 않는 CVE-2026-87776을 분석합니다. RSS와 heap 구분, 잔존 handle 재현과 1.8.2의 close 패치를 설명합니다.

기존 워크로드의 실행 시간, 상태와 운영 제약에서 현대화 타깃을 고르는 방법을 설명합니다. SAP-C02의 strangler fig과 branch by abstraction, 컴퓨트 및 데이터 전환과 계층별 롤백 조건을 비교합니다.