고정된 기본 가중치와 작은 보정 행렬로 학습할 파라미터를 줄이는 LoRA의 원리, 파라미터 계산, 병합 및 QLoRA와 RAG의 차이를 설명합니다.

봇 트래픽은 사람의 트래픽과 모양이 다릅니다. 사람의 요청은 하루 주기를 따라 완만하게 오르내리지만, 봇은 몇 분 만에 요청을 평소의 몇 배로 올렸다가 내려놓는 경우가 흔합니다. 또 봇은 캐시에 잘 걸리지 않는 페이지와 로그인, 검색처럼 비싼 엔드포인트를 반복해서 두드리므로, 같은 요청 수라도 오리진이 치르는 비용은 사람 트래픽보다 큽니다. 이런 트...

HomeLab Kubernetes의 GitHub Self-hosted Runner에서 웹 저장소의 테스트 job은 매번 Rust base image 338MB를 Docker Hub에서 받았습니다. 한 번 받는 데 38.8초와 50.0초가 걸렸습니다. Rust 저장소는 job마다 1.65GB짜리 CI 이미지를 직접 빌드했고, 그 이미지를 GHCR에 미리...

Databricks 화면에서 SELECT * FROM main.sales.orders LIMIT 10을 실행하면 몇 초 뒤 결과가 나옵니다. 인프라를 맡은 사람에게는 이 몇 초 사이에 일어난 일이 궁금합니다. 쿼리는 어느 계정의 서버에서 실행됐는지, 누가 이 테이블을 읽어도 된다고 판단했는지, S3의 Parquet 파일은 어떤 IAM role로 읽었는...

개인 저장소 두 곳의 GitHub Actions job이 시작되지 않았습니다. Hosted runner는 계정 결제 한도에 걸려 있었고, workflow는 대기열에서 움직이지 않았습니다. 저는 HomeLab Kubernetes에 Actions Runner Controller(ARC)를 설치해 GitHub Self-hosted Runner를 만들고 두 ...

GitHub Actions의 테스트와 빌드를 HomeLab에서 실행하려면 어디까지 직접 운영해야 할까요? Workflow 파일을 HomeLab으로 옮기는 것은 아닙니다. GitHub는 계속 작업을 접수하고 결과를 보여 주며, 실제 명령을 실행할 runner만 직접 운영하는 환경에 둡니다. Kubernetes에서 이 runner를 필요할 때 만들고 정리...

에이전트가 kubectl delete namespace production을 제안했다고 가정합니다. JSON schema가 유효하더라도 실제로 실행해도 되는지는 알 수 없습니다. 30초 예시 State: production namespace 삭제 요청 Jev: review_required, irreversible.noul 0.78 Policy:...

Node.js 프로세스의 RSS가 며칠에 걸쳐 계속 올라가는데 heap snapshot을 떠 보면 heapUsed는 몇 MB 수준에서 평평한 경우가 있습니다. 스냅샷 두 장을 비교해도 늘어난 객체가 보이지 않습니다. 이런 경우 원인은 V8 heap 안이 아니라 밖에 있습니다. 제가 자체 운영하는 self-hosted n8n에서 메모리가 회수되지 않는...

온프레미스 야간 배치가 70분 동안 24GiB 메모리를 사용한다면 Lambda로 옮기는 것이 모더나이제이션처럼 보이지 않을 수 있습니다. 반대로 하루에 몇 번만 실행되는 짧은 작업을 EC2에 계속 올려 두면 운영 부담이 그대로 남습니다. 모더나이제이션의 첫 질문은 어떤 AWS 서비스가 유행하는지가 아니라, 기존 워크로드가 가진 제약이 무엇인지입니다. ...

온프레미스 NAS에 쌓인 600 TB를 S3로 옮기는 계획서를 받았다고 해보겠습니다. 인터넷 회선은 1 Gbps이고, 업무 시간 트래픽 때문에 마이그레이션에 실제로 할당할 수 있는 몫은 40%입니다. 기한은 8주입니다. 계획서에는 “1 Gbps면 하루 약 10 TB이므로 60일이면 끝난다”라고 적혀 있고, 여유가 없으니 Snowball Edge를 몇 ...