Kubernetes Secret은 Kubernetes 클러스터 내에서 민감한 정보를 안전하게 저장하고 관리하기 위한 리소스 유형입니다. 하지만 Secret은 기본적으로 API 서버의 etcd에 암호화되지 않은 상태로 Base64 인코딩만으로 보호되기 때문에 클러스터 내부에서 쉽게 디코딩될 수 있다는 문제가 있습니다. Kubernetes Secret을...

2024년 8월 21일, Weasel 프로젝트를 성공적으로 마무리했습니다. GitHub: https://github.com/Team-S5T1 Weasel 프로젝트는 Bedrock Claude Sonnet 3.5 Model을 사용한 문제풀이 서비스로, Frontend 2명, Backend 2명, Infra 2명, 총 6명으로 진행하였고, 저는 인프라...

지금까지 로그 데이터를 수집하고 전송해주는 Fluent Bit, 수집된 로그를 기반으로 분석 및 검색을 수행하는 Elasticsearch를 구축했습니다. 이번 포스트에서는 Elasticsearch에 저장된 로그 데이터를 분석하는 데 유용한 강력한 시각화 및 분석 도구 Kibana를 구축하면서 EFK Stack 구축하기를 마무리하도록 하겠습니다. ...

저번 포스트에서 시스템에서 로그를 수집 후 전송해주는 도구인 Fluent Bit을 설치했습니다. 이번 포스트에서는 EFK Stack의 핵심인 분산형 검색 및 분석 엔진 입니다. Fluent Bit에서 수집된 로그는 Elasticsearch에 저장될 수 있으며, Elasticsearch는 다양한 유형의 데이터에 대해 거의 실시간 검색 및 분석을 제공합니...

로그 분석 기술에는 Splunk, DataDog, ELK, EFK 등의 기술들이 존재하지만, 가장 먼저 떠오르는 기술은 ELK(Elasticsearch, Logstash, Fluentd) 스택과 EFK(Elasticsearch, Fluent Bit, Kibana) 스택이 있습니다. 두 스택 모두 로그 데이터의 수집, 저장, 분석을 위한 도구입니다. ...

Karpenter란? 최근 Weasel 프로젝트를 진행하면서 Elastic Kubernetes Service(EKS)를 사용하게 되었고. Horizontal Pod Autoscaler(HPA)를 사용해 고가용성을 보완하려 노력했습니다. 하지만 HPA만 사용해서는 트래픽이 급증하고 Node의 리소스 사용량이 한계치에 다다르게 되면 더 이상 사용자에게 ...

Secrets Manager의 시크릿을 Amazon EKS의 Pod에 마운트된 파일로 표시하려면, Kubernetes Secrets Store CSI Driver와 함께 AWS Secrets and Configuration Provider(ASCP)를 사용해야 합니다. 해당 기능은 Parameter Store parameters도 사용할 수 있습니다....

CKA 자격증 취득을 완료했습니다!!! Weasel 새로운 프로젝트를 시작하면서 미뤄두었던 자격증 시험을 어제(2024-07-22) 봤습니다. 시험 등록 전에 Killer.sh 문제를 풀면서 문제의 난이도가 생각보다 높아서 20번 문제까지밖에 풀지 못했을 때, 조금 더 준비가 필요하겠다는 생각이 들었습니다. 하지만 떨어지면 각성하고 다시 준비하자는 ...

Photo Query 프로젝트 도중 EKS Pods가 S3, DynamoDB, Secret Manager 등의 서비스에 접근하지 못하는 문제를 직면했고, 부랴부랴 공식문서를 참고해서 해결했던 경험이 있습니다. 이번 Weasel 프로젝트에서도 동일하게 Pod 안의 Application이 Bedrock, Secret Manager에 대해 접근이 필요했습니...

2024년 07월 08일부터 Weasel 이라는 프로젝트를 시작했습니다. RDS를 띄우기 전, 개발 및 테스트 용도로 사용될 MySQL 서버가 필요했습니다. 해당 포스트에서는 Kubernetes 클러스터에 MySQL 서버를 구축하고 배포하는 과정에 대해 다뤄보겠습니다. 2024/08/28 - Mysql 같은 경우 클러스터링을 할 경우 여러 개의...