Fluent Bit가 보낸 log를 Elasticsearch에 저장했다면 Kibana는 이를 검색하고 시각화하며 운영자가 분석하는 UI가 됩니다. 이 글은 Elastic Cloud on Kubernetes(ECK)로 Kibana를 Elasticsearch에 연결하고, ECK가 기본으로 제공하는 TLS와 credential을 안전하게 다루는 방법을 정리...

저번 포스트에서 시스템에서 로그를 수집 후 전송해주는 도구인 Fluent Bit을 설치했습니다. EFK Stack의 핵심인 분산형 검색 및 분석 엔진 입니다. Fluent Bit에서 수집된 로그는 Elasticsearch에 저장될 수 있으며, Elasticsearch는 다양한 유형의 데이터에 대해 거의 실시간 검색 및 분석을 제공합니다. 해당 포스트...

로그 분석 기술에는 Splunk, DataDog, ELK, EFK 등의 기술들이 존재하지만, 가장 먼저 떠오르는 기술은 ELK(Elasticsearch, Logstash, Fluentd) 스택과 EFK(Elasticsearch, Fluent Bit, Kibana) 스택이 있습니다. 두 스택 모두 로그 데이터의 수집, 저장, 분석을 위한 도구입니다. ...

1. Karpenter란? 최근 Weasel 프로젝트에서 Elastic Kubernetes Service(EKS)를 사용하면서 Horizontal Pod Autoscaler(HPA)로 고가용성을 보완했습니다. 하지만 HPA만으로는 트래픽이 급증해 Node의 리소스 사용량이 한계치에 다다르면 사용자에게 서비스를 원활하게 제공할 수 없습니다. Wease...

Secrets Manager의 시크릿을 Amazon EKS의 Pod에 마운트된 파일로 표시하려면, Kubernetes Secrets Store CSI Driver와 함께 AWS Secrets and Configuration Provider(ASCP)를 사용해야 합니다. 해당 기능은 Parameter Store parameters도 사용할 수 있습니다....

CKA 자격증 취득을 완료했습니다!!! Weasel 새로운 프로젝트를 시작하면서 미뤄두었던 자격증 시험을 어제(2024-07-22) 봤습니다. 시험 등록 전에 Killer.sh 문제를 풀면서 문제의 난이도가 생각보다 높아서 20번 문제까지밖에 풀지 못했을 때, 조금 더 준비가 필요하겠다는 생각이 들었습니다. 하지만 떨어지면 각성하고 다시 준비하자는 ...

Photo Query 프로젝트 도중 EKS Pods가 S3, DynamoDB, Secret Manager 등의 서비스에 접근하지 못하는 문제를 직면했고, 부랴부랴 공식문서를 참고해서 해결했던 경험이 있습니다. 이번 Weasel 프로젝트에서도 동일하게 Pod 안의 Application이 Bedrock, Secret Manager에 대해 접근이 필요했습니...

2024년 07월 08일부터 Weasel 이라는 프로젝트를 시작했습니다. RDS를 띄우기 전, 개발 및 테스트 용도로 사용될 MySQL 서버가 필요했습니다. 해당 포스트에서는 Kubernetes Cluster에 MySQL 서버를 구축하고 배포하는 과정에 대해 다룹니다. 2024/08/28 - MySQL 같은 경우 클러스터링을 할 경우 여러 개의...

7월 4일 열린 AWS Public Sector Day Seoul 2024에서 Generative AI Unicorn Party GameDay에 참가하였습니다. TL;DR AWS Public Sector Day Seoul 2024의 Generative AI Unicorn Party GameDay 참가 후기입니다. 사전 공지된...

저번 포스트에서 Ansible의 기본 개념, 사용 방법에 대해 다뤘습니다. 이번 시간에는 Ansible과 Kubeadm을 사용해 Kubernetes Cluster를 구축하는 과정을 다루겠습니다. 전체 코드 - https://github.com/KKamJi98/Ansible-Kubernetes WSL => Ubuntu 24.04(LTS),...