지금까지 로그 데이터를 수집하고 전송해주는 Fluent Bit, 수집된 로그를 기반으로 분석 및 검색을 수행하는 Elasticsearch를 구축했습니다. 이번 포스트에서는 Elasticsearch에 저장된 로그 데이터를 분석하는 데 유용한 강력한 시각화 및 분석 도구 Kibana를 구축하면서 EFK Stack 구축하기를 마무리하도록 하겠습니다. ...

저번 포스트에서 시스템에서 로그를 수집 후 전송해주는 도구인 Fluent Bit을 설치했습니다. 이번 포스트에서는 EFK Stack의 핵심인 분산형 검색 및 분석 엔진 입니다. Fluent Bit에서 수집된 로그는 Elasticsearch에 저장될 수 있으며, Elasticsearch는 다양한 유형의 데이터에 대해 거의 실시간 검색 및 분석을 제공합니...

로그 분석 기술에는 Splunk, DataDog, ELK, EFK 등의 기술들이 존재하지만, 가장 먼저 떠오르는 기술은 ELK(Elasticsearch, Logstash, Fluentd) 스택과 EFK(Elasticsearch, Fluent Bit, Kibana) 스택이 있습니다. 두 스택 모두 로그 데이터의 수집, 저장, 분석을 위한 도구입니다. ...

Karpenter란? 최근 Weasel 프로젝트를 진행하면서 Elastic Kubernetes Service(EKS)를 사용하게 되었고. Horizontal Pod Autoscaler(HPA)를 사용해 고가용성을 보완하려 노력했습니다. 하지만 HPA만 사용해서는 트래픽이 급증하고 Node의 리소스 사용량이 한계치에 다다르게 되면 더 이상 사용자에게 ...

Secrets Manager의 시크릿을 Amazon EKS의 Pod에 마운트된 파일로 표시하려면, Kubernetes Secrets Store CSI Driver와 함께 AWS Secrets and Configuration Provider(ASCP)를 사용해야 합니다. 해당 기능은 Parameter Store parameters도 사용할 수 있습니다....

CKA 자격증 취득을 완료했습니다!!! Weasel 새로운 프로젝트를 시작하면서 미뤄두었던 자격증 시험을 어제(2024-07-22) 봤습니다. 시험 등록 전에 Killer.sh 문제를 풀면서 문제의 난이도가 생각보다 높아서 20번 문제까지밖에 풀지 못했을 때, 조금 더 준비가 필요하겠다는 생각이 들었습니다. 하지만 떨어지면 각성하고 다시 준비하자는 ...

Photo Query 프로젝트 도중 EKS Pods가 S3, DynamoDB, Secret Manager 등의 서비스에 접근하지 못하는 문제를 직면했고, 부랴부랴 공식문서를 참고해서 해결했던 경험이 있습니다. 이번 Weasel 프로젝트에서도 동일하게 Pod 안의 Application이 Bedrock, Secret Manager에 대해 접근이 필요했습니...

2024년 07월 08일부터 Weasel 이라는 프로젝트를 시작했습니다. RDS를 띄우기 전, 개발 및 테스트 용도로 사용될 MySQL 서버가 필요했습니다. 해당 포스트에서는 Kubernetes 클러스터에 MySQL 서버를 구축하고 배포하는 과정에 대해 다뤄보겠습니다. 2024/08/28 - Mysql 같은 경우 클러스터링을 할 경우 여러 개의...

7월 4일 열린 AWS Public Sector Day Seoul 2024에서 Generative AI Unicorn Party GameDay에 참가하였습니다. 준비 과정 Generative AI 라는 주제에 맞게 생성형 AI를 사용할 것이라 생각했고, 사전 공지된 자료를 확인해보니 다음과 같은 단서를 구할 수 있었습니다. 관련 서비스 ...

저번 포스트에서 Ansible의 기본 개념, 사용 방법에 대해 다뤘습니다. 이번 시간에는 Ansible과 Kubeadm을 사용해 Kubernetes 클러스터를 구축하는 과정을 다루겠습니다. 전체 코드 - https://github.com/KKamJi98/Ansible-Kubernetes WSL => Ubuntu 24.04(LTS), RA...