Ctrl + Shift + ESC

서론요즘은 모니터링을 도입할 때 Prometheus를 거의 기본 선택지처럼 고려하는 경우가 많다. 다만 Prometheus는 생각보다 설정과 운영이 복잡한 편이고, AWS CloudWatch 같은 AWS 네이티브 서비스와의 장단점을 함께 비교해보는 과정이 필요하다고 느꼈다.이 지점에서 금방 분명해진 점이 하나 있었다. 메트릭 수집과 로그 수집은 비슷해 보이지만, 실제 운영 방식은 꽤 다르다는 것이다. 정확히 말하면 Prometheus는 메트릭 수집에 강점이 있는 도구이고, 애플리케이션 로그를 다루려면 별도의 로그 수집기와 저장소가 함께 필요하다. 결국 로그까지 직접 운영하려면 Prometheus만으로는 부족했고, Promtail이나 Grafana Loki 같은 컴포넌트를 추가로 구성해 로그를 수집하고 저..

Amazon CloudFront 기초Amazon CloudFront는 개발자 친화적 환경에서 짧은 지연 시간과 빠른 전송 속도로 데이터, 동영상, 애플리케이션 및 API를 전 세계 고객에게 안전하게 전송하는 고속 콘텐츠 전송 네트워크(CDN) 서비스이다. 웹페이지, 이미지, 동영상 등의 컨텐츠를 본래 서버에서 받아와 캐싱한 후 해당 컨텐츠에 대한 요청이 들어오면 캐싱해둔 컨텐츠를 제공한다.컨텐츠를 제공하는 서버와 실제 요청 지점간의 지리적 거리가 매우 먼 경우, 요청 지점 근처의 CDN을 통해 빠르게 컨텐츠를 제공할 수 있다.엣지 로케이션에서 데이터를 캐싱하기 때문에 원본이 변해도 캐싱이 만료되지 않는다면 유저가 보는 내용은 변하지 않는다. 정적 컨텐츠(이미지, 글 등 서버에 저장된 파일이 모든 사용자에..

* 해당 포스트는 실무 초밀착 리눅스: 클라우드 환경 운영부터 성능분석까지 강의를 듣고 정리한 것입니다.실습 개요 여러 CLI와 GUI를 겪어본 결과, 터미널 환경에서 명령어로 모든 것을 연결하는 환경은 생각보다 어렵다.VSCode나 IntelliJ 같은 텍스트 에디터 환경에서는 편리한 확장 프로그램도 많고, 무엇보다 디버깅이 편리해진다.Linux 환경에서 gdb로 디버깅한 경험과, VSCode에서 디버깅을 해본 경험이 있는 사람이라면 공감할 수 있을 것이다.EC2에서도 편리한 작업을 위해 VSCode에서 SSH(22)로 연결하는 방법을 알아보자. 클라우드 환경 구성VPC 생성 다음과 같은 옵션으로 VPC를 생성한다. 주요 옵션은 다음과 같다.Number of AZ : 사용 가능한 가용 영역 개수이다. ..

이전 글https://ctrl-shit-esc.tistory.com/198 Redis 500 No route to host 에러 - 1편최근 스노로즈 서버의 프리 티어가 만료되어 새로운 AWS 계정으로 이전하는 작업을 진행했다.그런데 그 뒤로 자꾸 로그인 시 500 에러가 발생했다.ERROR o.a.c.c.C.[.[.[.[dispatcherServlet] - Servlet.service() foctrl-shit-esc.tistory.com해당 글의 3번 방법으로 아예 연결되지 않던 문제는 해결했으나, 일부 시점마다 Redis에서 500 에러가 발생했다. 임시 조치로 ps -ef | grep javakill . /home/ubuntu/app/scripts/start.sh 를 통해 재부팅을 실행했다. 문제 ..

최근 스노로즈 서버의 프리 티어가 만료되어 새로운 AWS 계정으로 이전하는 작업을 진행했다.그런데 그 뒤로 자꾸 로그인 시 500 에러가 발생했다.ERROR o.a.c.c.C.[.[.[.[dispatcherServlet] - Servlet.service() for servlet [dispatcherServlet] in context with path [] threw exception [Request processing failed: org.springframework.data.redis.RedisConnectionFailureException: Unable to connect to Redis] with root causejava.net.NoRouteToHostException: No route to ho..

Containers OverviewProblem서비스와 라이브러리 간의 호환성 및 OS에 대한 종속성을 확인해야 함. 구성 요소를 최신 버전으로 업그레이드하거나 데이터베이스를 변경하는 등의 작업을 할 때마다 다양한 구성 요소와 기본 인프라 간의 호환성을 확인하는 동일할 프로세스를 거쳐야 했음새로운 개발자가 합류할 때마다 새로운 환경을 설정해야 함개발, 테스트, 프로덕션 환경의 설정이 다름→ 호환성 문제를 해결하고 다른 구성 요소에 영향을 주지 않으면서 이러한 구성 요소를 수정하거나 변경할 수 있고 필요에 따라 기본 운영 체제도 수정할 수 있는 방법→ DockerDocker각 구성 요소를 별도의 컨테이너에서 자체 종속성과 자체 라이브러리를 사용하여 모두 동일한 VM과 OS에서 실행할 수 있으며, 별도의 환..

1. 오픈스택의 탄생클라우드 컴퓨팅의 대표 오픈소스 플랫폼인 오픈스택은 NASA의 연구 프로젝트에서 그 뿌리를 찾을 수 있다.2008년, NASA 에임스 연구소는 웹사이트 통합과 표준화를 위해 NASA.net이라는 내부 프로젝트를 시작했다. 이 프로젝트는 점차 방대한 양의 데이터를 효율적으로 저장하고 분석하기 위한 Nebula 프로젝트로 확장되었고, 클라우드 컴퓨팅의 필요성이 대두되기 시작한다. 비슷한 시기, 전 세계에서 두 번째로 큰 퍼블릭 클라우드 기업인 Rackspace는 자체 개발한 컴퓨팅 및 스토리지 기술을 오픈소스로 개방하고자 했다. 이들은 NASA의 Nebula 프로젝트에 주목하며, NASA는 컴퓨팅 자원 기술을, Rackspace는 스토리지 기술을 제공하며 협업을 시작한다. 그 결과 201..

고가용성 및 스케일링성확장성: 애플리케이션 시스템이 조정을 통해 더 많은 양을 처리할 수 있다는 의미수직 확장성: 인스턴스의 크기를 확장하는 것하위 인스턴스의 유형을 업그레이드해 수직적으로 확장일반적으로 확장할 수 있는 정도에는 (하드웨어 제한) 한계가 있음스케일 업 / 스케일 다운수평 확장성(탄력성): 인스턴스나 시스템의 수를 늘리는 것수평 확장을 했다 = 분배 시스템이 있다스케일 인 / 스케일 아웃고가용성: 애플리케이션 또는 시스템을 적어도 둘 이상의 AZ나 데이터 센터에서 가동 중데이터 센터에서의 손실에서 생존이 목표다중 AZ가 활성화된 자동 스케일러 그룹이나 로드 밸런서Elastic Load Balancing (ELB) 개요로드 밸런서: 트래픽을 백엔드나 다운스트림 EC2 인스턴스 또는 서버들로 ..

1. 모니터링의 필요성서비스가 성장하거나 사용자가 몰리는 이벤트가 있을 때, 시스템은 얼마나 버틸 수 있을까? 이 질문에 대한 답을 얻기 위해 부하 테스트(Load Testing) 는 필수다. 하지만 부하만 주는 것으로는 부족하다. 어디에서 병목이 발생하고, 어떤 리소스가 부족한지 파악하기 위해선 정확한 모니터링(Monitoring) 이 함께 이루어져야 한다.2. 부하 테스트에서 주로 사용하는 모니터링 지표 (Metrics)아래는 부하 테스트 시 모니터링하는 주요 지표들이다.지표명설명응답 시간 (Response Time)요청을 보낸 시점부터 응답을 받을 때까지 걸리는 시간처리량 (Throughput)초당 처리된 요청 수 (RPS 또는 TPS)TPS (Transactions Per Second)초당 완료된..

부하 테스트의 정의부하 테스트(Load Testing)는 시스템이 특정 수준의 부하(트래픽, 요청, 데이터 처리 등)를 받을 때 성능이 어떻게 변화하는지를 평가하는 테스트 방법이다.쉽게 말해, 사용자가 몰릴 때 서버가 얼마나 잘 버티는지를 확인하는 과정이라고 할 수 있다.예를 들어, 온라인 쇼핑몰에서 연말 세일을 시작할 때 갑자기 수천 명의 사용자가 동시에 접속하면, 서버가 이를 감당할 수 있을까? 페이지 로딩 속도가 느려지거나, 결제가 원활하게 이루어지지 않는 문제는 없을까?이런 문제를 사전에 발견하고 해결하기 위해 부하 테스트를 수행한다.성능 테스트와의 차이점 부하 테스트는 성능 테스트의 한 종류다. 하지만 성능 테스트에는 여러 가지 유형이 있으며, 각 유형마다 목적이 조금씩 다르다.부하 테스트 : ..

https://ctrl-shit-esc.tistory.com/187 EC2는 S3에 어떻게 접근할 수 있을까?사건의 발단최근 AWS 비용을 줄이기 위해 아키텍처 구조에 대한 대대적인 점검에 들어갔다.그러던 중, 엔드포인트 점검을 하던 중 이상한 것을 발견했다. 저 ssm-endpoint, ec2messages-endpoint, ssmmessages-ctrl-shit-esc.tistory.com 위 글에 이어서 백엔드 코드에서 S3를 호출하는 여러 가지 방법에 대해 다뤄 보려고 한다.그 전에...코드 분석을 하기 전에 EC2에 부여된 S3 권한부터 살펴보았다. 우리 EC2에는저장소 접근을 위한 ElastiCache, S3 서비스에 대한 Full AccessSession Manager 사용은 위한 SSM~~..

EC2 기초Elastic Compute Cloud, AWS가 제공하는 IaaSEC2에서 임대한 가상 머신을 EC2 Instance라고 부름EC2 선택 옵션운영 체제: Windows, Mac, LinuxCPU 개수RAM 개수저장 공간 - 네트워크(EBS, EFS) / 하드웨어(EC2 Instance Store)네트워크 종류 - 네트워크 카드 속도, 공용 IP방화벽 - 보안 그룹User Data를 사용해 인스턴스를 bootstrap(머신이 작동될 때 명령을 시작하는 것) 가능→ 부팅 작업을 자동화EC2 인스턴스 유형https://aws.amazon.com/ko/ec2/instance-types/EC2 인스턴스 생성SSH로 인스턴스에 접근하기 위해서는 .pem 형식의 키 페어를 생성해야 함User data 부..