끄적이는 보송

문제 발생 External ALB가 외부 Client의 요청을 Private Subnet에 위치한 Web/WAS 서버에 전달하는, 아주 단순한 구조의 웹서비스 운영에 문제가 있었던 적이 있었다. Client가 웹에 요청을 보내면 20초 넘도로 오래 걸린다는 점이었다. 정말 단순한 이유였지만 기록 차원에서 남겨본다. 문제 분석 Client가 웹에 접속하는데 너무 느리다. 여기에는 정말 다양한 이유가 있을 수 있다. 내가 했던 것들을 나열해 보았다. 1. Client 마다 증상이 달랐다. 누구는 빠르게 접속이 되고, 누구는 그렇지 않았다. Client를 탄다는 이야기인데 아주 이상한 부분이었다. 2. Web/WAS 인스턴스의 타입은 t타입이었다. 보통 운영환경에 t타입은 사용하지 않는다. t타입의 공지된 스..

얼마 전 Amazon ElastiCache의 서비스 업데이트 알람이 뜬 적이 있었다. Amazon ElastiCache는 새로운 업데이트(최신 보안 패치, 버그 fix, 기능 향상 등...)가 출시되면 자동으로 업데이트 알리는데 나의 경우, 보안 업데이트와 엔진 업데이트였다. Amazon ElastiCache 업데이트 시(혹은 수정) 걸리는 시간과 내부 동작 순서는? 전체 변경에 걸리는 시간은 각각 상이하겠지만 일반적으로 20분 내외로 진행되며, 리소스가 보유 중인 데이터의 양, 쿼리 사용량, 등에 따라서 전체 걸리는 시간은 더 길어질 수 있다. 실제 연결 끊김과 실패가 발생하는 시간은 1~2회의 수초 간의 시간이 발생할 수 있다. 하지만 Endpoint IP DNS 캐싱이 긴 경우 더 길어질 수 있다...

Amazon OpenSearch를 생성하는데 아래와 같은 오류 메시지를 반환했다. max_clause_count 값이 잘못되었다는 건데... indices.query.bool.max_clause_count is not a valid query count value. Please enter a integer value between 1 and 2147483647 (inclusive). 결론부터 말하자면 콘솔환경 기준으로 '고급 클러스터 설정 - 선택사항'을 클릭해 '최대 절 수' 값을 입력하면 된다.

Security Group을 생성하고 많은 양의 Rule을 반복적으로 입력하는 일은 콘솔 환경에서 꾀나 고통스러운 일이다. 실수는 덤이다. 그래서 Python 코드로 한번 짜봤다. 하나의 룰에 여러 Source를 입력할 수도, Security Group ID가 source 인 경우도, 포트 번호가 범위인 경우 등등을 고려해 보았다. import boto3 # EC2 Client ec2 = boto3.client('ec2', region_name='') # VPC Client vpc_id = '' # Create a new Security Group response = ec2.create_security_group( Description = 'security group description', GroupN..

모든 RDS의 FreeStorageSpace를 출력하는 방법을 찾다 쉘스크립트를 작성하게 돼, 여기에 남겨본다. 지금까지 확인해 본 결과 내 예상과는 달리 rds describe로 FreeStorageSpace를 출력할 수 없었다. 그래서 나의 경우, cloudwatch get-metric-statistics를 이용하였다. 모든 RDS의 FreeStorageSpace 불러오기 (byte 단위) #!/bin/bash #Get time STARTTIME="$(date -u -d '5 minutes ago' '+%Y-%m-%dT%T')" ENDTIME="$(date -u '+%Y-%m-%dT%T')" # Get a list of all RDS instances instances=$(aws rds describ..

문제 발생 Private Subnet에 위치한 Amazon Linux 2 EC2 Instnace가 패키지를 아래 에러 메시지를 뱉으며 다운로드하지 못하는 문제가 발생했었다. 외부로 핑은 나가는데 패키지 다운로드할 때 미러사이트를 찾지 못해 설치가 안된다는 것이다. Private EC2 Instance는 당연하게도 NAT GW를 통해 인터넷 통신을 하고 있는 환경이다. Could not retrieve mirrorlist http://repo.ap-northeast-2.amazonaws.com/.../mirror.list error was 이를 해결해 보려, VPC Outbound 설정에 막힌 것은 아닌지, Security Group, NACL, DHCP 옵션 셋, VPC 필요 옵션 활성화, Route T..

Cloud9 연결 문제 발생 Cloud9을 생성하는데 연결이 안 되는 이슈가 있었다. 분명 Created는 된 상태인데 이상하게 Connection이 이뤄지지 않고 있었다. Cloud9의 상태는 계속 'Connecting'에 머물러 있었다. 문제 원인 및 해결 This is taking longer than expected. The delay may be caused by high CPU usage in your environment, your T2 or T3 instance might be running out of burstable CPU capacity credits, or there are VPC configuration issues. Please check the VPC settings or t..

문제 발생 및 환경 Amazon FSx for Windows File Server 서비스를 AWS Backup 서비스로 주기적인 백업을 설정하였지만 FSx 백업에 실패한 케이스가 있었다. 그 원인을 찾아보니 백업 시간과 Maintenance Windows(유지보수) 시간이 겹쳐 발생한 것이었다. FSx 백업은 유지보수 작업 시작 4시간 전부터 시작할 수 없다고 한다. 이 부분은 FSx만 국한된 것이 아니면 다른 서비스에도 제약사항이 있다. 더 자세한 것은 아래 링크를 통해 확인할 수 있다. [+] https://docs.aws.amazon.com/aws-backup/latest/devguide/troubleshooting.html 해결 방안 이용자가 없을 때를 고려해 주말 새벽 시간에 백업과 유지보수 작..