끄적이는 보송

오늘은 깊게 분석할 것 없이 아래의 간단한 실습을 해볼 생각이다. 1. CloudTrail 생성 및 로그가 S3에 쌓이도록 구성 2. S3에 쌓인 로그 파일을 Athena로 분석하기 굳이 CloudTrail 로그를 S3에 올리는 이유는 CloudTrail의 최대 로그 보존 기간이 90일이기 때문이다. 그 이전의 데이터는 유지하지 않기에 간혹 과거의 데이터를 조회하지 못해 난감한 경우가 있었다. (누가 어떤 작업을 했는지, CreateInstance 로그 등등) 또한 로그 파일이 쌓이다 보면 일일이 수많은 파일을 열어 확인해야 하는 번거로움이 있는데 이를 Athena를 활용해 쿼리를 날려 내가 원하는 데이터를 추릴 수 있다. 오늘은 이 실습을 해보려 한다. 1. CloudTrail 생성 및 로그가 S3에 ..

AWS의 어떤 서비스는 이름 앞에 'Amazon'이 붙는가 하면, 어떤 서비스는 'AWS'가 붙는다. 별생각 없이 이용해 왔지만 도대체 무슨 차이가 있길래 이름이 다른 걸까? AWS를 다룬다면 한 번쯤 의미는 알아둬도 좋을 것 같다. AWS와 Amazon의 이름 차이 'Amazon' 은 단독으로 실행 가능한 서비스에 붙는 이름이고, 'AWS' 는 다른 서비스의 유틸리티 서비스로 쓰이는, 즉 혼자서는 쓸 수 없는 서비스에 붙는 이름이다. 그러하다.

Instance Metadata (IMDS) 란 Instance Metadata란 실행 중인 인스턴스를 구성하거나 관리하는데 사용되는 인스턴스에 대한 데이터를 의미한다. 당연하게 EC2를 생성하고 생각 없이 사용해 왔지만 사실 EC2는 그저 가상화한 하드웨어의 조각일 뿐, 자신이 EC2인지 클라우드에 올라간 서버인지 모른다. EC2를 생성하게 되면 해당 EC2는 자동으로 Metadata와 연결되어 정보를 얻고, 서비스를 제공한다고 생각하면 된다. EC2 생성 시, 디폴트로 생성하면 Metadata는 '선택'에 놓여있으며, 별도의 수정이 아니라면 해당 EC는 IMDS v1, v2를 모두 사용하게 된다. 아래 이미지는 EC2 생성 시, '고급 세부 정부'에서 확인할 수 있다. Metadata와 Userdat..

오늘은 AWS Lambda를 이용해 S3에 파일 업로드 시, 이벤트 코드를 Slack에 보내는 것을 한번 해보려 한다. 본 실습 내용을 대략 정리하자면 Slack Integration의 Webhooks 코드를 AWS Lambda 코드에 적용할 것이고, 그리고 그 코드는 S3 버킷에 오브젝트 업로드라는 이벤트 발생 시, 실행하도록 구현할 것이다. Slack 작업 먼저 해야 할 것은 Slakc Application 생성이다. 하단의 링크 접속 전에 먼저 로그인하고 Lambda 테스트를 위한 슬랙 방과 채널을 미리 파두자. https://api.slack.com/apps Slack API: Applications | Slack Your Apps Don't see an app you're looking for?..

AWS Lambda의 파이썬 request 모듈은 기본적으로 제공되지 않는다고 한다. 이를 해결하려면 Lambda Layer에 해당 모듈이 있는 라이브러리를 추가해줘야 한다. request 모듈 이외에 디폴트로 지원하지 않는 라이브러리가 있다면 별도로 Layer에 추가해줘야 하는 듯하다. 모듈 Downlaod 우선 Request 모듈 추가를 위해, 관련 모듈을 다운로드한다. 다운로드를 하였으면 zip 파일로 압축해준다. #download request module pip install requests -t python #compress it powershell Compress-Archive python requests.zip 제대로 다운로드하여 압축까지 된 것을 확인했다. 이것을 Lambda Layer에..

마이크로 서비스를 개발하면, 각각의 용도로 여러 컨테이너가 필요하며, 그 개수는 상황에 따라 빠르게 늘어날 수 있다. 컨테이너 개수가 늘어나면서 리소스 등 관리 포인트가 늘어나는데 이것을 자동화해주는 것이 컨테이너 오케스트레이션 툴이라고 한다. 툴 중엔 가장 유명한 쿠버네티스(k8s)가 있고, Docker Swarm, Nomad, Mesos 등이 있으며 AWS에는 ECS (Elastic Container Service)라는 서비스가 있다. ECR (Elastic Container Registry) ECR은 컨테이너를 위한 프라이빗 도커 레포지토리이며, ECR를 사용하면 AWS 컨테이너 서비스와 호환성 측면에서 이점이 있다. 클러스터를 ECR과 쉽게 연결할 수 있으며, 새로운 버전의 이미지가 올라오면 자동..

아무리 보안을 생각해 클라우드 환경을 구축했어도, IAM 계정 키 파일이 유출되면 말짱 도루묵이다. 계정마다 권한을 나누어 부여하면 되지 않겠는가라고 생각할 수 있지만 여전히 유출된 계정의 권한은 외부인에게 노출되는 것이니 안전하지 않다. 생각보다 키파일 관리가 허술하여 사건사고가 많이 터진다. (키 파일을 깃헙에 올린다던지, 외부 유출되어 고 그래픽 사양의 EC2를 마구 생성해 채굴을 한다던지...) 그래서 찾은 게 이것이다. https://docs.aws.amazon.com/IAM/latest/UserGuide/reference_policies_examples_aws_deny-ip.html AWS: Denies access to AWS based on the source IP - AWS Identit..

자주 접하는 Storage 서비스지만 평소 감(?)과 대충으로만 알 뿐이었다. 이들이 정확히 어떤 녀석들이고 어떤 차이가 있는지 정리해본다. 이들에 대해서 논하기 전에 먼저 Block Level Storage와 Object Storage를 짚고 넘어가야 한다. Block Level Storage의 개념 먼저 우리들 컴퓨터에 1GB짜리 파일이 저장되어 있다고 가정하자. 그 파일은 컴퓨터 하드디스크의 몇몇 블록에 할당되어 있을 것이다. 그리고 파티셔닝에 따라 다르겠지만 여기선 각 블록을 512KB라고 가정하겠다. 그렇다면 1GB짜리 파일은 2000블록을 차지하고 있는 셈이 되겠다. 그리고 그 2000블록을 예제로 그린 것이 밑의 그림이 되겠다. (비록 25칸짜리 그림이지만 2000블록으로 상상하자) 우리는 ..