끄적이는 보송

데이터 중복 제거란 (Data Deduplication) Amazon FSx for Windows File Server(이하 FSx)에 데이터 중복제거(Data Deduplication)이라는 기능이 제공된다. 데이터 중복제거란 혹은 줄여서 Dedup은(이하 중복제거) 데이터의 중복되는 복사본을 제거하고(고유하게 만들어) 스토리지 용량을 크게 줄일 수 있는 기능이라고 한다. FSx에서 제공되는 기능이지만 AWS의 기능이 아닌 Microsoft 사의 기능이라고 한다. 데이터 중복 제거 작동 방식 우선 데이터 중복 제거는 아래와 같은 순서로 동작한다. 1. Data Deduplication chunking algorithm이 중복 제거 대상이 되는 파일 시스템 파악 2. 파일을 청크(Chunk) 단위로 쪼개..

여러 파일을 CLI 명령어로 S3에 한 번에 옮기려 했으나, 내 예상과는 달리 "*"(아스타리스크)가 먹히지 않아 당황스러웠었다 (ex. s3 cp ). S3 CLI 명령어에는 파일과 폴더를 재귀적으로 처리하는 옵션이 있으며, "--recursive", "--exclude", "--include" 옵션을 활용해 여러 객체에 명령어를 수행할 수 있다. 이참에 S3 CLI 명령어로 여러 객체에 수행할 수 있는 것을 정리해볼까 한다. 예를 한번 들어보면서 시작해 보겠다. S3 버킷에 있는 모든 객체 로컬로 다운로드 aws s3 cp s3:/// ./ --recursive S3 버킷에 있는 모든 객체를 로컬 시스템의 현재 경로로 복사를 하겠다는 명령어다. 만약 해당 버킷에 폴더가 있다면, 복사 대상의 경로에도 ..

오늘은 깊게 분석할 것 없이 아래의 간단한 실습을 해볼 생각이다. 1. CloudTrail 생성 및 로그가 S3에 쌓이도록 구성 2. S3에 쌓인 로그 파일을 Athena로 분석하기 굳이 CloudTrail 로그를 S3에 올리는 이유는 CloudTrail의 최대 로그 보존 기간이 90일이기 때문이다. 그 이전의 데이터는 유지하지 않기에 간혹 과거의 데이터를 조회하지 못해 난감한 경우가 있었다. (누가 어떤 작업을 했는지, CreateInstance 로그 등등) 또한 로그 파일이 쌓이다 보면 일일이 수많은 파일을 열어 확인해야 하는 번거로움이 있는데 이를 Athena를 활용해 쿼리를 날려 내가 원하는 데이터를 추릴 수 있다. 오늘은 이 실습을 해보려 한다. 1. CloudTrail 생성 및 로그가 S3에 ..

Instance Metadata (IMDS) 란 Instance Metadata란 실행 중인 인스턴스를 구성하거나 관리하는데 사용되는 인스턴스에 대한 데이터를 의미한다. 당연하게 EC2를 생성하고 생각 없이 사용해 왔지만 사실 EC2는 그저 가상화한 하드웨어의 조각일 뿐, 자신이 EC2인지 클라우드에 올라간 서버인지 모른다. EC2를 생성하게 되면 해당 EC2는 자동으로 Metadata와 연결되어 정보를 얻고, 서비스를 제공한다고 생각하면 된다. EC2 생성 시, 디폴트로 생성하면 Metadata는 '선택'에 놓여있으며, 별도의 수정이 아니라면 해당 EC는 IMDS v1, v2를 모두 사용하게 된다. 아래 이미지는 EC2 생성 시, '고급 세부 정부'에서 확인할 수 있다. Metadata와 Userdat..

오늘은 AWS Lambda를 이용해 S3에 파일 업로드 시, 이벤트 코드를 Slack에 보내는 것을 한번 해보려 한다. 본 실습 내용을 대략 정리하자면 Slack Integration의 Webhooks 코드를 AWS Lambda 코드에 적용할 것이고, 그리고 그 코드는 S3 버킷에 오브젝트 업로드라는 이벤트 발생 시, 실행하도록 구현할 것이다. Slack 작업 먼저 해야 할 것은 Slakc Application 생성이다. 하단의 링크 접속 전에 먼저 로그인하고 Lambda 테스트를 위한 슬랙 방과 채널을 미리 파두자. https://api.slack.com/apps Slack API: Applications | Slack Your Apps Don't see an app you're looking for?..

AWS Lambda의 파이썬 request 모듈은 기본적으로 제공되지 않는다고 한다. 이를 해결하려면 Lambda Layer에 해당 모듈이 있는 라이브러리를 추가해줘야 한다. request 모듈 이외에 디폴트로 지원하지 않는 라이브러리가 있다면 별도로 Layer에 추가해줘야 하는 듯하다. 모듈 Downlaod 우선 Request 모듈 추가를 위해, 관련 모듈을 다운로드한다. 다운로드를 하였으면 zip 파일로 압축해준다. #download request module pip install requests -t python #compress it powershell Compress-Archive python requests.zip 제대로 다운로드하여 압축까지 된 것을 확인했다. 이것을 Lambda Layer에..

마이크로 서비스를 개발하면, 각각의 용도로 여러 컨테이너가 필요하며, 그 개수는 상황에 따라 빠르게 늘어날 수 있다. 컨테이너 개수가 늘어나면서 리소스 등 관리 포인트가 늘어나는데 이것을 자동화해주는 것이 컨테이너 오케스트레이션 툴이라고 한다. 툴 중엔 가장 유명한 쿠버네티스(k8s)가 있고, Docker Swarm, Nomad, Mesos 등이 있으며 AWS에는 ECS (Elastic Container Service)라는 서비스가 있다. ECR (Elastic Container Registry) ECR은 컨테이너를 위한 프라이빗 도커 레포지토리이며, ECR를 사용하면 AWS 컨테이너 서비스와 호환성 측면에서 이점이 있다. 클러스터를 ECR과 쉽게 연결할 수 있으며, 새로운 버전의 이미지가 올라오면 자동..

아무리 보안을 생각해 클라우드 환경을 구축했어도, IAM 계정 키 파일이 유출되면 말짱 도루묵이다. 계정마다 권한을 나누어 부여하면 되지 않겠는가라고 생각할 수 있지만 여전히 유출된 계정의 권한은 외부인에게 노출되는 것이니 안전하지 않다. 생각보다 키파일 관리가 허술하여 사건사고가 많이 터진다. (키 파일을 깃헙에 올린다던지, 외부 유출되어 고 그래픽 사양의 EC2를 마구 생성해 채굴을 한다던지...) 그래서 찾은 게 이것이다. https://docs.aws.amazon.com/IAM/latest/UserGuide/reference_policies_examples_aws_deny-ip.html AWS: Denies access to AWS based on the source IP - AWS Identit..