[AWS] S3의 정확한 Total size 계산하기

S3의 특정 경로에 있는 객체의 byte 단위로 정확한 Total size를 계산할 일이 있었다. 콘솔 환경에서 'Calculate total size'를 찾아 클릭하면 되겠지만 문제는 아래처럼 대략적인 total size만 출력이 된다는 것이다. 

 

 

--recursive --summarize 옵션을 이용하기

이 문제는 summarize 옵션을 이용한 아래의 AWS CLI 명령어로 해결할 수 있다. 아래 명령어로 최종적으로 S3에 있는 객체의 개수와 byte 단위의 크기를 확인할 수 있다. (아마도 콘손 상에 보였던 S3 버킷의 total size는 --human-readable 옵션 값을 출력하여 보여준 게 아닌가 싶다)

aws s3 ls "<s3_url>" --recursive --summarize

명령어를 수행하면 아래 이미지처럼 S3의 객체를 출력하면서 total size와 객체 개수를 출력한다. 참고로 S3 경로에 한글이 포함되면 큰따옴표를 활용하자.

 

 

--recursive --summarize | tail -2 옵션을 이용하기

내가 필요한 것은 정확한 storage size 하나뿐이다. 위 예제처럼 모든 객체를 쏟아낼 필요도 없다. 그렇다면 tail -2 명령어를 추가하여 객체 수와 total size만 출력할 수도 있다. 내 개인적인 느낌인지 모르겠지만 이 편이 명령어도 더 빠르게 수행되었다.

aws s3 ls "<s3_url>" --recursive --summarize | tail -2