끄적이는 보송

디스크 사이즈는 나날이 커져가고 있으며 그만큼 더 많은 데이터를 저장할 수 있게 되었다. 하지만 결국엔 더 큰 디스크를 사용하더라도 같은 디스크에 잠재적으로 용량을 최대화할 수 있는 기회를 모색하는 것이 좋을 것이다. 그렇게 해서 나온 두 가지 방안이 "압축"과 "중복제거"이다. AWS에서는 Amazon FSx for Windows File Server라는 서비스에서 이 "중복제거"라는 것을 이용할 수 있다. 참고로 "중복제거는 AWS의 기능이 아닌 Microsoft 사의 기능이다. AWS에서 Microsoft의 기능을 이용했다고 이해할 수 있는데, 그렇다고 M사의 중복제거 기능을 오롯이 전부 쓸 수 있는 것은 아니다. 자세한 건 밑에서 다루겠다. 중복 제거란 Data Deduplicaiton이 무엇인지..

데이터 중복 제거란 (Data Deduplication) Amazon FSx for Windows File Server(이하 FSx)에 데이터 중복제거(Data Deduplication)이라는 기능이 제공된다. 데이터 중복제거란 혹은 줄여서 Dedup은(이하 중복제거) 데이터의 중복되는 복사본을 제거하고(고유하게 만들어) 스토리지 용량을 크게 줄일 수 있는 기능이라고 한다. FSx에서 제공되는 기능이지만 AWS의 기능이 아닌 Microsoft 사의 기능이라고 한다. 데이터 중복 제거 작동 방식 우선 데이터 중복 제거는 아래와 같은 순서로 동작한다. 1. Data Deduplication chunking algorithm이 중복 제거 대상이 되는 파일 시스템 파악 2. 파일을 청크(Chunk) 단위로 쪼개..