끄적이는 보송

Amazon S3 Glacier는 콜드 스토리지처럼 저렴하게 장기간 스토리지를 보관할 수 있는 서비스이다. 자주 액세스 하지 않으며 싸게 싸게 오랫동안 보관할꺼라면 이점이 있는 서비스다. 이번에 S3 Glacier Deep Archive의 객체 복원을 다룰일이 생겨 S3 Glacier Deep Archive 기준으로 관련하여 정리할 겸 글을 써볼까 한다. 우선 복원하기 전에 S3 객체를 Glacier에 넣는 것부터 시작한다. Glacier Deep Archive로 객체 Storage Class 변경하기 S3 객체 스토리지 Class를 Glacier Deep Archive로 변경하는 것은 어렵지 않다. S3 콘솔 환경에서 객체를 선택하고 Storage Class를 'Glacier Deep Archive'를..

이전에 Amazon FSx for Windows File Server 서비스 접근 오류 관련하여 아래 포스팅을 다룬 적이 있었다. 이번 글은 거기에 더하여 또 다른 원인을 추가하려 한다. (https://bosungtea9416.tistory.com/entry/fsx-%EC%98%A4%EB%A5%98) [AWS] Remote PowerShell Session 연결 오류 "WinRM cannot process the request..." 및 해결 원격 PowerShell 세션에 연결해야 하는 일이 있었는데 이 부분에 막혔던 오류가 있어 오늘은 이것을 기록해보려 한다. Remote PowerShell Session 연결하기 연결은 PowerShell을 실행하고 아래 명령어 중 원하 bosungtea9416...

이전에 FSx 마운트 관련해서 짧을 글을 다뤘었다. 이번에는 다른 이슈가 있어 추가로 글을 남긴다. 아쉽게도 문제 원인은 파악하지 못했고, 누구나가 다 알고 있는 다른 대처(?) 방법을 기록해보려 한다. 이전에 net use 명령어를 통해 FSx 마운트 하는 방법에 대해서 다뤄보았다. https://bosungtea9416.tistory.com/entry/fsx-attach-%EC%98%A4%EB%A5%98 [AWS] FSx attach 오류 "The specified network password is not correct." 및 해결 Amazon FSx for Windows File Server을 생성할 일이 최근에 있었다. 생성한 FSx를 윈도우 서버에 붙이는 일은 어렵지 않다. FSx 콘솔 화면 ..

원격 PowerShell 세션에 연결해야 하는 일이 있었는데 이 부분에 막혔던 오류가 있어 오늘은 이것을 기록해보려 한다. Remote PowerShell Session 연결하기 연결은 PowerShell을 실행하고 아래 명령어 중 원하는 것을 선택하여 입력하면 된다. 명령어 먹히는 건 둘 다 동일하다. enter-pssession -ComputerName FSxFileSystem-Remote-PowerShell-Endpoint -ConfigurationName FsxRemoteAdmin $cred = Get-Credential '' $params = @{ ComputerName = '' Credential = $cred ConfigurationName = 'FSxRemoteAdmin' SessionOp..

S3의 특정 경로에 있는 객체의 byte 단위로 정확한 Total size를 계산할 일이 있었다. 콘솔 환경에서 'Calculate total size'를 찾아 클릭하면 되겠지만 문제는 아래처럼 대략적인 total size만 출력이 된다는 것이다. --recursive --summarize 옵션을 이용하기 이 문제는 summarize 옵션을 이용한 아래의 AWS CLI 명령어로 해결할 수 있다. 아래 명령어로 최종적으로 S3에 있는 객체의 개수와 byte 단위의 크기를 확인할 수 있다. (아마도 콘손 상에 보였던 S3 버킷의 total size는 --human-readable 옵션 값을 출력하여 보여준 게 아닌가 싶다) aws s3 ls "" --recursive --summarize 명령어를 수행하면 ..

Amazon FSx for Windows File Server을 생성할 일이 최근에 있었다. 생성한 FSx를 윈도우 서버에 붙이는 일은 어렵지 않다. FSx 콘솔 화면 우측 상단의 'Attach'를 클릭하면 잘 설명되어 있다. 콘솔 화면에서 가이드 해준대로 아래의 net use 명령어를 사용하면 된다. net use Z: \\\share 위 명령어를 이어 'user name'과 'password'를 입력해주면 FSx에 마운트 할 수 있게 된다. 하지만 분명 계정 ID/PW 전부 맞는 것을 확인했고 아무리 시도를 해보아도 network password is not correct라는 오류를 반환했다. 네트워크적인 이슈라면 계정의 오류보단 네트워크 관련 오류 메시지를 뱉어냈을 텐데 이상했다. 문제 해결 알고 ..

데이터 중복 제거란 (Data Deduplication) Amazon FSx for Windows File Server(이하 FSx)에 데이터 중복제거(Data Deduplication)이라는 기능이 제공된다. 데이터 중복제거란 혹은 줄여서 Dedup은(이하 중복제거) 데이터의 중복되는 복사본을 제거하고(고유하게 만들어) 스토리지 용량을 크게 줄일 수 있는 기능이라고 한다. FSx에서 제공되는 기능이지만 AWS의 기능이 아닌 Microsoft 사의 기능이라고 한다. 데이터 중복 제거 작동 방식 우선 데이터 중복 제거는 아래와 같은 순서로 동작한다. 1. Data Deduplication chunking algorithm이 중복 제거 대상이 되는 파일 시스템 파악 2. 파일을 청크(Chunk) 단위로 쪼개..

여러 파일을 CLI 명령어로 S3에 한 번에 옮기려 했으나, 내 예상과는 달리 "*"(아스타리스크)가 먹히지 않아 당황스러웠었다 (ex. s3 cp ). S3 CLI 명령어에는 파일과 폴더를 재귀적으로 처리하는 옵션이 있으며, "--recursive", "--exclude", "--include" 옵션을 활용해 여러 객체에 명령어를 수행할 수 있다. 이참에 S3 CLI 명령어로 여러 객체에 수행할 수 있는 것을 정리해볼까 한다. 예를 한번 들어보면서 시작해 보겠다. S3 버킷에 있는 모든 객체 로컬로 다운로드 aws s3 cp s3:/// ./ --recursive S3 버킷에 있는 모든 객체를 로컬 시스템의 현재 경로로 복사를 하겠다는 명령어다. 만약 해당 버킷에 폴더가 있다면, 복사 대상의 경로에도 ..