今日はなにの日。

気になったこと勉強になったことのメモ。

今日は、Amazon FSx for Windows のデータ重複排除についての日。

目次

とある日

AWS の勉強用の記録。

よく問題集とかで出る項目だけを調べてまとめるだけ。

Amazon FSx for Windows ファイルサーバー | クラウドファイルストレージ | アマゾン ウェブ サービス

Windows Server 上に構築された完全マネージド型のファイルストレージ

Amazon FSx for Windows ファイルサーバーは、業界標準のサーバーメッセージブロック (SMB) プロトコルを介してアクセスできる、信頼性が高くスケーラブルな完全マネージド型のファイルストレージを提供します。Windows Server 上に構築され、ユーザークォータ、エンドユーザーファイルの復元、Microsoft Active Directory (AD) 統合などの幅広い管理機能を提供します。シングル AZ とマルチ AZ 配置オプション、完全マネージド型のバックアップ、および保管中と転送中のデータ暗号化を提供します。SSD および HDD ストレージオプションを使用して、ワークロードのニーズに合わせてコストとパフォーマンスを最適化できます。また、ストレージを拡張し、ファイルシステムスループットパフォーマンスをいつでも変更できます。Amazon FSx ファイルストレージには、WindowsLinuxMacOS のコンピューティングインスタンスと、AWS またはオンプレミスで実行されているデバイスからアクセスできます。

What to Upload to SlideShare

データ重複排除-Windowsファイルサーバー用のAmazonFSx

大規模なデータセットには冗長なデータが含まれていることが多く、データストレージのコストが増加します。たとえば、ユーザーファイル共有を使用すると、複数のユーザーが同じファイルの多数のコピーまたはバージョンを保存できます。ソフトウェア開発の共有により、多くのバイナリはビルドごとに変更されません。

Q: データ重複排除とは何ですか?

多くの場合、大規模なデータセットには冗長データがあります。たとえば、ユーザーファイル共有では、複数のユーザーが類似または同一のファイルを持つ傾向があります。別の例として、ソフトウェア開発共有では、ほとんどのバイナリはビルドごとにほとんど変更されません。 データ重複排除とは、Windows Server の機能の一つで、ファイルの重複部分を一度だけ保存し、重複排除後にデータを圧縮することで、冗長データや非圧縮データに関連するコストを削減します。 詳しくは、Using Data Duplication のドキュメントをご覧ください。

データ重複排除節約率

  • 汎用ファイル共有で平均50〜60%
  • ユーザードキュメントの30〜50%
  • ソフトウェア開発データセットの70〜80%

データ重複排除で達成できるストレージの節約は、ファイル間でどれだけの重複が存在するかなど、データセットの性質によって異なります。一般的な節約は、汎用ファイル共有で平均50〜60パーセントです。共有内では、節約はユーザードキュメントの30〜50%からソフトウェア開発データセットの70〜80%の範囲です。Measure-FSxDedupFileMetadata以下で説明するコマンドを使用して、重複排除の潜在的な節約を測定でき ます。

データ重複排除の有効化

Enable-FSxDedup次のコマンドを使用して、Amazon FSx forWindowsファイルサーバーのファイル共有でデータ重複排除を有効にします。

PS C:\Users\Admin> Invoke-Command -ComputerName amznfsxzzzzzzzz.corp.example.com -ConfigurationName FSxRemoteAdmin -ScriptBlock {Enable-FsxDedup }

データ重複排除を有効にすると、デフォルトのデータ重複排除スケジュールが設定されます。スケジュールは協定世界時UTC)を使用します。また、最適化するまでの最小ファイル経過日数は3日に設定されています。重複排除後のデータ圧縮もデフォルトで有効になっています。

FSxの機能かと思ったけど、Windows自体の機能みたいですね。