KompriseによるAzureネイティブQumuloスケーラブルファイルサービスへの移行

この記事では、Kompriseを使用してサードパーティのNASシステムからAzure Native Qumulo（ANQ）にファイルデータを移行するソリューションについて説明します。Kompriseは、異機種混在のNAS環境において、プラットフォームにとらわれない大規模なファイル移行サービスを提供します。

KompriseによるAzureネイティブQumuloスケーラブルファイルサービスへの移行

異なるストレージプラットフォームやファイルシステムアーキテクチャ間でのファイル移行は、複雑なプロセスになる可能性があります。この記事では、Kompriseを使用してサードパーティのNASシステムからAzure Native Qumulo（ANQ）にファイルデータを移行するソリューションについて説明します。Kompriseは、異機種混在のNAS環境において、プラットフォームにとらわれないファイル移行サービスを大規模に提供します。このソリューションは、混在するストレージプラットフォーム間でのファイルデータのシームレスな移行を容易にし、高性能なデータ移動、データ整合性の確保、レガシーNASからANQインスタンスへのデータ移行プロジェクトの成功を可能にします。

KompriseによるANQへの移行のメリット

建築

このソリューションは、設定可能なパフォーマンスオプション付きでAzure上に展開され、以下の図に示すように、Azure Native QumuloのエクサバイトスケールのファイルデータプラットフォームとKompriseを組み合わせています。

クリックこれをクリックして、ソリューションの高解像度Visio図をダウンロードしてください。

ソリューション・アーキテクチャ

このソリューションは、仮想ネットワーク・ゲートウェイを含む顧客リソースとともに、単一のAzureリージョン内のAzure顧客テナントにデプロイされる。
Kompriseは、動的なデータ分析、透過的なアーカイブ、およびホットデータやユーザーアクティビティへの中断のないアクセスを可能にする直接的なデータ移行機能で際立っています。KompriseのHyperTransferテクノロジーは、これらの機能をさらに強化し、大規模な移行やデータ管理タスクに不可欠な高速データ転送を実現します。
また、Kompriseは、ストレージプラットフォームと連携して、ソースストレージとターゲットストレージを継続的に比較し、適用すべき変更を探すだけでなく、データが保存され、移動時に適切に読み戻されたことを検証するハッシュメカニズムを含めることで、アクティブな移行中もデータの可用性と信頼性を維持します。
Kompriseの管理は、データ移行作業を指揮する管理コンソールであるKomprise Directorを介して行われます。この管理コンソールは、一元的なコントロールを提供し、ユーザが単一または複数のサイトを含む顧客のストレージ環境全体の管理、分析、移行、およびアクティビティの監視を行うことを可能にします。
Kompriseアーキテクチャの中核をなすのは、Kompriseオブザーバとプロキシです。これらはデータ移動エンジンであり、戦略的に配置することで、データ管理や移行作業において高いパフォーマンスを実現します。通常、オブザーバはレガシーストレージシステムに近接して配置され、高速なローカルアクセスを実現し、ローカルマイグレーションに貢献します。Azure ANQクラスタへの移行では、Komprise HyperTransferはAzureテナント内でホストされるプロキシを活用し、Azureのローカルでデータの書き込みと検証を処理します。このアーキテクチャにより、一般的なマイグレーションツールと比較して、WANを介した効率的なデータ転送が可能になり、待ち時間が大幅に短縮されます。注：データは、安全が確保され、顧客が直接管理するネットワークのみを通過します。
ANQインスタンスはQumuloのAzureテナントにデプロイされている。
ANQクラスタへのアクセスは、お客様のAzureテナント内の専用サブネットからVNetインジェクションにより有効化され、Qumuloテナント内のお客様のANQサービスに接続します。ANQ上のすべてのデータは、お客様の委任サブネット内のネットワークインターフェイス経由でのみアクセス可能です。注：Qumuloは、ANQサービスインスタンス上のデータには一切アクセスできません。
Kompriseスイートに統合されたHyperTransferテクノロジーは、データ移行プロセスの高速化に極めて重要です。ネットワーク利用を最適化して大規模なデータセットを迅速に転送し、データ移行や同期に要する時間を大幅に短縮します。ダウンタイムを最小限に抑え、クラウドのスケーラビリティと柔軟性を迅速に活用したい組織にとって、この効率性は極めて重要です。

ソリューションワークフロー

マイグレーション・プロジェクトは5つのステップで構成される：

ステップ1：データの分析

Kompriseは、Plan AnalysisとDeep Analyticsの機能により、すべてのストレージプラットフォームで非構造化データに対する迅速な洞察を提供します。プラン分析では、使用状況グラフと分析アクティビティページですぐに結果を要約し、お客様がデータを移動する前に知っておきたい重要なファイルシステムの問題を浮き彫りにします。ディープ・アナリティクスでは、カスタム・クエリ機能とグラフを使用してデータをより深く理解し、選択したデータ・セットや孤立したファイルなどを見つけることができます。

Kompriseツールの分析アクティビティページは、データを移行する前に、潜在的な問題を事前に特定するのに役立ちます。移行シーケンスを開始する前に、以下のような潜在的な問題に注意する必要があります：

ファイルとディレクトリの統計情報を把握し、アクセス制限や解決の問題を特定する。
パス名やファイル名が非常に長かったり、無効な文字が含まれていないか。
空のディレクトリが大量にある場合、非常に大量の小さなファイルを特定する。
業績が低迷する可能性のある株式を特定する
疎なファイルや、ディレクトリ間を横切る巡回シンボリックリンクがあるかどうかを前もって知ることができる。

ステップ2：ネットワークとストレージのパフォーマンスの評価

マイグレーションは、インフラが許す限りのスピードでしか進まない。ネットワークとストレージ・システムの性能を合わせて把握することが極めて重要です。ネットワークとストレージのパフォーマンスを個別に測定しても、ポート構成、ルーティング、ファイルシステムの過負荷など、隠れた限界が明らかにならない可能性がある。

移行は、顧客のネットワークに非定型で非常に重い作業負荷をかける可能性があります。Kompriseは、データを移行する前に、ネットワークとストレージのパフォーマンスを合わせて評価し、レガシーNASシステムとANQインスタンス間の接続性の問題を特定することの重要性を認識しています。

Kompriseの顧客環境アセスメント（ACE）ツールは、導入と実行が簡単です。このツールは、オンプレミスのソース・レガシーNAS共有とデスティネーションANQインスタンス間の一連のデータ移動シナリオをシミュレートします。一連の読み取り、書き込み、チェックサム操作を実行し、その結果得られる全体的なパフォーマンス数値を収集します。これらの結果から、潜在的なパフォーマンス・リスクや、ネットワーク・トポロジーの準備を確実にするために調査すべきインフラストラクチャのボトルネックが浮き彫りになります。

ステップ3：移行初期同期

移行プロセスは、まずKompriseが移行対象のデータセット全体の広範な分析を行い、レガシーNASシステムからANQターゲットへの最初のデータ移動を実行します。この最初の反復により、基礎となるベースラインが確立され、ユーザーのソースデータへのアクセスを中断させることなく、最初の実質的なデータ転送が行われます。KompriseはHyperTransfer技術を活用し、利用可能なオブザーバおよびプロキシのリソースと利用可能なネットワーク帯域幅に基づいて並列化を動的に調整することで、最適化された転送プロセスを保証します。

ステップ4：マイグレーションインクリメンタルな反復

このフェーズでは、Kompriseのインテリジェントなアルゴリズムが活躍し、前回の同期以降にソースデータに加えられた変更のみを追跡して転送します。このアプローチは、ネットワークの中断を最小限に抑えてターゲットストレージを更新し続けるために不可欠です。データ・アクティビティに対する理解を深め、より正確で効率的な同期プロセスを実現します。この繰り返しは、最終的なカットオーバーのための試運転と捉えてください。エラーの有無、総転送時間、移動したデータ量などを表示する完全なシステム・ファイル比較チェックにより、現在の状況を把握することができます。この情報は、最終的なカットオーバーのスケジュールと期間を計画するのに役立ちます。

ステップ5：マイグレーション最終反復（カットオーバー）

この重要なフェーズで移行が完了し、Kompriseは残りのデータをターゲットストレージに転送します。カットオーバーの時点でソースの正確な複製を確保するため、ソースNASへの書き込みアクセスは最後のファイルシステムチェックのために一時的に停止されます。このステップは、運用への影響を最小限に抑えるための徹底的な計画と調整の重要性を強調しています。

コムプライズの能力

以下は、Kompriseがすべての移行に含める項目です。

Komprise Cloud Directorは、Kompriseのデータ管理プロセスの展開と管理を監督します。この単一の管理インターフェースにより、お客様は組織全体にわたる複数の移行作業を管理できます。単一のコンソールから、移行を開始したり、移行開始時刻を遅らせたり、レガシーNASシステムとANQ間のスケジュールとデータの移動を示す明確なステータス追跡を確認したり、進捗状況を追跡したり、進捗レポートを収集したり、問題をレビューしたり、カットオーバーを計画したりすることができます。
Kompriseは、リソースをインテリジェントにプールして作業負荷全体を分散し、冗長性を提供することで、スループットと効率を向上させます。Kompriseは、既存のリソースを動的にスケールアップできるだけでなく、オブザーバやプロキシを追加してスケールアウトすることもできます。
Azure VPN GatewayまたはExpressRouteを通じて、オンプレミス環境とAzureベースのリソース間のお客様の接続性を使用し、インフライト暗号化によるセキュアなデータ転送をサポートします。KompriseのHyperTransferテクノロジーと組み合わせることで、セキュアな高速転送と効率的なデータ移動を実現します。
Kompriseは、レガシーNASシステムとANQインスタンスの両方でActive Directoryユーザーを使用して実行し、SMB共有のすべてのファイルへのフルアクセスを確保し、NTFSおよびACLパーミッションの転送を確実にする必要があります。
移行元のNASシステムにSMBとNFSの両方のデータが含まれている場合、NTFSとPOSIXのパーミッションを含むデータセットを移行できます。SMBとNFSの両方のデータを含むレガシーNASシステムを扱う場合、KompriseはNTFSとPOSIXのパーミッションを維持しながら移行を管理できます。
1つのデータセットがPOSIXパーミッションとACLパーミッションの両方を介して共有されるようなクロスプロトコルパーミッションでは、移行を成功させるために追加のステップが必要になることがある。最初の同期化では、NFSプロトコルのオーバーヘッドが低いため、NFSファーストのアプローチ（およびデータのPOSIXパーミッション構造の移行）が通常より迅速な方法である。その後、同じデータにNTFSパーミッションを適用するために、追加の移行タスクを作成することができます。
Kompriseは、レガシーNASシステムからANQへの移行元ディレクトリの選択を簡素化し、次のようなシステム固有のディレクトリをインテリジェントに除外します。 スナップショット または スナップショット クリーンな転送を確実にするために。
Kompriseは、移行プロセスを迅速化するために並列化を採用し、複数の同時データストリームを作成します。このプロセスは、利用可能な帯域幅を最大限に活用し、移行ウィンドウを最小化するように動的に調整するHyperTransferテクノロジーによって最適化されます。
Kompriseは、パフォーマンスを犠牲にすることなくデータを検証するために適切なハッシュアルゴリズムを利用し、移行プロセス全体を通じてデータの整合性を保証します。

コンポーネント

ソリューション・アーキテクチャは、以下のコンポーネントで構成されている：

AzureネイティブQumuloスケーラブルファイルサービスソリューションを使って作成されたすべてのコンテンツの統合データ・ストレージを提供するクラスタ
Kompriseクラウド・ディレクターローカルストレージからANQにデータを移行する。
- オブザーバー
- プロキシサーバ - Windows Server上で動作するKomprise Proxy Services（最小16コアCPU、32GBメモリ、10GbEネットワーク）で構成されます。
Azure ExpressRoute または Azure VPNゲートウェイ
Azure VNetインジェクション
Azure仮想ネットワーク
レガシーNAS（オンプレミスのDell EMC Isilon / PowerScaleなど）

考察

Kompriseを使用したAzure Native Qumulo Scalable File Serviceへのファイル移行は、計画および設計プロセスにおいて以下の点を考慮する必要があります。

想定される使用例

データ移行： クラウド・マイグレーションとは、アプリケーションやデータをオンプレミスのシステムからパブリック・クラウドに移行するプロセスである。しかし、市場にある従来のNASオプションでは、パブリッククラウド上での機能や拡張性に限界がありました。 ANQは、Azure上で強化された機能と拡張性を提供します。Kompriseは、データの整合性を確保しながら、ファイルデータのANQへの高性能な移行を促進します。
災害復旧： ANQをセカンダリDRサイトとして活用することで、企業はデータをクラウドに複製することができます。オンプレミスのプライマリサイトに影響を及ぼす災害が発生した場合、企業はANQ上のレプリケートされたデータに切り替えて、最小限の混乱で業務を継続することができます。Kompriseは、レガシーNASからレプリケートされるファイルを迅速に検出します。
階層化： Kompriseの階層化機能は、KompriseのTransparent Move Technology（TMT）を活用し、非アクティブデータやコールドデータをインテリジェントに分析してANQに移動することで、ファイルストレージを管理および最適化するシームレスなソリューションを提供します。このテクノロジーは、ユーザーアクセスを中断することなくデータを移動させ、ネイティブなファイルアクセスを維持し、ANQでの直接アクセスを可能にします。独自の価値は、ストレージとバックアップコストの削減、直感的なダッシュボードとAPI統合によるデータ管理の簡素化、クラウドへの柔軟でロックインのないパスの提供にあり、データの増加とクラウドストレージコストの効率的な管理を目指す顧客にとって非常に有用です。

スケーラビリティとパフォーマンス

QumuloとKompriseを使用してデータ移行ソリューションを計画する場合、エンタープライズアーキテクトやその他の関係者は、ソリューションに以下を含めるとよいでしょう：

容量と拡張性 - ANQはオンデマンドで簡単に拡張できるため、データを作成または移行するだけで、必要なだけの容量を追加できます。
Kompriseを使用すると、完全自動化、負荷分散、マクロレベルおよびミクロレベルのレポートを使用して、ファイル、フォルダ、およびACLデータをレガシーNASからANQに移行できます。マルチストリーミング、マルチスレッドのKomprise ObserversとProxy Serverにより、ツールのパワーを拡張できます。
スループット - ANQでは、オンデマンドで1GB/s単位でスループットを調整できるため、必要なスループットを常に確保できます。
Kompriseを使用すると、ソースストレージとターゲットストレージ間の転送速度は、エンドツーエンド接続のネットワーク速度に近づくことができます。パフォーマンスは、データの種類やレイアウトによって影響を受ける可能性があります。あるデータセット内に小さなファイルが大量にあったり、ディレクトリ数が多かったりすると、Proxyマシンの負荷が増大するため、全体のスループットが低下する可能性があります。また、データ転送を高速化するために、KompriseのHyperTransferテクノロジーを最大限に活用する必要があります。

セキュリティ

AzureネイティブQumuloスケーラブルファイルサービスは、VNetインジェクションを使用してお客様のAzure環境に接続します。お客様の環境とANQクラスタ間のIPスペースの調整は必要ありません。

設計と実装の際には、ソリューションのセキュリティが業界のベストプラクティス、企業の内部ポリシー、および適用される法的／規制上の要件に準拠していることを確認するために注意を払う必要がある。

ソリューションの他のすべての側面については、顧客は、その業界と所在地に適用されるすべての法的および規制要件を満たすように、ソリューションのセキュリティを計画、実装、維持する責任を負う。

コストの最適化

コストの最適化とは、ソリューションによって実際に発生したコストの価値を最大化する一方で、不必要な出費を最小限に抑えることを指す。詳しくはコスト最適化の柱の概要ページを参照されたい。

Azureの従量課金モデルでは、必要なときにリソースをスケーリングして容量を使用することで、コストを最適化できます。これにより、リソースを過剰にプロビジョニングすることなく、コストを効率的に管理できます。
Qumuloのコストは、Azure Native Qumulo Scalable File Service上のデータ量とパフォーマンス層によって異なります。詳しくは AzureネイティブQumuloスケーラブルファイルサービスの価格.
Kompriseのアーキテクチャは、スケーラビリティと並列化されたデータフローを提供するように設計されています。より多くのパワーとより高いパフォーマンスが必要な場合は、ニーズに合わせて別のオブザーバーまたはプロキシを追加し、そのVMのリソースコストのみを考慮すればよいのです。

空室状況

同じアプリケーションであっても、組織によって可用性と回復性の要件が異なることがあります。可用性という用語は、ソリューションが構築されたパフォーマンス・レベルでサービスを継続的に提供する能力を指す。

データとストレージの可用性

ANQの導入には、データレベルの冗長性が組み込まれており、基盤となるハードウェアの障害に対するデータの可用性を保証します。偶発的な削除、破損、マルウェア、その他のサイバー攻撃からデータを保護するために、ANQには、ファイルシステム内の任意のレベルでスナップショットを取得し、データのポイントインタイム、読み取り専用のコピーを作成する機能があります。

ANQは、セカンダリのQumuloストレージインスタンスへのデータのレプリケーションをサポートしており、Azure、他のクラウド、またはオンプレミスでホストすることができます。ANQはファイルベースのバックアップソリューションと互換性があり、外部データ保護を可能にします。

サービスの安定性と継続性

移行するデータの範囲と重要度によっては、段階的アプローチが適切な場合もあります。段階的アプローチでは、レガシー・ストレージの全コンテンツを一度に移行するのではなく、一度に1つのワークフローを移行し、より重要度の低い小規模なデータセットを使用してプロセスを開発・最終化してから、より重要度の高い大規模なデータに移行します。

この方法の利点は、移行作業で発生する可能性のある問題が、単一のワークフローまたはデータセットに限定されることである。