評価に関するこの4部構成のシリーズ エンタープライズデータストレージソリューション、現在利用可能なストレージオプションの概要を示し、それらのソリューションを比較し、企業が保存するデータの種類に基づいて理想的なストレージソリューションを選択するのに役立ちます。 さらに、このシリーズは、スケールアウトネットワーク接続ストレージ（NAS）ソリューションがビジネスに最適なパスであるかどうかを判断するのに役立ちます。ハイパフォーマンスコンピューティング（HPC）を必要とする企業がデータライフサイクル内で遭遇する具体的な実例とその方法について説明します。彼らはデータを生の状態から有用な状態に変換しました。
エンタープライズデータ管理はどの程度効率的ですか？
エンタープライズITアーキテクチャを維持することは、常に修理工場にある古い車を所有するようなものです。増分コストが加算され、消費されたリソースを新しいモデルに投資して、より良い収益を得ることができます。 同様に、非効率的でコストがかかり、管理が難しいモノリシックな独自のハードウェア上に構築されたストレージテクノロジーに制約されているITシステム管理者の場合、追いつくだけでなく、データ変換イニシアチブのサポートにも苦労する可能性があります。
スケーラブルなエンタープライズデータストレージソリューションを探しているときは、選択したストレージがネイティブ形式のデータとアプリケーションを処理するように設計されているかどうかを理解することが重要です。 これについては、以下で詳しく説明し、HPCワークフローを評価する際の主な考慮事項の概要を示します。 とにかく、これは、現在および将来の企業のニーズに最適なソリューションを選択する際の意思決定に役立ちます。
ハイパフォーマンスコンピューティングワークフローを評価する
ほとんどのデータはファイルに由来し、ネイティブアプリケーションまたはマウントされたファイルシステムから直接作成およびアクセスされます。 このファイルデータをネイティブに操作するということは、それを介してアクセスすることを意味します 業界標準プロトコル ネットワークファイルシステム（NFS）、サーバーメッセージブロック（SMB）、またはダイレクトファイルシステムパス（ブロック）など。
ネイティブ形式で保存されたデータは非構造化データと見なされます。つまり、事前定義されたデータモデルまたはスキーマがなく、従来のリレーショナルデータベースに保存することはできません（これについては後で詳しく説明します）。 この種の非組織化データは、列と行を使用して一連のテーブルに単純に格納することはできないため、企業は従来、構造化されていないデータを意味のある方法で管理、分析、活用するという根本的な課題に苦労してきました。貴重な洞察を抽出するために必要な時間のかかるデータ分析プロセス。
ガートナーのアナリストは、 非構造化データは驚異的な80〜90％を表します すべての新しいエンタープライズデータの。 これは意外に聞こえるかもしれませんが、実際には、エンタープライズデータは、ここ数十年の間、主に非構造化データで構成されています。 実際、1998年に メリルリンチは主張した、「非構造化データは、組織で見つかったデータの大部分を占めており、一部の推定値は80％にも達します。」 リンチは本質的に、 世界的なデータ作成の量 年々成長を続けているため、このデータを有意義な方法で効果的に活用できる、拡張性の高いエンタープライズデータ管理ソリューションにとってより重要になります。
この「非構造化データの爆発」は、ビデオカメラ、記録デバイス、衛星、センサー、ゲノムデータ、航空画像、およびその他のIoT接続テクノロジーから生成されており、洞察の潜在的な金鉱を表しています。
データをネイティブ形式で活用していますか？
成功している企業は、ローカルにマウントされたファイルシステム（NFSエクスポートとSMB共有を作成することでアクセス可能）とネイティブに統合されたデータサービスを活用して、ネイティブ形式のファイルデータを使用してハイパフォーマンスコンピューティング（HPC）ワークフローとアプリケーションを保存、管理、構築しています。クラウドオブジェクトストア（ アマゾンS3 & Microsoft Azure）—そしてそのデータを価値に変換します。 これらのイノベーターは、あらゆる形式のデータを採用および管理して、新しいビジネスモデル、医療、消費者向け製品、ビジネスインテリジェンスツール、およびデジタルメディアを作成しています。
非構造化データを追跡および管理できますか？
レガシーストレージとクラウドネイティブアプリケーションを活用する多くのHPC企業にとって、非構造化データをファイルからオブジェクトに処理、管理、および変換するタスクは大きな課題です。 ほとんどのテクノロジーはこの問題を解決するために構築されていません。つまり、企業はアーキテクチャを再構築するか、アプリケーションをリファクタリングするか、サードパーティのデータ移動パッケージを使用してデータから価値を生み出す必要があります。多くの場合、これにより、このデータの可視性がほとんどない膨大なデータサイロが発生します。 。 さらに、組織は、特定のアプリケーションまたはエンドユーザーに対してサポートまたは適切でない可能性がある特定のプロトコルのみに制限されることがよくあります。 世界中の多くの大手企業にとって困難な結果は、この貴重なデータが決して使用されず、非効率的にアクセスされ、しばしば十分に理解されていないことです。
2019 NewVantagePartnersで ビッグデータとAIエグゼクティブ調査は、64人の経営幹部レベルのテクノロジーと非常に大企業を代表する経営幹部で構成されており、調査回答者の53％が「データをビジネス資産としてまだ扱っていない」と回答しています。 これらの驚くべき結果は、回答者の92％が、ビッグデータと人工知能（AI）への投資のペースが加速していると報告しているにもかかわらずもたらされています。
特定のエンタープライズデータストレージのニーズを評価する
非構造化データを使用してHPC環境で大規模なデータセットを有効にする必要がある企業は、データを処理および提供する機能を持つことがビジネスの一部であることを意味します。 そのためには、最適なエンタープライズデータストレージソリューションを検討する際に、データを処理し、潜在的に高密度で高性能なワークフローを提供するために必要な容量、パフォーマンス、データ整合性、およびスケールアウト要件を満たしているかどうかを評価することが重要です。
HPCワークフローに最適なエンタープライズデータストレージソリューションを評価する
最適なエンタープライズデータストレージソリューションは、ワークフローでHPCリソースを活用するために必要なインフラストラクチャを提供する必要があります。 によると フォーブス調査、企業の95％以上が非構造化データを管理するための何らかのニーズに直面しており、150兆ギガバイトを超えるデータを2025年までに分析する必要があります。つまり、ファイルストレージがこれまで以上に重要になっています。
効率的な非構造化データ管理
非構造化データが毎日作成されるすべての新しいデータのほとんどを表すことを考えると、HPC企業がこのデータをより効率的に統合、処理、活用できるほど、成果はより成功する可能性があります。 したがって、このタイプのデータをネイティブに処理するために理想的なエンタープライズデータストレージソリューションが設計されているのは当然のことです。
オブジェクトストレージとファイルストレージ
現代のクラウド時代では、オブジェクトストレージは多くの企業にとって最重要事項である傾向がありますが、ほとんどのデータはファイルとして作成および消費されます。 オブジェクトストレージ は、ファイルシステムのようなストレージアーキテクチャではなく、データをオブジェクトとして管理するアーキテクチャです。 ファイルストレージ は、データをファイル階層として保存および管理するための形式またはプログラムであり、ファイルはディレクトリ構造（通常は階層ツリー構造として表示されます）で識別できます。
ファイルシステムは、コンピュータと人間が意味的に興味深いデータのグループを操作できるようにする階層の基本的な抽象化を提供します。 確かに、エンタープライズデータストレージのユーザーは、ストレージの大きなバケットがXNUMXつあることを高く評価しています。 ただし、オブジェクトストレージシステムには、予期しない次世代の問題が多数あります。 たとえば、オブジェクトストレージはパフォーマンスが劣ります。
ガイドを入手する： エンタープライズデータストレージプレイブックをダウンロードする
非構造化データ管理のニーズを評価する
ペタバイト規模のデータを処理するには、分析する必要のあるデータの種類に基づいた適切なエンタープライズデータストレージソリューションが必要です。 たとえば、クラウドとオンプレミスに存在する非構造化データを処理および分析するには、リアルタイムの分析と洞察を提供しながら、ハイブリッドストレージインフラストラクチャの需要を満たすことができるファイルデータプラットフォームが必要になります。 エンタープライズデータストレージの種類を評価する場合、現在および将来の企業のニーズに最適なソリューションを選択することがこれまで以上に重要になります。
HPCワークフローを最新のエンタープライズストレージソリューションに合わせる
レガシーファイルストレージシステム
レガシーファイルストレージシステム データの目的のブロックの保存と取得を担当するハードウェアの抽象化レベルとしてのブロックデバイスに基づいています。 ただし、ファイルシステムのブロックサイズは、物理ブロックサイズの倍数にすることができます。 これは不足につながります スケーラビリティとスペースの非効率性 ファイルの長さはブロックサイズの整数倍ではないことが多いため、内部の断片化が原因です。 したがって、ファイルの最後のブロックは部分的に空のままにすることができます。 これにより、ストレージスペースが非効率的に使用される断片化が発生し、容量とパフォーマンスが低下します。
レガシーオブジェクトストレージシステム
一部の企業は採用しようとしています レガシーオブジェクトストレージシステム 非構造化データの規模と地理分布の課題に対するソリューションとして。 ただし、意図されていなかったユースケースでオブジェクトストレージを採用することは、技術的な適合性が不十分です。 これを実現するために、オブジェクトは、トランザクションの一貫性、ファイルの変更、きめ細かいアクセス制御、NFSやSMBなどの標準プロトコルの使用など、多くのユーザーが必要とし、期待する機能を意図的にトレードオフします。 オブジェクトストレージは、データの整理の問題もそのまま残します。 代わりに、ある種の外部データベースでデータ自体にインデックスを付けるようにユーザーに促します。 これは、スタンドアロンアプリケーションのストレージニーズには十分かもしれませんが、アプリケーション間、および人間とそれらのアプリケーション間のコラボレーションを複雑にします。
驚くべき量の貴重なビジネスロジックが、エンタープライズファイルシステムのディレクトリ構造にエンコードされています。 したがって、大規模なファイルストレージの必要性は依然として魅力的です。
最新のHPCワークフロー
最新のHPCワークフロー ほとんどの場合、独立して開発されたアプリケーションが含まれますが、ファイルベースのデータを交換することで連携します。これは、オブジェクトストレージでは不可能な相互運用シナリオです。 さらに、オブジェクトストアは、ガバナンスのためのファイルシステムの利点を提供しません。
最新のファイルストレージシステム
最新のファイルストレージシステム など Qumuloコア、と呼ばれる技術を通じてこの問題を解決しようと努めた スケーラブルなブロックストア （SBS）。 Qumuloファイルシステムは、仮想化されたブロックレイヤーであるSBS上に構築されています。これは、大規模にスケーラブルな分散データベースの原則を使用し、ファイルベースのデータの特殊なニーズに合わせて最適化されています。
ブロックストレージの観点からは、SBSはQumuloファイルシステムのブロックレイヤーであり、データを保存するための基盤となるメカニズムであり、ファイルシステムに提供されます。 大規模なスケーラビリティ、最適化されたパフォーマンス、および データ保護. 保護、再構築、どのディスクがどのデータを保持するかを決定するなどの時間のかかる作業は、ファイルシステムの下のSBSレイヤーで発生します。 このようにして、非構造化データファイルを階層型ファイルシステムタイプのレイアウトに抽出できます。これは、ファイルシステムアーキテクチャとブロックストアアーキテクチャの両方の長所を組み合わせたものです。
SBSの仮想化された保護ブロック機能は、Qumuloファイルシステムにとって大きな利点です。 Qumuloファイルシステムはブロックベースの保護を使用しているため、小さなファイルは大きなファイルと同じくらい効率的です。 その結果、比類のないスケール特性を持つファイルシステムが実現します。 対照的に、レガシーストレージアプライアンスは、小さなファイルやシステムメタデータに非効率的なミラーリングを使用する今日の大規模なデータフットプリントを処理するように設計されていませんでした。
スケールアウトネットワーク接続ストレージ（NAS）は、エンタープライズデータストレージ管理（EDM）の未来ですか？
従来のスケールアップおよびスケールアウトファイルシステムは、オンプレミスおよびクラウド内のストレージを大規模に管理するという新たな要件を満たすことができません。 20年前にそれらを設計したエンジニアは、現代のワークロードを特徴付けるファイルとディレクトリの数、および混合ファイルサイズを予期していませんでした。 また、クラウドコンピューティングを予測することもできませんでした。
非構造化データの台頭
企業は、規制、分析、および意思決定のために非構造化データストレージ管理（EDM）にますます依存しています。 非構造化データは、分析、機械学習、ビジネスインテリジェンスのバックボーンです。
エンタープライズデータ管理（EDM）にはスケーラビリティが必要
有効にする必要がある企業 大 非構造化データを使用するHPC環境のデータセットは、データを処理および提供する機能を持つことがビジネスの一部であることを意味します。 このため、エンタープライズITシステムとストレージ管理者は、このタイプのデータをネイティブに処理するために設計されたソリューションを求めています。 このための理想的なストレージソリューションは、データを処理し、潜在的に高密度で高性能なワークフローを提供するために必要な容量、パフォーマンス、データの整合性、およびスケールアウトの要件を満たします。
スケールアウトNASを備えたスケーラブルなエンタープライズデータストレージソリューション
Qumuloは、ファイルストレージの危機が転換点に達し始めていたため、2012年に設立されました。 ストレージのパイオニアのグループ、 スケールアウトNASの発明者、力を合わせて、これらの新しい要件に正面から取り組む別の種類のストレージ会社を設立しました。 彼らの仕事の結果、そして彼らが集まったチームは、データセンター、プライベートクラウド、パブリッククラウドにまたがる世界初のエンタープライズで実証済みのハイブリッドクラウドファイルストレージシステムを開発したQumuloです。 従来のストレージソリューションよりも数十億のファイルに拡張でき、コストも低く、総所有コスト（TCO）も低くなります。 リアルタイム分析により、管理者はサイズや場所に関係なく、データに簡単にアクセスして管理できます。 Qumuloの継続的なレプリケーションにより、データは必要なときに必要な場所に移動できます。 たとえば、オンプレミスとクラウドで実行されているクラスター間、または異なるクラウドインスタンスで実行されているクラスター間。
適切なエンタープライズデータストレージソリューションの選択
エンタープライズデータストレージソリューションを評価し、それらのソリューションを比較する方法のこの簡単な概要により、エンタープライズが保存するデータのタイプに基づいて理想的なデータストレージソリューションを選択する方法をよりよく理解できるはずです。 詳細については、このシリーズのパート2を参照してください。このシリーズでは、さまざまなデータストレージタイプのより完全な比較を提供しています。 ブロックストレージvsオブジェクトストレージvsファイルストレージ.
この記事は、4部構成のシリーズの最初の記事にすぎません。 企業がエンタープライズデータストレージソリューションを評価する際にファイルデータを検討する必要がある理由—そして、これらの重要な考慮事項の表面をかじっただけです。 詳しく知ることができ、 新しいエンタープライズプレイブックをダウンロードする 非構造化データの急増を管理するのに役立つ適切なデータストレージソリューションの選択に関する最も包括的なガイドをご覧ください。
乞うご期待！
このシリーズのパート3とパート4に注目してください。ここでは、レガシーファイルストレージシステムと最新のファイルストレージシステムを評価および比較してから、 Qumuloスケーラブルブロックストア（SBS）は、大規模なスケーラビリティ、最適化されたパフォーマンス、およびデータ保護を提供する最先端のファイルストレージシステムで、エンタープライズデータストレージ業界に革命をもたらしました。
