Google が 3 つの新しいクラウド ストレージ オプションを開始: Cloud Storage FUSE、Parallelstore、NetApp Volumes

InfoQ ホームページ ニュース Google、3 つの新しいクラウド ストレージ オプションを発表: Cloud Storage FUSE、Parallelstore、NetApp Volumes

2023 年 8 月 29 日 2 分で読む

による

スティーフ・ヤン・ウィガーズ

Google は最近、3 つの新しいクラウド ストレージ オプションを開始しました。ファイル システム セマンティクスを必要とする人工知能 (AI) アプリケーション用の Cloud Storage FUSE、GPU を使用する要求の厳しい AI および HPC アプリケーション用の並列ファイル システム Parallelstore、クラウドで実行されるエンタープライズ アプリケーション用の NetApp Volumes 。

Cloud Storage FUSE はオープンソース バージョンとしてすでに利用可能であり、Cloud Storage バケット内のオブジェクトにローカル ファイル システムとしてマウントされたファイルとしてアクセスできるようになりました。 同社は、AI ワークロードをターゲットとした新しいレベルの移植性、信頼性、パフォーマンス、統合によってそれを強化しました。 Google のブログ投稿の中で、著者である Google のプロダクト マネージャーの Marco Abela 氏とシニア プロダクト マネージャーの Akshay Ram 氏は次のように説明しています。

新しい Cloud Storage FUSE は、AI ワークロードにとって特に重要です。 アプリケーションは (ローカルにダウンロードするのではなく) データに直接アクセスできるため、カスタム ロジックを実装する必要がなく、データのコピー中に TPU や GPU などの貴重なリソースのアイドル時間が短縮されます。 さらに、Google Kubernetes Engine (GKE) 用の新しい Cloud Storage FUSE CSI ドライバーにより、アプリケーションは使い慣れた Kubernetes API を使用して Cloud Storage をマウントできるようになり、GKE によって管理されるターンキー デプロイメントとして提供されます。

Cloud Storage FUSE の概要 (出典: Google ブログ投稿)

クラウド エバンジェリストの JW Davis は、GKE での FUSE ファイル システムの可用性についてツイートで次のようにコメントしました。

これは多くの災害を引き起こす運命にあるようです。 非常に狭い範囲のユースケースに役立ちます。 ほとんどの人はそれを悪用して苦しみます。

AI アプリケーション向けの Cloud Storage FUSE に加えて、同社は Parallelstore と呼ばれる並列ファイル システムのプライベート プレビューを発表しました。これは、ユーザーが貴重な GPU リソースの無駄を防ぐと同時に、高パフォーマンスのストレージ I/O を提供することでユーザーがストレージ I/O を待機できるようにするのに役立ちます。 AI/ML および HPC ワークロード向けの並列ファイル ストレージ ソリューション。 このソリューションは、次世代の Intel Distributed Asynchronous Object Storage (DAOS) アーキテクチャに基づいています。

ストレージ担当副社長/GM の Sameet Agarwal 氏と、ストレージ担当グループ プロダクト マネージャーの Sean Derrington 氏が、新しいクラウド ストレージ オプションについて Google ブログ投稿で次のように説明しています。

次世代の Intel DAOS アーキテクチャに基づいて、Parallelstore 環境内のすべての計算ノードがストレージに平等にアクセスできるため、VM はデータに即座にアクセスできます。 競合する Luster Scratch 製品と比較して最大 6.3 倍の読み取りスループット パフォーマンスを備えた Parallelstore は、非常に高いパフォーマンス (IOPS およびスループット) と超低遅延を必要とするクラウドベースのアプリケーションに最適です。

最後に、3 番目の新しいクラウド ストレージ オプションは、Google が完全に管理する高パフォーマンスのファイル ストレージ サービスである NetApp Volumes です。 このストレージ オプションは、オンプレミスの NetApp ストレージ アレイ上のアプリケーションをクラウドに移行したい企業向けに設計されています。 このサービスは、スケーラビリティを最大限に高めるためにボリュームを 100 GiB から 100 TiB に増やし、ハイブリッド ワークロード向けの ONTAP データ管理を実装し、リファクタリングせずに Windows または Linux アプリケーションを仮想マシンとして実行する機能を提供します。

Google からのこの投資の原動力について InfoQ が尋ねたとき、Derrington 氏は次のように答えました。

AI がデータ管理の自動化に役立っているため、組織は適切なアプリケーションに適切なストレージ ソリューションを提供するためにクラウドに目を向けています。 Google Cloud の新しい AI に最適化されたストレージ製品である Cloud Storage FUSE と Parallelstore により、運用の簡素化、イノベーションの実現、コスト削減などを実現するカスタマイズされたストレージ ソリューションを提供することで、お客様が複雑な AI ワークロードに適応できるよう支援しています。