Google lance trois nouvelles options de stockage cloud : Cloud Storage FUSE, Parallelstore et NetApp Volumes

Accueil InfoQ Actualités Google lance trois nouvelles options de stockage cloud : Cloud Storage FUSE, Parallelstore, NetApp Volumes

29 août 2023 2 min de lecture

par

Steef-Jan Wiggers

Google a récemment lancé trois nouvelles options de stockage cloud : Cloud Storage FUSE pour les applications d'intelligence artificielle (IA) qui nécessitent la sémantique du système de fichiers, un système de fichiers parallèle Parallelstore pour les applications IA et HPC exigeantes qui utilisent des GPU, et NetApp Volumes pour les applications d'entreprise exécutées dans le cloud. .

Cloud Storage FUSE était déjà disponible en version open source, permettant d'accéder aux objets des buckets Cloud Storage sous forme de fichiers montés en tant que système de fichiers local. L'entreprise l'a amélioré avec de nouveaux niveaux de portabilité, de fiabilité, de performances et d'intégration ciblant les charges de travail d'IA. Dans un article de blog de Google, les auteurs Marco Abela, chef de produit, et Akshay Ram, chef de produit senior chez Google, expliquent :

Le nouveau Cloud Storage FUSE est particulièrement important pour les charges de travail d'IA. Étant donné que les applications peuvent accéder aux données directement (plutôt que de les télécharger localement), il n'y a aucune logique personnalisée à implémenter et moins de temps d'inactivité pour les ressources précieuses telles que les TPU et les GPU pendant la copie des données. De plus, un nouveau pilote Cloud Storage FUSE CSI pour Google Kubernetes Engine (GKE) permet aux applications de monter Cloud Storage à l'aide de l'API Kubernetes familière, et il est proposé sous forme de déploiement clé en main géré par GKE.

Présentation de Cloud Storage FUSE (Source : article de blog Google)

JW Davis, un évangéliste du Cloud, a commenté la disponibilité des systèmes de fichiers FUSE dans GKE dans un tweet :

Cela semble destiné à de nombreux désastres. Utile pour une gamme très restreinte de cas d’utilisation ; la plupart en abuseront et en souffriront.

En plus de Cloud Storage FUSE pour les applications IA, la société annonce un aperçu privé d'un système de fichiers parallèle appelé Parallelstore qui aide les utilisateurs à ne plus gaspiller de précieuses ressources GPU tout en attendant les E/S de stockage en fournissant un système hautes performances. solution de stockage de fichiers parallèle pour les charges de travail AI/ML et HPC. La solution est basée sur l'architecture Intel Distributed Asynchronous Object Storage (DAOS) de nouvelle génération.

Sameet Agarwal, vice-président/directeur général, Stockage, et Sean Derrington, chef de produit du groupe, Stockage, expliquent dans un article de blog Google sur les nouvelles options de stockage cloud :

Basé sur l'architecture Intel DAOS de nouvelle génération, tous les nœuds de calcul d'un environnement Parallelstore ont un accès égal au stockage, afin que les machines virtuelles puissent accéder immédiatement à leurs données. Avec des performances de débit de lecture jusqu'à 6,3 fois par rapport aux offres concurrentes de Lustre Scratch, Parallelstore est bien adapté aux applications basées sur le cloud qui nécessitent des performances extrêmement élevées (IOPS et débit) et une latence ultra faible.

Enfin, la troisième nouvelle option de stockage cloud est NetApp Volumes, un service de stockage de fichiers hautes performances entièrement géré par Google. Cette option de stockage est conçue pour les entreprises qui souhaitent migrer leurs applications sur des baies de stockage NetApp sur site vers le cloud. Le service offre la possibilité d'augmenter les volumes de 100 Go à 100 TiB pour une évolutivité maximale, de mettre en œuvre la gestion des données ONTAP pour les charges de travail hybrides et d'exécuter des applications Windows ou Linux en tant que machines virtuelles sans refactorisation.

Interrogé par InfoQ sur les raisons qui motivent cet investissement de Google, voici ce que Derrington a répondu :

Alors que l’IA joue un rôle déterminant dans l’automatisation de la gestion des données, les organisations se tournent vers le cloud pour proposer la bonne solution de stockage pour la bonne application. Avec les nouvelles offres de stockage optimisées pour l'IA de Google Cloud, Cloud Storage FUSE et Parallelstore, nous aidons nos clients à s'adapter aux charges de travail complexes de l'IA en proposant des solutions de stockage sur mesure qui simplifient les opérations, libèrent l'innovation, réduisent les coûts, et bien plus encore.