Pour le stockage de ses données, soit 5 PO d’archives, VITO a notamment retenu NetApp et son système d’exploitation Data ONTAP.
Des données d’observation sans discontinuer, à traiter, à distribuer et ensuite à stocker. C’est la mission du groupe Image Treatment Center du département Remote Sensing Image Treatment Center (RS) au sein de l’institut flamand de recherche VITO. Ces données proviennent de capteurs et caméras installés à bord de satellites ou d’avions avec ou sans pilote ainsi que d’instruments divers; elles sont destinées à réaliser des études sur l’évolution la végétation mondiale et continenta, les catastrophes naturelles ainsi que l’agriculture et la sylviculture.
C’est essentiellement dans le domaine de l’étude de la végétation que VITO a acquis une réputation internationale comme fournisseur d’images sur l’évolution de la surface de la Terre. C’est ainsi que RS a participé au projet de satellite 100% belge Proba-V (Project for ONboard Autonomy) de surveillance de l’évolution de la végétation terrestre et qui atteint des résolutions de 1 km et de 300 m, et même de 100 m depuis avril 2015.
Stockage et distribution
Pour assurer le stockage de ces données, RS s’appuie depuis 2013 sur une infrastructure de plus de 550 serveurs physiques installés selon le principe du confinement air chaud/air froid -la virtualisation n’est pas encore à l’ordre du jour, même si le logiciel open source Docker est en test.
Ces serveurs basés essentiellement sur Linux, VITO ayant clairement opté pour l’open source, sont associés à un stockage en 3 tiers : le stockage haut de gamme (en cours de démantèlement), le stockage meilleur marché et le stockage de 3e niveau sur bandes. Soit, au total, pas moins de 5 Po d’archives et 2,5 Po de données sur disques dans le datacenter spécifique de RS, lequel est piloté par une équipe de quatre gestionnaires et compte plusieurs centaines de serveurs.
Depuis 2011, deux scale-out NAS ont été installés par l’intégrateur SAIT qui a emporté le contrat de stockage. «Comme nous voulions être multi-vendeurs pour éviter le ‘vendor lock-in’ et que nous entendions limiter la complexité du stockage, nous avons choisi HPE au départ, puis NetApp et son système d’exploitation Data ONTAP pour le stockage des données fournies par le satellite Proba-V, explique Johan Vereecken, Project Manager VITO Remote Sensing. Les images satellites représentent quelque 26 Go de données brutes par jour et ce, depuis le lancement du satellite en 2013. Ces données brutes sont traitées et fournissent une multitude de produits de valeur ajoutée. Comme le centre a commencé en 1998 à fournir des données grâce aux instruments à bord des satellites SPOT 4 et SPOT 5 (en plus des données des autres satellites) des archives à long terme ont été établies.»
Aujourd’hui, la plateforme NetApp stocke plus de 1,5 Po de données sur 6 contrôleurs de stockage qui sont mis en grappe pour former un environnement virtuel. Cette solution garantit une grande évolutivité et permet de répondre aux besoins actuels et futurs de RS. Car outre les données brutes, la plateforme stocke des données de traitement intermédiaires et destinées à un usage ultérieur. En effet, l’affinement des algorithmes et des outils d’analyse peut se traduire par un retraitement des jeux de données pour en extraire des informations plus précises, sans oublier les synthèses de données sur des périodes plus longues.
Intelligence
Précisons que les charges de travail des NAS et SAN sont acheminées de manière transparente au sein du cluster, ce qui garantit une extrême disponibilité des applications. Mais aussi, le système d’exploitation maison Data ONTAP de NetApp, installé au-dessus des plateformes de stockage physiques. «Le matériel est étroitement associé au logiciel où réside la véritable intelligence, poursuit Johan Vereecken. Data ONTAP permet de gérer à la fois le stockage destiné exclusivement à être utilisé par les collaborateurs internes et le stockage dans le réseau externe dans la DMZ.» En effet, l’infrastructure interne de VITO est constituée de VLAN qui sont reliés par un réseau dorsal redondant et connectés via des pare-feux tant à divers réseaux publics (dont Belnet notamment, qui s’ouvre ensuite sur le réseau européen GEANT, puis vers l’étranger grâce à Internet2, Orient Plus et GeonetCast) qu’à des VLAN de partenaires.
«Clustered Data ONTAP gère à la fois le matériel de NetApp et celui de fournisseurs tiers [HP en l’occurrence, NDLR] pour créer une plateforme uniforme au sein d’un environnement hétérogène, ajoute pour sa part Sven Schoenaerts, Managing Director Benelux, NetApp. Ce faisant, la gestion du stockage est simplifiée, tandis que la sécurité des données est renforcée.»
L’un des atouts majeurs de NetApp est son ouverture. VITO se veut à la fois multi-vendeur et multi-technologie et veut éviter tout verrouillage par rapport à un fournisseur particulier. «C’est d’ailleurs la raison pour laquelle nous sommes à 99% en Linux !», ajoute Johan Vereecken.
Evolution
Désormais, NetApp propose Data ONTAP en natif dans les grands environnements cloud. «La stratégie de NetApp en matière de cloud est de permettre au client à la fois de choisir d’aller vers le cloud, mais aussi de pouvoir en sortir», précise encore Sven Schoenaerts. Reste que VITO estime que la migration vers le cloud est encore prématurée, d’autant que ses clients exigent que les données soient stockées en interne et que l’opérabilité du cloud reste difficile, compte tenu des volumes de données stockées et traitées.
«Pour NetApp, VITO est un client atypique de par ses compétences technologiques spécifiques, confie encore le patron Benelux de NetApp. Mais il nous pousse à concevoir de nouvelles fonctionnalités pour notre plateforme. Et si notre modèle de distribution est à 90% en indirect, il est important pour NetApp de comprendre les besoins et les attentes du client à long terme et à échanger avec la communauté des utilisateurs. NetApp a aussi l’avantage d’être exclusivement spécialisé en stockage, d’être indépendant et proche de ses clients.»
