Spark, projet Open Source de la Fondation Apache, sera boosté par IBM, qui l’intégrera à ses solutions. Cette offre est capable de fonctionner sur un cluster de serveurs et permet de traiter les données jusqu’à 100 fois plus rapidement que Hadoop, du fait de l’utilisation de techniques In-Memory.
Développé en 2009 par l’AMPLab de l’Université de Berkeley, le framework Spark est passé en Open Source en 2010 sous la forme d’un projet Apache. Concurrent des piles Hadoop MapReduce ou Storm, Spark arrive aujourd’hui sur la plate-forme PaaS IBM BlueMix. Et pour participer à l’enrichissement de ce framework, big blue publie sous licence Open Source son logiciel de Machine Learning SystemML
Ambitieuse, la firme indique vouloir enseigner les subtilités de Spark à plus d’un million de scientifiques et d’ingénieurs spécialisés dans le traitement et l’analyse des données avec AMPLab, DataCamp, MetiStream, Galvanize et Big Data University MOOC, et impliquer plus de 3500 chercheurs et développeurs maison sur des projets Spark.
La fin de Hadoop ? Si beaucoup de spécialistes considèrent Spark comme le successeur de Hadoop, son adoption reste néanmoins lente. A tout le moins jusqu’ici. Maintenant que le traitement en mémoire s’impose, Big Blue arrive au bon moment. L’arrivée de Spark sur Bluemix est attendue au troisième trimestre de cette année -une version bêta est actuellement testée par certains clients.
