IBM intègre Apache Spark dans quinze de ses solutions commerciales et analytiques. L’entreprise accélère ainsi très nettement la vitesse avec laquelle des logiciels comme SPSS, Streams ou BigInsights peuvent traiter les données. Et lance la version finale de Spark-as-a-service.
Après plusieurs mois en bêta, IBM va proposer Apache Spark sous la forme d’un service sur sa plateforme PaaS Bluemix. Spark est une technologie «open source» qui permet aux développeurs de tirer de précieux enseignements des big data. En mettant la technologie à disposition sur la plateforme Bluemix, IBM redéfinit radicalement la manière dont les apps mobiles complexes seront développées. La puissance de l’analyse de données en temps réel est ainsi au bout des doigts de chaque développeur d’application.
«Spark permet aujourd’hui d’aller beaucoup plus vite que MapReduce. En poussant la solution sur notre PaaS, nous souhaitons la rendre plus accessible pour les data scientist», détaille Derek Schoettle, GM, Cloud Data Services, IBM. A travers Bluemix, il est ainsi possible d’adosser Spark à d’autres briques de la gamme IBM telle que Cloudant (NoSQL) ou encore DashDB (data lake). Le code de la solution a d’ailleurs était optimisé pour les architectures Power8 d’IBM. Un changement de la librairie permet également à Spark de répartir les charges de travail entre CPU et GPU pour plus d’efficacité.
À en croire Big Blue, les équipes ont travaillé d’arrache-pied pour permettre à cette offre de voir le jour. Le Spark Technology Center d’IBM, qui compte aujourd’hui 35 contributeurs, a notamment apporté des fonctionnalités SQL et de machine learning au framework. Par-delà l’outil analytique en mode SaaS, la firme d’Armonk semble avoir d’autres projet pour Spark. Ainsi, des solutions comme Informix (base de données relationnelle) devraient embarquer Spark pour doper le streaming de données. En outre, son utilisation dans DataWorks a permis de réduire de 87% le volume du code de la solution, passant ainsi de 40 à cinq millions de lignes. IBM l’a également employé pour simplifier les architectures de BigInsight, Streams et SPSS.
«Nous allons utiliser Spark comme une des fondations de nos plateformes analytiques pour l’industrie», confirme Rob Thomas, Vice President, Product Development, IBM Analytics.
Big Blue semble donc bien parti pour «sparkiser» une grande partie de sa gamme de solutions analytiques.
