Apache Storm

Apache Storm est un framework de calcul de traitement de flux distribué, écrit principalement dans le langage de programmation Clojure. Créé à l'origine par Nathan Marz et l'équipe de BackType le projet est rendu open source après avoir été acquis par Twitter. Il utilise des "spouts" et des "bolts" créés sur mesure pour définir les sources d'informations et les manipulations permettant un traitement par lots et distribué des données en continu. La première publication a eu lieu le 17 septembre 2011. Une application Storm est conçue comme une "topologie" sous la forme d'un graphe orienté acyclique (DAG) avec des spouts et des bolts faisant office de sommets du graphe. Les arêtes du graphe sont des flux nommés et dirigent les données d'un nœud à un autre. Ensemble, la topologie agit comme un pipeline de transformation de données. À un niveau superficiel, la structure topologique générale est similaire à un travail MapReduce , la principale différence étant que les données sont traitées en temps réel par opposition à des lots individuels. De plus, les topologies Storm s'exécutent indéfiniment jusqu'à ce qu'elles soient supprimées, tandis qu'un DAG de travail MapReduce doit finir. Storm est devenu un projet de niveau supérieur Apache en septembre 2014 et était auparavant en incubation depuis septembre 2013.