Elías Grande Rubio ha escrito un artículo en español explicando en qué consisten cuatro frameworks relativamente recientes y todavía más bien poco conocidos de la fundación Apache: Flume, Kafka, Spark y Storm.
Flume Es un servicio pensado para agregar logs de gran volumen, especialmente para importarlos en Hadoop/HDFS. Spark Permite construir cluster de computación de propósito general que siguen un modelo de programación similar al de Open MPI. Kafka es un sistema de mensajería de alto rendimiento y distribuido. Por último, Storm Es un sistema de computación distribuida de tiempo real que tiene una arquitectura tipo maestro -esclavo pero donde ninguna instancia mantiene estado, sino que la gestión del Estado está delegada a ZooKeeper.
Si te interesa conocer más detalles sobre estos tres framework de apache os recomiendo la lectura del artículo original aquí.