martes
mar062012
Procesamiento masivo de datos fácil en Hadoop
javaHispano
Asistimos a una explosión de la información. Hay ingentes cantidades de datos que procesar, y las técnicas habituales se demuestran insuficientes. En este contexto surgió Hadoop, la tecnología que esta detrás de la revolución del "Big Data". Sin embargo, la experiencia ha demostrado que Hadoop tiene una empinada curva de aprendizaje. Por esta razón ha surgido Pangool (http://pangool.net), un proyecto Java open source para Hadoop que simplifica el desarrollo de aplicaciones MapReduce, sin por ello ceder un ápice en eficiencia.
Pangool proporciona los bloques básicos para cubrir los patrones de diseño más comunes que surgen al desarrollar aplicaciones MapReduce: registros heterogéneos, agrupaciones y ordenaciones por múltiples campos, "joins" de diferentes fuentes de datos, etc. En definitiva, Pangool pretende ser el punto de entrada al mundo Hadoop.
Pangool ha sido desarrollado íntegramente en España por Datasalt.
Un saludo!
Iván
mouse clic derecho
Reader Comments (3)
¿Hay alguna forma de saber que ha sido desarrollado en España a parte de ver esta noticia?
Lo poco que he visto me ha gustado y me parece buen trabajo, pero me da la sensación que para relacionar ese trabajo con España es complicado.
Hola Robertiano,
Soy uno de los autores y cofundador de www.datasalt.com . Hace tiempo que llevamos desarrollando cosas para Hadoop, y esta vez nos hemos lanzado a hacer Pangool con todas aquellas mejoras que echábamos de menos.
Es todo un alago que te parezca un buen trabajo, tanto como para no creerte que haya sido desarrollado en España :-) .
Tenemos las oficinas en Barcelona, y concrétamente Pangool lo hemos desarrollado tres personas: Eric Palacios, Pere Ferrera y yo mismo.
Si necesitas cualquier cosa, o tienes cualquier pregunta con respecto a Pangool, aquí estamos.
Un saludo!
Iván
jejeje no es que no crea que ha sido hecho en España, es que parece que no quiere que se sepa. Entre la documentación exclusiva en inglés y que no he encontrado ninguna referencia que me indique donde se ha realizado si llego a vuestro proyecto por otro lado que no sea a través de JH no tendría ni idea de que se ha hecho aquí.
Al hablar con compañeros me da la sensación de que parece que el único software que se hace aquí es privado, a medida y no muy bueno. Al trastear y leer las páginas de vuestro proyecto me he dado cuenta de que si paso a mis compañeros vuestro enlacen pensarían que no se ha hecho aquí y me ha parecido una pena.
Un saludo.