Memorias de investigación
Proyecto de I+D+i:
CABAHLA-CM: CONVERGENCIA BIG DATA-HPC: DE LOS SENSORES A LAS APLICACIONES (OEG-UPM)
Año:2019

Áreas de investigación
  • Ciencias de la computación y tecnología informática

Datos
Descripción
A falta de descripciónEl ecosistema de la tecnología de la información mundial se encuentra actualmente en transición a una nueva generación de aplicaciones, que requieren sistemas intensivos de adquisición, procesamiento y almacenamiento de datos, tanto a nivel de sensor como de cómputo. Las nuevas aplicaciones científicas, más complejas, y la creciente disponibilidad de datos generados por instrumentos científicos de alta resolución en dominios tan diversos como el clima, la energía, la biomedicina, etc. hacen necesarias las sinergias entre la computación de alto rendimiento (HPC) y el análisis de datos a gran escala (Big Data). Por tanto, el mundo HPC demanda técnicas del mundo Big Data, mientras que el análisis intensivo de datos requiere técnicas de HPC. Sin embargo, las herramientas y culturas de HPC y Big Data han divergido porque HPC se ha orientado tradicionalmente hacia problemas fuertemente acoplados de cómputo intensivo, mientras que Big Data se ha orientado hacia el análisis de datos en aplicaciones altamente escalables. Debido a ello, el ecosistema descrito tiene importantes carencias a la hora de adecuar las aplicaciones Big Data sobre sistemas HPC emergentes, tales como rigidez de la jerarquía de almacenamiento, dificultad para integrar flujos dinámicos de dispositivos externos, problemas de planificación con localidad de datos y costes energéticos asociados al movimiento de datos. El objetivo global de esta propuesta es mejorar la integración de los paradigmas de HPC y Big Data, proporcionando una forma fácil de crear software y adaptar el hardware y el software existente en una plataforma intensiva en computación y datos. La demostración del logro de ese objetivo será soportar aplicaciones de ambos mundos, ofreciendo elasticidad, mejorando la gestión y captación de datos y optimizando las aplicaciones de nodos locales y núcleos para sistemas heterogéneos. Para conseguir este objetivo global se plantean los siguientes objetivos específicos: Diseño de un framework arquitectónico para la integración de entornos HPC y Big Data; Explotación de paralelismo a nivel de nodo y aceleradores; Gestión y captación de datos masivos integrando sistemas heterogéneos de gran escala y computación en los sensores; Desarrollo de mecanismos globales de eficiencia energética a nivel local y global; Aplicación de resultados a dos casos de uso reales para captación y modelado de datos de sensores para la predicción de radiación solar con alta resolución espacio-temporal y para procesamiento de datos masivos en imagen médica del cerebro.
Internacional
No
Tipo de proyecto
Proyectos y convenios en convocatorias públicas competitivas
Entidad financiadora
Comunidad de Madrid. Dirección General de Investigación e Innovación
Nacionalidad Entidad
Sin nacionalidad
Tamaño de la entidad
Desconocido
Fecha concesión

Esta actividad pertenece a memorias de investigación

Participantes

Grupos de investigación, Departamentos, Centros e Institutos de I+D+i relacionados
  • Creador: Departamento: Arquitectura y Tecnología de Sistemas Informáticos