Lo que se nos viene encima…
Esta semana hemos tenido la reunión de arranque de un interesante proyecto de investigación: Amiga4Gas. En la reunión estábamos los equipos de los tres miembros del proyecto: IAA (CSIC), BSC y FCSCL. Es decir, un centro de investigación en astrofísica y dos centros de supercomputación.
Nuestro rol como centro de supercomputación es doble: además de desarrollar los componentes de software necesarios, tenemos que poner nuestro músculo computacional a disposición del proyecto para realizar los cálculos necesarios.
Las imágenes a procesar proceden de radiointerferómetros. Y en estos momentos está en proyecto el que será el mayor radiointerferómetro del mundo: SKA (siglas de Square Kilometer Array). No voy a aburriros ahora con lo que significa SKA desde el punto de vista de la ingeniería, tenéis la información básica en el artículo de la wikipedia. Lo relevante desde el punto de vista TI es el flujo de datos que dará SKA cuanto esté completamente operativo en 2024. Ni más ni menos que 1TB de datos por segundo.
Es decir, este pequeño instrumento nos dará un exabyte de datos por día. Tenemos doce años para diseñar cómo serán los sistemas capaces de procesar, transmitir y almacenar semejantes flujos de información. Si me permitís un chiste malo, esto ya no es un problema de Big Data, sino más bien de Huge Data. Y necesita tecnología que todavía no tenemos.
Mientras tanto, nosotros diseñaremos los sistemas para tratar los cubos actuales de datos (comienzan en 100MB) de forma completamente automática, utilizando para ello una federación de infraestructuras heterogéneas.