Tendencias en Análisis de Big Data

DEBATE TENDENCIAS EN ANÁLISIS DE BIG DATA

Saltar a una versión navegable de la transcripción de este curso.

Cloud Computing y Big Data

Las tremendas necesidades de capacidad de cómputo asociadas al análisis de big data hacen que, en muchos casos, no resulte rentable para las empresas realizar fuertes inversiones de dinero en adquirir infraestructuras permanentes de computación. Pensemos, por ejemplo, en el caso de una PyME que solo tenga verdaderos requerimientos de gran capacidad de cómputo cada mes o cada trimestre, cuando debe generar informes periódicos de progreso y seguimiento del negocio o de proyectos concretos.

Las tecnologías de cloud computing vienen a resolver este problema, permitiendo un modelo de pago por tramos de utilización de los recursos de computación. Es decir, el cliente contrata exactamente los recursos que necesita, por un tiempo limitado, y luego los libera para que pueda utilizarlos otro cliente. El esquema típico de este tipo de infraestructura es el que podemos ver en la Figura 1.

Una de las características más interesantes de los sistemas de cloud computing> es el servicio de almacenamiento de gran capacidad a un coste extremadamente bajo. Esto permite que un cliente pueda guardar ingentes cantidades de datos en un sistema de almacenamiento cercano al sistema de cómputo, agilizando así el procesado de los datos. Estos sistemas suelen contar con herramientas que facilitan la importación de datos desde múltiples fuentes, incluyendo sistemas de archivos en red, datos de la Web o datos procedentes de redes sociales.

La clave del modelo está en el sistema de procesado de datos. Por un lado, debe ejecutarse sobre un sistema de ficheros distribuidos, de forma que permita repartir los datos a procesar entre diferentes nodos para acelerar los cálculos. Por otra parte, el sistema de procesado de datos debe contar con un módulo de administración de recursos que permita añadir (o quitar) recursos de computación en tiempo real, de acuerdo con las necesidades puntuales del cliente.

Por último, el resultado de dicho procesado de datos puede ir dirigido o bien a la construcción de modelos o ejecución de algoritmos para análisis de datos, o bien hacia interfaces que muestren la información a humanos, por ejemplo, para dar soporte a procesos de control de calidad o procesos de toma de decisiones.

En la actualidad, los principales proveedores de servicios de computación en cloud (Amazon, Microsoft, IBM, etc.) han emprendido una carrera para ofrecer catálogos muy completos de servicios para almacenamiento, procesado, análisis y visualización de datos. Su objetivo, claro está, será que el cliente tenga cubiertas todas sus necesidades de procesado y análisis en la propia plataforma y no busque, por tanto, servicios de terceros proveedores fuera de ella.

Aplicaciones del Análisis de Big Data

El big data y el análisis de datos ha alcanzado una extraordinaria influencia hoy día en muchos dominios de aplicación distintos, incluyendo la industria privada a todos los niveles, los gobiernos y administraciones públicas (incluyendo muchas iniciativas importantes sobre open data), organizaciones sin ánimo de lucro o ciencia e investigación. Según un informe publicado por la consultora estratégica McKinsey en 2012, el volumen de datos de negocio generado por empresas a nivel mundial se dobla cada 1,2 años. Así mismo, este informe identifica cinco sectores estratégicos en los que el big data puede aportar innovaciones disruptivas para los servicios y procesos de negocio de muchas compañías:

Salud: muchas áreas dentro del sector de salud están beneficiándose de las ventajas de las tecnologías big data. Quizá uno de los ejemplos más sobresalientes es el análisis de datos oncológicos, que permiten, por ejemplo, elaborar tratamientos personalizados para cada paciente individual, algo prácticamente inimaginable hace tan solo una década. Mediante un análisis exhaustivo de los marcadores genéticos y los datos del caso particular de cada paciente, los especialistas pueden determinar la combinación exacta de fármacos y la duración del tratamiento que mejores efectos puede tener para combatir la enfermedad. A este ejemplo se suman muchos otros, especialmente los relativos a estudios genómicos, así como al desarrollo de nuevos fármacos.

Administraciones públicas de la UE: las administraciones públicas de la UE son otro de los sectores que más beneficios puede obtener de las tecnologías y herramientas para análisis de big data, fundamentalmente, orientadas a mejorar la eficiencia de los procesos de gobierno y administración electrónica a todos los niveles.

Distribución y mercado minorista (retail): en el mercado de distribución minorista, las grandes cadenas se enfrentan con frecuencia al llamado problema de la multicanalidad. En este contexto, el problema de multicanalidad consiste en cómo se puede seguir de forma precisa la pista a la actividad de compra que hace un cliente en diferentes canales (e.g. una tienda física o una tienda virtual). En el caso de la tienda física, se recaba gran cantidad de información sobre los hábitos de consumo de los clientes (prioridades de búsqueda, patrones de comportamiento, productos favoritos). En el caso de los servicios de comercio electrónico, la prioridad se centra en descubrir similitudes entre los patrones de compra de diferentes clientes, de modo que se les pueda ofrecer recomendaciones o descuentos en artículos que pueden resultar de su interés.

Fabricación global: los procesos de fabricación de bienes, así como las actividades del sector primario destinadas al abastecimiento de mercados globales con productos de todo tipo son otra importante área de aplicación de las tecnologías big data. Un ejemplo son los procesos de montaje industrial completamente automatizados, en los que se pueden tomar decisiones, en tiempo casi real, sobre los diferentes pasos de la producción que inciden en un mayor rendimiento. En agricultura, la explotación de grandes latifundios en Canadá o EE.UU. se vuelve más eficiente mediante el empleo de máquinas cosechadoras con multitud de sensores, así como el tratamiento de imágenes por satélite de las fincas, para decidir, por ejemplo, el orden óptimo en el que deben ejecutarse las labores de recogida del producto.

Datos para localización personal (incluyendo aplicaciones para seguridad y vigilancia): los datos geolocalizados sobre usuarios suponen una importante fuente de información para muchas empresas, pero también una fuente muy sensible de cara a preservar la privacidad de los ciudadanos. En los últimos 3 años, ha surgido un importante debate sobre los límites que se deben imponer al tratamiento de datos de localización y seguimiento de los usuarios, ya que podrían derivar (en malas manos) en peligrosos escenarios de monitorización de actividades privadas a escala global. Por otro lado, la potencia del análisis de big data permite abordar proyectos de seguridad global mucho más ambiciosos, incluyendo seguridad nacional, control de fronteras, antiterrorismo o seguridad en Internet.