Hacia una computación más fresca y más verde: microfluídica y computación termodinámica

En un momento en el que los centros de datos crecen sin parar para alimentar la demanda de inteligencia artificial (IA), dos innovaciones tecnológicas están emergiendo como posibles salvavidas para un futuro más sostenible: la microfluídica para la refrigeración de chips y la computación termodinámica para hacerlos más eficientes desde el punto de vista energético, hay veces que no es la IA o el avance más probable en tecnologías, hay veces que tan solo hay que mirar a la naturaleza, y ver como fluyen los sustentos en el ala de una mariposa o en las hojas de un árbol, para inspirar grandes avances, esto es un ejemplo.

1. Microfluídica: enfriando los chips desde dentro

Una de las grandes limitaciones de los centros de datos modernos es el calor. Los chips de IA son cada vez más potentes, pero también generan más temperatura, y refrigerarlos consume tanto electricidad como agua. Aquí es donde entra en juego la “microfluídica”, una técnica que literalmente introduce líquido refrigerante dentro de los chips.

Microsoft ha dado un paso muy relevante: ha probado con éxito un sistema de microcanales grabados directamente en el silicio del chip, por donde fluye el líquido refrigerante justo donde se produce el calor. Con esto han logrado enfriar hasta 3 veces más eficazmente  que con las placas frías tradicionales (“cold plates”).

Además, usan IA para mapear dónde están los “puntos calientes” del chip y dirigir con precisión el líquido solo a esas zonas. En sus pruebas han reducido el aumento máximo de temperatura en el silicio hasta un 65 %.

¿Por qué es tan importante esto? Porque este método de enfriamiento no solo mejora el rendimiento de los chips (pueden trabajar más intensamente), sino que puede disminuir el consumo, de energía y agua, al requerir líquidos menos fríos (De hecho en las pruebas entra agua a 40ºC y sale a 70ºC) y reducir la infraestructura pesada de enfriamiento. Además, gracias a una mejor gestión térmica, podría facilitar diseños más densos (más chips en menos espacio, un objetivo perseguido que tenía el problema de la disipación de calor) o incluso chips apilados en 3D (sí, hablamos de extender una tercera dimensión los chips gracias a crear capas de microfuidos y no tener la obligación, hasta ahora imposible, de refrigerar esas capas internas por la falta de contacto con las cold plates o piezas disipadoras de calor), lo que abre la puerta a más potencia sin aumentar el tamaño del datacenter.. ..así evitar el uso de millones de litros de agua, un gasto de recursos que no podemos permitirnos. Incluso podemos ver la manera de aprovechar esa energía de calor disipado.

En definitiva: la microfluídica podría reducir sustancialmente el gasto energético y de agua en refrigerar los centros de datos del futuro.

2. Computación termodinámica: usar el “ruido” térmico en vez de combatirlo

La segunda gran innovación viene de la “computación termodinámica”, y en este campo destaca una empresa llamada –Extropic-. Su apuesta es radical: en lugar de hacer cálculos utilizando bits tradicionales que solo pueden estar en 0 o en 1, sus chips usan “p-bits” (bits probabilísticos) que fluctúan entre estos valores de forma natural, aprovechando justamente el ruido térmico que normalmente se considera un problema (esta vez no ha sido echar un vistazo a la naturaleza, o también…porque ese ruido es natural…,  que nos rodea, ha sido invertir los términos de algo que la ingenieria ha tratado siempre de combatir y utilizarlo a nuestro favor de una forma genial y creativa)

Estos p-bits están agrupados en lo que Extropic llama TSU  (Thermodynamic Sampling Unit). La idea es que, en lugar de simular aleatoriedad mediante operaciones complejas en una GPU, el TSU genera directamente muestras (“samples”) a partir de distribuciones probabilísticas, lo que lo hace muchísimo más eficiente. De hecho, según Extropic, sus simulaciones indican que podrían llegar a ser ,hasta 10.000 veces más eficientes energéticamente, (una burrada de avance) que las GPUs convencionales para ciertos modelos de IA generativa.

¿Cómo lo logran? Simplificando: los p-bits son circuitos que cambian entre 0 y 1 de forma aleatoria, pero controlable mediante voltajes. Luego se combinan muchos de esos p-bits para formar modelos más complejos mediante un algoritmo conocido como “Gibbs sampling”. Además, al diseñar los TSU de forma que la comunicación entre los p-bits sea local (solo entre circuitos cercanos), se reduce muchísimo el gasto energético en movimiento de datos. (Hay camino que recorrer, porque esta novedosa técnica nos obliga a programar las cosas de una nueva manera, no nos sirve lo que hoy mueve a las GPUs, o NPUs)

Otro punto a favor: Extropic ha desarrollado también un modelo de IA (Denosing Thermodynamic Model, DTM) hecho a medida para sus TSU, optimizado para consumir muy poca energía mientras genera datos. (Tal vez inspirados por las propias técnicas de generación de imágenes a partir de ruido aleatorio…quien sabe)

Extropic ya en 2024 estaba construyendo una plataforma de hardware completa para aprovechar las fluctuaciones naturales de la materia como recurso informático para la IA generativa. Este nuevo paradigma informático amplía la escala del hardware mucho más allá de las limitaciones de la informática digital. Permite crear aceleradores de IA que son varias veces más rápidos y eficientes energéticamente que los procesadores digitales (CPU/GPU/TPU/FPGA) y desbloquea potentes algoritmos probabilísticos de IA que no son factibles en procesadores digitales.

Infografía MicroFluidíca y Computación Termodinámica

3. ¿Qué implican estos avances para el futuro?

.- Menor consumo energético: si los centros de datos adoptan microfluídica, podría bajar mucho el gasto de energía para refrigeración. Y si los TSU se usan para algunas tareas de IA, el propio cálculo sería mucho más eficiente.

.-Menor consumo de agua: enfriar con microcanales permite usar líquidos menos fríos, lo que podría reducir la necesidad de torres de enfriamiento intensas o evaporativas.

.-Más potencia en espacios más pequeños: gracias a una mejor refrigeración y chips más eficientes, se podrían meter más servidores en menos espacio. (Ley de Moore al cajón del olvido)

.-Sostenibilidad: estos avances podrían hacer que el crecimiento de la IA no tire tanto de recursos como ocurre hoy, contribuyendo a un modelo de computación más responsable.

En conjunto, la microfluídica y la computación termodinámica ofrecen una visión muy prometedora para el futuro de la computación: no solo más potente, sino también más verde. Si logramos llevar estas tecnologías a gran escala, podríamos resolver uno de los grandes dilemas actuales: cómo seguir creciendo en capacidad de cómputo sin que el coste energético y el impacto ambiental se disparen.

En Domodesk, siempre intentamos estar al tanto del estado-del-arte en tecnología, al final la tecnología es la referencia que guía nuestros pasos ;-).

Para saber más (Fuentes)

https://news.microsoft.com/source/features/innovation/microfluidics-liquid-cooling-ai-chips

https://extropic.ai/writing/thermodynamic-computing-from-zero-to-one

https://extropic.ai/writing/tsu-101-an-entirely-new-type-of-computing-hardware

Domodesk ofrece su herramienta con ( IA) Inteligencia Artificial, NapolitanoGPT, para preguntar sobre tus propios PDFs

El 23 de Mayo de 2023, acogimos, como ya es habitual en Domodesk, a dos alumnos en prácticas Erasmus+ italianos, sabíamos que habían estudiado un curso de desarrollo web (formación profesional), y también conocíamos, que contrariamente a otros alumnos que hemos tenido en prácticas,  iban a estar con nosotros hasta el 10 de Agosto, da tiempo para hacer cosas chulas.

Una vez aquí, Filippo y Manuel, intentamos conocer sus intereses y desvelar aquello que pudiera ser motivador para unas prácticas, se les planteo el poder desarrollar un proyecto, con el ánimo de, si se conseguía algún resultado, perfecto, pero si no se conseguía, que al menos, fuera un camino de aprendizaje divertido.

Dicho y hecho, después de llevar meses siguiendo la frenética evolución de la Inteligencia Artificial (IA) en Domodesk y con ganas de hacer algo, tomamos la decisión de emprender el proyecto dentro de esta disciplina, con la certeza de que íbamos a aprender mucho, con cualquier reto, y siguiendo la máxima con la que finalizaba nuestra nota de bienvenida el primer día

“Vi do il benvenuto e spero che, soprattutto, ci divertirem”

Y este fue el reto:

********************************************

Asistente de documentación técnica PDF

Objetivos

El proyecto pretende crear una aplicación B2B que pueda almacenar, leer y hablar sobre los documentos PDF de la empresa, y cada uno de ellos tendrá su propio banco de trabajo con su propio chatbot que podrá responder a cualquier pregunta sobre los documentos PDF que la empresa haya decidido compartir subir a la aplicación.

La idea es evaluar modelos LLM con los que podamos optar a una licencia comercial, y a poder rodar en local, sin tener que conectar a la red, para mantener la privacidad de los documentos compartidos.

Requisitos

Los requisitos de la aplicación son:

–              Debe responder correctamente

–              Debe ser rápida

–              Debe ser de uso local (imposible a fecha de Agosto de 2023  ***)

–              Debe consumir la menor cantidad de energía posible.

–              Debe funcionar con un hardware que no sea demasiado exigente. (***)

Obviamente, los requisitos son indicativos y no es seguro que se cumplan todos.

***********************************************

Partiendo de ahí, comenzamos con la estrategia de aproximación, primero debíamos de conocer el “estado-del-arte” de la IA en modelos generativos, y para ello se les indicó unos canales YouTube que deberían seguir, aquí es donde empieza la fiesta, pronto descubrimos que la información fluye y evoluciona en cuestión de horas, no de días, y lo que hoy das como lo último, en unas horas estará sobrepasado por algo mejor.

El primer mes sería dedicado solo a investigar, aprender y conocer herramientas que nos posibilitaran el trabajo, hay que comentar que la última semana ya no aportaban nada los canales de video de gente difundiendo, con mucho nivel, sobre lo que acontecía en IA, de hecho, nos pasamos a leer “research papers” para los que, nadie, estábamos preparados ni teníamos formación suficiente para extraer el jugo al máximo, pero algo quedaba ;-).

Una vez finalizado ese aprendizaje, ya nos dimos cuenta de que podíamos montar un “framework” pero pensando en el futuro para cierto requerimientos, porque el objetivo de LOCAL y PRIVACIDAD se desvanecía ante la evidencia de que los LLM vistos, y créanme, fueron muchos (destrozamos HuggingFace), por no decir todos los que salían a la luz en esas fechas, no iban a poder rodar en un PC discretamente potente…eso no era posible, aunque también aprendimos que en breve lo será, porque el avance de la comunidad open source es diabólico, y con Llama 2 en abierto y con licencia comercial, sumado a modelos procesados con métodos de cuantización, agrupamiento en clústeres , dispersión y reducción, esto será posible en breve, aunque no para nuestro proyecto.

Las ideas son universales, y sabíamos que todo esto estaba en manos de otros a lo largo del mundo, de hecho, a mitad del proyecto hubo una fuga, que acabo con una imagen en Reddit, donde veíamos como OpenAI incluía algunas de estas funcionalidades perseguidas (motivo de orgullo para un grupo de inocentes que seguíamos hacia delante porque no sabíamos que era imposible), maravilloso, OpenAI nos copia!!! (LoL, aunque el nuestro tiene usos distintos y detalles únicos)

No tenemos recursos, ni maquinas con muchas (ninguna) Nvidias H100 para inferir o entrenar modelos con Tensorflow… pero teníamos, el entusiasmo, el buen trabajo en equipo, las ganas, y el talento por desarrollar, con nosotros, de dos italianos volcados con los objetivos de manera incondicional.

Invitamos a un amigo Ingeniero Biomédico y propusimos que Filippo y Manuel nos hicieran una presentación sobre cómo íbamos a acometer el desarrollo, y así fue, cuando resolvimos que ante la imposibilidad del LLM local, usaríamos el API del chatGPT 3.5, y este stack de desarrollo

Frontend: HTML, CSS y JavaScript

Backend: Python, Flask, LangChain y ChromaDB

SGBD: SQLite

Control de versiones: Git y GitHub

Nube: PythonAnywhere

 

Ahí nos dimos cuenta del atrevimiento, en la presentación nos dijeron que el 15 de Julio tendríamos el proyecto finalizado (eso es el empuje romántico de dos personas con entusiasmo y ganas de hacer, admirable), y haciéndonos eco de ese espíritu atrevido de las culturas mediterráneas, se nos ocurrió que el sentir “Napolitano” sumaba ese “no sé qué”, así que el proyecto tenia nombre, NapolitanoGPT. (Go Ahead!!)

 

 

En Domodesk, forzamos a que crearan un cuaderno de bitácora, donde se detalla los avances y trabajos por semanas, por nuestra experiencia, sabemos lo adecuado de documentar un proyecto de I+D (no lo detallamos aquí, porque sería farragoso de leer para no entendidos…pero está disponible para curiosos en nuestras oficinas), es una manera de ver el esfuerzo de realizar un proyecto en un mes y medio efectivo (sin contar el tiempo anterior de investigación), una locura de viaje donde nos hemos divertido, sobre todas las cosas.

 

 

Y, al final, tenemos un producto que podemos comercializar a empresas, y como dijo aquel, “lo hicimos porque no sabíamos que era imposible” , había nacido NapolitanoGPT un proyecto realizado en tiempos record, gracias al buen trabajo en equipo, y las ganas de aprender de Filippo y Manuel y su alto potencial para empaparse de todo lo nuevo, y dejarse guiar en esta maravillosa experiencia.

 

A fecha de hoy, y después de haber pasado por demos a más de una docena de personas, que en Domodesk, consideramos referentes en sus distintas ocupaciones y disciplinas, os presentamos el producto.

 

Para poder usar, por ejemplo, en servicios técnicos, subiendo manuales de productos y facilitando que personas sin formación específica puedan encontrar, de forma sencilla, respuestas, o para contratos legales, informes financieros, contenidos propietarios y material de formación. Haga cualquier pregunta sobre el contenido de sus PDFs y obtenga respuestas claras y razonadas de forma rápida.

 

 

A partir del 4 de Septiembre, esperamos tus consultas, ¿Quieres contratar un empleado listo sin los costes de un empleado?, ¿Tu servicio técnico está saturado y necesitas una herramienta que la puedan usar empleados auxiliares sin formación técnica especifica?…. habla con nosotros  y deja que la Inteligencia Artificial sea una ayuda en tu empresa, ponemos a la venta el proyecto en dos modalidades, empotrado en un MiniPC o customizado en la web para las empresas que quieran algo más personalizado.

Habla con nosotros