{"id":413,"date":"2023-09-04T11:13:02","date_gmt":"2023-09-04T09:13:02","guid":{"rendered":"https:\/\/www.domodesk.com\/blog\/?p=413"},"modified":"2023-09-04T11:39:17","modified_gmt":"2023-09-04T09:39:17","slug":"domodesk-ofrece-su-herramienta-con-ia-inteligencia-artificial-napolitanogpt-para-preguntar-sobre-tus-propios-pdfs","status":"publish","type":"post","link":"https:\/\/www.domodesk.com\/blog\/domodesk-ofrece-su-herramienta-con-ia-inteligencia-artificial-napolitanogpt-para-preguntar-sobre-tus-propios-pdfs\/","title":{"rendered":"Domodesk ofrece su herramienta con ( IA) Inteligencia Artificial, NapolitanoGPT, para preguntar sobre tus propios PDFs"},"content":{"rendered":"

El 23 de Mayo de 2023, acogimos, como ya es habitual en Domodesk, a dos alumnos en pr\u00e1cticas Erasmus+ italianos, sab\u00edamos que hab\u00edan estudiado un curso de desarrollo web (formaci\u00f3n profesional), y tambi\u00e9n conoc\u00edamos, que contrariamente a otros alumnos que hemos tenido en pr\u00e1cticas, \u00a0iban a estar con nosotros hasta el 10 de Agosto, da tiempo para hacer cosas chulas.<\/p>\n

Una vez aqu\u00ed, Filippo y Manuel, intentamos conocer sus intereses y desvelar aquello que pudiera ser motivador para unas pr\u00e1cticas, se les planteo el poder desarrollar un proyecto, con el \u00e1nimo de, si se consegu\u00eda alg\u00fan resultado, perfecto, pero si no se consegu\u00eda, que al menos, fuera un camino de aprendizaje divertido.<\/p>\n

Dicho y hecho, despu\u00e9s de llevar meses siguiendo la fren\u00e9tica evoluci\u00f3n de la Inteligencia Artificial (IA) en Domodesk y con ganas de hacer algo, tomamos la decisi\u00f3n de emprender el proyecto dentro de esta disciplina, con la certeza de que \u00edbamos a aprender mucho, con cualquier reto, y siguiendo la m\u00e1xima con la que finalizaba nuestra nota de bienvenida el primer d\u00eda<\/p>\n

\u201cVi do il benvenuto e spero che, soprattutto, ci divertirem\u201d<\/p>\n

Y este fue el reto:<\/p>\n

********************************************<\/p>\n

Asistente de documentaci\u00f3n t\u00e9cnica PDF<\/strong><\/p>\n

Objetivos<\/strong><\/p>\n

El proyecto pretende crear una aplicaci\u00f3n B2B que pueda almacenar, leer y hablar sobre los documentos PDF de la empresa, y cada uno de ellos tendr\u00e1 su propio banco de trabajo con su propio chatbot que podr\u00e1 responder a cualquier pregunta sobre los documentos PDF que la empresa haya decidido compartir subir a la aplicaci\u00f3n.<\/p>\n

La idea es evaluar modelos LLM con los que podamos optar a una licencia comercial, y a poder rodar en local, sin tener que conectar a la red, para mantener la privacidad de los documentos compartidos.<\/p>\n

Requisitos<\/strong><\/p>\n

Los requisitos de la aplicaci\u00f3n son:<\/p>\n

–\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 Debe responder correctamente<\/p>\n

–\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 Debe ser r\u00e1pida<\/p>\n

–\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 Debe ser de uso local (imposible a fecha de Agosto de 2023\u00a0 ***)<\/p>\n

–\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 Debe consumir la menor cantidad de energ\u00eda posible.<\/p>\n

–\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 Debe funcionar con un hardware que no sea demasiado exigente. (***)<\/p>\n

Obviamente, los requisitos son indicativos y no es seguro que se cumplan todos.<\/p>\n

***********************************************<\/p>\n

Partiendo de ah\u00ed, comenzamos con la estrategia de aproximaci\u00f3n, primero deb\u00edamos de conocer el \u201cestado-del-arte\u201d de la IA en modelos generativos, y para ello se les indic\u00f3 unos canales YouTube que deber\u00edan seguir, aqu\u00ed es donde empieza la fiesta, pronto descubrimos que la informaci\u00f3n fluye y evoluciona en cuesti\u00f3n de horas, no de d\u00edas, y lo que hoy das como lo \u00faltimo, en unas horas estar\u00e1 sobrepasado por algo mejor.<\/p>\n

\"\"<\/p>\n

El primer mes ser\u00eda dedicado solo a investigar, aprender y conocer herramientas que nos posibilitaran el trabajo, hay que comentar que la \u00faltima semana ya no aportaban nada los canales de video de gente difundiendo, con mucho nivel, sobre lo que acontec\u00eda en IA, de hecho, nos pasamos a leer \u201cresearch papers\u201d para los que, nadie, est\u00e1bamos preparados ni ten\u00edamos formaci\u00f3n suficiente para extraer el jugo al m\u00e1ximo, pero algo quedaba ;-).<\/p>\n

\"\"<\/p>\n

Una vez finalizado ese aprendizaje, ya nos dimos cuenta de que pod\u00edamos montar un \u201cframework\u201d pero pensando en el futuro para cierto requerimientos, porque el objetivo de LOCAL y PRIVACIDAD se desvanec\u00eda ante la evidencia de que los LLM vistos, y cr\u00e9anme, fueron muchos (destrozamos HuggingFace), por no decir todos los que sal\u00edan a la luz en esas fechas, no iban a poder rodar en un PC discretamente potente\u2026eso no era posible, aunque tambi\u00e9n aprendimos que en breve lo ser\u00e1, porque el avance de la comunidad open source es diab\u00f3lico, y con Llama 2 en abierto y con licencia comercial, sumado a modelos procesados con m\u00e9todos de cuantizaci\u00f3n, agrupamiento en cl\u00fasteres , dispersi\u00f3n y reducci\u00f3n, esto ser\u00e1 posible en breve, aunque no para nuestro proyecto.<\/p>\n

Las ideas son universales, y sab\u00edamos que todo esto estaba en manos de otros a lo largo del mundo, de hecho, a mitad del proyecto hubo una fuga, que acabo con una imagen en Reddit, donde ve\u00edamos como OpenAI inclu\u00eda algunas de estas funcionalidades perseguidas (motivo de orgullo para un grupo de inocentes que segu\u00edamos hacia delante porque no sab\u00edamos que era imposible), maravilloso, OpenAI nos copia!!! (LoL, aunque el nuestro tiene usos distintos y detalles \u00fanicos)<\/p>\n

\"\"\"\"<\/p>\n

No tenemos recursos, ni maquinas con muchas (ninguna) Nvidias H100 para inferir o entrenar modelos con Tensorflow\u2026 pero ten\u00edamos, el entusiasmo, el buen trabajo en equipo, las ganas, y el talento por desarrollar, con nosotros, de dos italianos volcados con los objetivos de manera incondicional.<\/p>\n

Invitamos a un amigo Ingeniero Biom\u00e9dico y propusimos que Filippo y Manuel nos hicieran una presentaci\u00f3n sobre c\u00f3mo \u00edbamos a acometer el desarrollo, y as\u00ed fue, cuando resolvimos que ante la imposibilidad del LLM local, usar\u00edamos el API del chatGPT 3.5, y este stack de desarrollo<\/p>\n

Frontend:<\/strong> HTML, CSS y JavaScript<\/p>\n

Backend: <\/strong>Python, Flask, LangChain y ChromaDB<\/p>\n

SGBD:<\/strong> SQLite<\/p>\n

Control de versiones<\/strong>: Git y GitHub<\/p>\n

Nube:<\/strong> PythonAnywhere<\/p>\n

 <\/p>\n

Ah\u00ed nos dimos cuenta del atrevimiento, en la presentaci\u00f3n nos dijeron que el 15 de Julio tendr\u00edamos el proyecto finalizado (eso es el empuje rom\u00e1ntico de dos personas con entusiasmo y ganas de hacer, admirable), y haci\u00e9ndonos eco de ese esp\u00edritu atrevido de las culturas mediterr\u00e1neas, se nos ocurri\u00f3 que el sentir \u201cNapolitano\u201d sumaba ese \u201cno s\u00e9 qu\u00e9\u201d, as\u00ed que el proyecto tenia nombre, NapolitanoGPT. (Go Ahead!!)<\/p>\n

\"\"<\/p>\n

 <\/p>\n

 <\/p>\n

En Domodesk, forzamos a que crearan un cuaderno de bit\u00e1cora, donde se detalla los avances y trabajos por semanas, por nuestra experiencia, sabemos lo adecuado de documentar un proyecto de I+D (no lo detallamos aqu\u00ed, porque ser\u00eda farragoso de leer para no entendidos\u2026pero est\u00e1 disponible para curiosos en nuestras oficinas), es una manera de ver el esfuerzo de realizar un proyecto en un mes y medio efectivo (sin contar el tiempo anterior de investigaci\u00f3n), una locura de viaje donde nos hemos divertido, sobre todas las cosas.<\/p>\n

 <\/p>\n

\"\" \"\"<\/p>\n

 <\/p>\n

Y, al final, tenemos un producto que podemos comercializar a empresas, y como dijo aquel, \u201clo hicimos porque no sab\u00edamos que era imposible\u201d , hab\u00eda nacido NapolitanoGPT un proyecto realizado en tiempos record, gracias al buen trabajo en equipo, y las ganas de aprender de Filippo y Manuel y su alto potencial para empaparse de todo lo nuevo, y dejarse guiar en esta maravillosa experiencia.<\/p>\n

\"\"<\/p>\n

 <\/p>\n

A fecha de hoy, y despu\u00e9s de haber pasado por demos a m\u00e1s de una docena de personas, que en Domodesk, consideramos referentes en sus distintas ocupaciones y disciplinas, os presentamos el producto.<\/p>\n

 <\/p>\n

Para poder usar, por ejemplo, en servicios t\u00e9cnicos, subiendo manuales de productos y facilitando que personas sin formaci\u00f3n espec\u00edfica puedan encontrar, de forma sencilla, respuestas, o para contratos legales, informes financieros, contenidos propietarios y material de formaci\u00f3n. Haga cualquier pregunta sobre el contenido de sus PDFs y obtenga respuestas claras y razonadas de forma r\u00e1pida.<\/p>\n

\"\"<\/p>\n

 <\/p>\n

 <\/p>\n

A partir del 4 de Septiembre<\/strong>, esperamos tus consultas, \u00bfQuieres contratar un empleado listo sin los costes de un empleado?, \u00bfTu servicio t\u00e9cnico est\u00e1 saturado y necesitas una herramienta que la puedan usar empleados auxiliares sin formaci\u00f3n t\u00e9cnica especifica?<\/strong>…. habla con nosotros\u00a0 y deja que la Inteligencia Artificial sea una ayuda en tu empresa, ponemos a la venta el proyecto en dos modalidades<\/strong>, empotrado en un MiniPC o customizado en la web para las empresas que quieran algo m\u00e1s personalizado.<\/p>\n

Habla con nosotros<\/p>\n

 <\/p>\n","protected":false},"excerpt":{"rendered":"

El 23 de Mayo de 2023, acogimos, como ya es habitual en Domodesk, a dos alumnos en pr\u00e1cticas Erasmus+ italianos, sab\u00edamos que hab\u00edan estudiado un curso de desarrollo web (formaci\u00f3n profesional), y tambi\u00e9n conoc\u00edamos, que contrariamente a otros alumnos que hemos tenido en pr\u00e1cticas, \u00a0iban a estar con nosotros hasta el 10 de Agosto, da Continue Reading<\/a><\/p>\n","protected":false},"author":1,"featured_media":421,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[180,1,134,228],"tags":[98,131,233,231,118,130,229,235,230,234,232],"class_list":["post-413","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-ai-2","category-domodesk","category-empresas","category-ia","tag-ai","tag-artificial","tag-empresas","tag-herramienta","tag-ia","tag-inteligencia","tag-llm","tag-negocio","tag-pdf","tag-pdfs","tag-producto","cat-180-id","cat-1-id","cat-134-id","cat-228-id"],"_links":{"self":[{"href":"https:\/\/www.domodesk.com\/blog\/wp-json\/wp\/v2\/posts\/413","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.domodesk.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.domodesk.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.domodesk.com\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.domodesk.com\/blog\/wp-json\/wp\/v2\/comments?post=413"}],"version-history":[{"count":2,"href":"https:\/\/www.domodesk.com\/blog\/wp-json\/wp\/v2\/posts\/413\/revisions"}],"predecessor-version":[{"id":425,"href":"https:\/\/www.domodesk.com\/blog\/wp-json\/wp\/v2\/posts\/413\/revisions\/425"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.domodesk.com\/blog\/wp-json\/wp\/v2\/media\/421"}],"wp:attachment":[{"href":"https:\/\/www.domodesk.com\/blog\/wp-json\/wp\/v2\/media?parent=413"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.domodesk.com\/blog\/wp-json\/wp\/v2\/categories?post=413"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.domodesk.com\/blog\/wp-json\/wp\/v2\/tags?post=413"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}