En este tutorial mostramos cómo crear una pila local de modelos de lenguaje (LLM) que aprovecha la GPU y combina Ollama con LangChain. Empezamos instalando las librerías necesarias, lanzamos el servidor de Ollama, descargamos un modelo y lo envolvemos en un LLM personalizado para LangChain. Esto nos permite controlar parámetros como la temperatura, el límite de tokens y el contexto.
Además, añadimos una capa de generación aumentada por recuperación (Retrieval-Augmented Generation, RAG) que procesa PDFs o textos, los divide en fragmentos, los transforma en vectores con Sentence-Transformers y ofrece respuestas fundamentadas en esos documentos. También gestionamos la memoria de chat para múltiples sesiones, registramos herramientas (como búsqueda web y consultas RAG) y creamos un agente capaz de decidir cuándo usarlas.
Para empezar, instalamos los paquetes imprescindibles como LangChain, Chroma, FAISS, sentence-transformers y Gradio, que nos ayudará a crear una interfaz sencilla. Luego preparamos la configuración de Ollama, donde definimos el nombre del modelo, la URL local, parámetros para el control de generación y ajustes de rendimiento para aprovechar la GPU y el paralelismo.
Creamos la clase OllamaManager que se encarga de instalar y levantar el servidor de Ollama, verificar su estado, descargar modelos bajo demanda, listar los disponibles localmente y detener el servidor cuando se termine el trabajo. Además, implementamos un PerformanceMonitor para recoger en segundo plano estadísticas de CPU, memoria e inferencias, ayudándonos a medir y optimizar el uso de recursos.
Para conectar Ollama con LangChain, envolvemos las llamadas a la API en la clase OllamaLLM, que también registra tiempos de inferencia para el monitoreo. Esto facilita integrar Ollama en cadenas, agentes y sistemas de memoria propios de LangChain.
Por otro lado, creamos un sistema RAG que carga documentos (PDFs o textos), los divide en fragmentos manejables, los indexa en una base de vectores con FAISS usando embeddings de HuggingFace y arma una cadena de preguntas y respuestas basada en recuperación. Así, podemos hacer consultas que se basan directamente en los documentos cargados.
Para manejar varias sesiones de chat, usamos ConversationManager, que permite mantener un historial con memoria de ventana o resumida para cada usuario. Finalmente, en la clase OllamaLangChainSystem unificamos todo: instalamos y lanzamos Ollama, descargamos el modelo, configuramos el LLM personalizado, el sistema RAG, la gestión de conversaciones y registramos herramientas externas como la búsqueda web y la consulta RAG. Además, creamos un agente que combina estas funcionalidades para responder con razonamiento y acceso a información actualizada.
Probamos funciones básicas de chat, cambiar de modelos, utilizar el agente y consultamos estadísticas de rendimiento. También incluimos una interfaz gráfica con Gradio donde se pueden enviar mensajes, subir documentos para el sistema RAG y visualizar el uso de recursos en tiempo real.
En resumen, este entorno flexible nos permite alternar entre modelos Ollama, conversar con memoria adaptada, hacer preguntas basadas en documentos propios, recurrir a búsqueda externa si falta contexto y monitorear el sistema para asegurarnos de no sobrecargar los recursos. Todo el código está modularizado para facilitar la extensión, ajustar parámetros de inferencia o adaptar el pipeline RAG a diferentes necesidades. La interfaz Gradio permite colaboración o integración rápida en proyectos.
Así, disponemos de una plantilla sólida para experimentar con modelos locales acelerados por GPU, unificando capacidades avanzadas de generación, recuperación, memoria multisession y agentes inteligentes en un único flujo de trabajo.
