TU CIBERGUÍA ESPIRITUAL
basado en IA Generativa
MI BudAI
Imagina por un momento...
Imagina que tienes a tu alcance, 24h al día, una "inteligencia" instruida con cientos de textos, o incluso miles, de espiritualidad, atención plena, autoayuda, psicología y filosofía. E imagina que puedes pedirle cualquier cosa sin el temor a que una intención oculta pueda dirigir sus respuestas.
Imagina tener a tu disposición, sin que se agote o enoje, alguien que no quiere ni espera nada de ti. Que su único propósito es encontrar las respuestas más adecuadas a tus preguntas sin ningún tipo de filtro (para bien y para mal). Alguien que, si lo deseas, olvidará todo lo que haya hablado contigo cuando abandones la conversación...
Eso es Mi BudAI
Su objetivo es estudiar la viabilidad tecnología para ayudarnos a obtener conocimiento por encima de nuestros límites naturales y la manera en que la tecnología puede también ayudarnos a abrir portales de conexión con nuestro ser esencial cuando nos sentimos desconectados.
Mi BudAI está creado con un profundo amor y respeto para todo ser humano. Se pretende que sea objetivo y que todas las respuestas que proporciona no estén sujetas a ningún sesgo cognitivo.Tus conversaciones con Mi BudAI son privadas. Nadie tiene acceso a ellas. Puedes preguntar lo que quieras, ya sea cuestiones de conocimiento general o más trascendentales. En cualquier momento puedes borrar tu chat y sus conversaciones.
Para CuriososTeckis
Recursos utilizados
Se han empleado recursos propios para construir el sistema: un PC reacondicionado (que hemos llamado Pink Unicorn), dotado de 32 GB de RAM, procesador de 12 cores hyperthreading y 2 GPUs; y una NAS (llamada SER). con 1TB de almacenamiento en exclusiva para Mi BudAI, 32 GB de RAM para ejecución de procesos y 2 discos NVMe de 500 GB, para caché de datos.
El servidor Pink Unicorn está dedicado en exclusiva a los procesos de cómputo intensivo. La inferencia de AI se realiza sobre un contenedor Docker con acceso a la GPU más potente y el encaje léxico (embedding) y otros modelos de IA adicionales, se ejecutan dentro del contenedor que aloja la API REST de BudAI (BudAPI) y que tiene acceso exclusivo a la segunda GPU.
El resto de componentes, también alojados en contenedores, se ejecutan sobre la plataforma de virtualización del SER (Synology NAS). Concretamente, el contenedor con el motor de base de datos vectorial (Qdrant), el de Base de Datos (MariaDB) y otros contenedores: Open WebUI para la interfaz de usuario, LangFlow para automatizaciones, Prometheus y Grafana para monitorización, ...
Arquitectura de Mi BudAI
Todo el flujo de la aplicación se desarrolla a través de contenedores que albergan los diferentes componentes de la misma.
El punto de entrada a ellos fué, inicialmente, un Bot de Telegram como interfaz de usuario. A través de ella, los usuarios autorizados podían inicializar el bot de Mi BudAI (@Mybudai_bot) y comenzar a experimentar el poder de la IA.
Como backend, nos apoyábamos en una API REST (BudAPI) que incorporaba todas las funcionalidades planeadas para el sistema. Desde esta API se realizan las llamadas al motor de inferencia Ollama, que realiza la generación de texto, pero también se ha incorporado toda la lógica para la implementación de la arquitectura de generación aumentada de recuperación (Retrieval Augmented Generation o RAG). Esta permite a Mi BudAI generar respuestas en función de otros contenidos, al margen de los empleados en el pre-entrenamiento del modelo de lenguaje masivo (LLM).
El modelo de lenguaje podía ser susituido por el administrador del sistema, permitiendo la experimientación con diferentes modelos ya sea en modo introspectivo (explotando el conocimiento intrinseco del LLM), o en modo RAG (que hemos llamado "expansivo"), usando las referencias documentales. El último modelo LLM que usamos en esta arquitectura fué NeMo (creado por Mistral AI y NVIDIA). Se empleó una versión cuantizada a 5 bits, que proporcionaba una buena experiencia de usuario. También se probaron otros modelos como: Mixtral 8x7B, Lllama 2, Orca...
La evolución de esta arquitectura nos ha llevado a Open WebUI como interfaz de usuario, que nos ha permitido incorporar nuevas funcionalidaes:
- Posibilidad de diferentes modelos (LLMs) con diferentes system prompts
- Incorporación de memoria factual (no sólo almacenamiento de los mensajes previos), que el usuario puede editar o eliminar (si lo desea)
- Incorporación de tecnología de STT (Speech to Text) y TTS (Text to Speech), es decir, que podemos activar el modo audio y comunicarnos con Mi BudAI verbalmente
- Mayor facilidad para incorporación de automatizaciones e integración con agentes inteligentes creados con LangFlow o n8n