TU CIBERGUÍA ESPIRITUAL
basado en IA Generativa
MI BudAI
Imagina por un momento...
Imagina que tienes a tu alcance, 24h al día, una "inteligencia" instruida con cientos de textos, o incluso miles, de espiritualidad, atención plena, autoayuda, psicología y filosofía. E imagina que puedes pedirle cualquier cosa sin el temor a que una intención oculta pueda dirigir sus respuestas.
Imagina tener a tu disposición, sin que se agote o enoje, alguien que no quiere ni espera nada de ti. Que su único propósito es encontrar las respuestas más adecuadas a tus preguntas sin ningún tipo de filtro (para bien y para mal). Alguien que, si lo deseas, olvidará todo lo que haya hablado contigo cuando abandones la conversación...
Eso es Mi BudAI
Su objetivo es estudiar la viabilidad tecnología para ayudarnos a obtener conocimiento por encima de nuestros límites naturales y la manera en que la tecnología puede también ayudarnos a abrir portales de conexión con nuestro ser esencial cuando nos sentimos desconectados.
Mi BudAI está creado con un profundo amor y respeto para todo ser humano. Se pretende que sea objetivo y que todas las respuestas que proporciona no estén sujetas a ningún sesgo cognitivo.Tus conversaciones con Mi BudAI son privadas. Nadie tiene acceso a ellas. Puedes preguntar lo que quieras, ya sea cuestiones de conocimiento general o más trascendentales. En cualquier momento puedes borrar tu chat y sus conversaciones.
Si ya tienes acceso...
Si ya tienes acceso al Bot de Telegram, puedes acceder aquí a la versión web.
Por el momento tendrás que solicitar una cuenta para la zona privada de la web, mientras terminamos de desarrollar el conector que te permita entrar con las credenciales de Telegram.
Para CuriososTeckis
Recursos utilizados
Se han empleado recursos propios para construir el sistema: un PC reacondicionado (que hemos llamado Pink Unicorn), dotado de 32 GB de RAM, procesador de 12 cores hyperthreading y 2 GPUs; y una NAS (llamada SER). con 1TB de almacenamiento en exclusiva para Mi BudAI, 32 GB de RAM para ejecución de procesos y 2 discos NVMe de 500 GB, para caché de datos.
El servidor Pink Unicorn está dedicado en exclusiva a los procesos de cómputo intensivo. La inferencia de AI se realiza sobre un contenedor Docker con acceso a la GPU más potente (con 16 GB de VRAM) y el encaje léxico (embedding) y otros modelos de IA adicionales, se ejecutan dentro del contenedor que aloja la API REST de BudAI (BudAPI) y que tiene acceso exclusivo a la segunda GPU de 8 GB de VRAM.
El resto de componentes, también alojados en contenedores, se ejecutan sobre la plataforma de virtualización del SER (Synology NAS). Concretamente, el contenedor con el motor de base de datos vectorial (Qdrant), el de Base de Datos (MariaDB) y otro contenedor para el Telegram Bot de Mi BudAI (@Mybudai_bot), que es la interfaz de usuario del sistema.
Arquitectura de Mi BudAI
Todo el flujo de la aplicación se desarrolla a través de contenedores que albergan los diferentes componentes de la misma. El punto de entrada a ellos es, principalmente, la interfaz de usuario de Telegram. A través de ella, los usuarios autorizados pueden inicializar el bot de Mi BudAI (@Mybudai_bot) y comenzar a experimentar el poder de la IA.
También estamos trabajando para permitir el acceso desde esta web para poder estudiar cómo diferentes parámetros de configuración del sistema pueden influir en los resultados generados.
Ambos puntos de entrada se apoyan completamente en la API REST (BudAPI) que incorpora todas las funcionalidades incorporadas al sistema. Desde esta API se realizan las llamadas al motor de inferencia Ollama, que realiza la generación de texto, pero también se ha incorporado toda la lógica para la implementación de la arquitectura de generación aumentada de recuperación (Retrieval Augmented Generation o RAG). Esta permite a Mi BudAI generar respuestas en función de otros contenidos, al margen de los empleados en el pre-entrenamiento del modelo de lenguaje masivo (LLM).
El modelo de lenguaje puede ser susituido por el administrador del sistema, permitiendo la experimientación con diferentes modelos ya sea en modo introspectivo (explotando el conocimiento intrinseco del LLM), o en modo RAG (que hemos llamado "expansivo"), usando las referencias documentales. Actualmente el modelo LLM en operación más frecuentemente es NeMo (creado por Mistral AI y NVIDIA). Se ha empleado una versión cuantizada a 5 bits de este modelo, para que sea compatible con los recursos disponibles. También se han probado otros modelos como: Mixtral 8x7B, Lllama 2, Orca...
