En un tutorial anterior, demostramos cómo puede entrenar un chatbot de IA personalizado utilizando la API de ChatGPT. Si bien funciona bastante bien, sabemos que una vez que se agota su crédito gratuito de OpenAI, debe pagar la API, que no es asequible para todos. Además, varios usuarios no se sienten cómodos compartiendo datos confidenciales con OpenAI. Entonces, si desea crear un chatbot de IA privado sin conectarse a Internet ni pagar dinero por el acceso a la API, esta guía es para usted. PrivateGPT es un nuevo proyecto de código abierto que le permite interactuar con sus documentos de forma privada en una interfaz de chatbot de IA. Para obtener más información, aprendamos cómo entrenar un chatbot de IA personalizado usando PrivateGPT localmente.
Tabla de contenido
Requisitos para configurar PrivateGPT en su PC
1. Para ejecutar PrivateGPT localmente en su máquina, necesita una máquina de gama media a alta. No puede ejecutarlo en computadoras portátiles/de escritorio más antiguas. Para darle una breve idea, probé PrivateGPT en una PC de escritorio de nivel de entrada con un procesador Intel i3 de 10.ª generación y tardé cerca de 2 minutos en responder a las consultas. Tenga en cuenta que PrivateGPT no usa la GPU. Actualmente, solo depende de la CPU, lo que empeora aún más el rendimiento. Sin embargo, si desea probar el proyecto, seguramente puede seguir adelante y comprobarlo.
2. PrivateGPT se puede usar sin conexión sin conectarse a ningún servidor en línea ni agregar ninguna clave API de OpenAI o Pinecone. Para facilitar esto, ejecuta un modelo LLM localmente en su computadora. Por lo tanto, deberá descargar un modelo LLM compatible con GPT4All-J en su computadora. He agregado pasos detallados a continuación para que los siga.
Configurar el entorno para entrenar un chatbot de IA privado
1. Primero, debe instalar Python 3.10 o posterior en su computadora con Windows, macOS o Linux. Puede hacer clic en este enlace para descargar Python de inmediato.
2. A continuación, ejecute el archivo de instalación y asegúrese de habilitar la casilla de verificación”Agregar Python.exe a PATH“. Después de eso, haga clic en”Instalar ahora”y siga los pasos habituales para instalar Python.
3. A continuación, deberá instalar Visual Studio 2022 si está utilizando Windows. Esto se hace para obtener la herramienta CMake de C++ y los componentes de UWP . Haga clic en este enlace y descargue la versión”Comunidad”de forma gratuita.
4. Ahora, ejecute la instalación y descargará otro instalador. Aparecerá una ventana donde podrá elegir los componentes. Desplácese hacia abajo y seleccione”Desarrollo de escritorio con C++“y”Desarrollo de plataforma universal de Windows”.
5. A continuación, haga clic en el botón”Instalar“en la esquina inferior derecha. Después de la instalación, reinicie su computadora. No necesita usar Visual Studio a partir de entonces, pero manténgalo instalado.
6. Finalmente, continúa y descarga el modelo predeterminado (“groovy”) de aquí. El tamaño es de alrededor de 3,5 GB. Puedes descargar otros modelos desde este enlace si tienes una computadora más potente.
Cómo para configurar PrivateGPT en su PC localmente
1. Primero, abra el enlace de GitHub del repositorio de privateGPT y haga clic en”Código”a la derecha. Aquí, haz clic en “Descargar ZIP.”
2. Ahora, abre el archivo ZIP y extrae la carpeta llamada”privateGPT-main”.
3. A continuación, abra la carpeta”privateGPT-main”y cree una nueva carpeta llamada”modelos“.
4. En la carpeta”modelos”, pegue el modelo”genial”que descargó anteriormente.
5. Ahora, regrese a la carpeta principal y encontrará un archivo”example.env”. Cámbiele el nombre simplemente como el archivo “.env”.
6. Ahora, haz clic derecho en el archivo “.env” y ábrelo con Bloc de notas.
7. Si ha descargado un modelo diferente, puede definirlo en”MODEL_PATH”. Dado que estamos utilizando el modelo predeterminado, no se necesita ningún cambio. Puede cerrar el Bloc de notas ahora.
8. A continuación, abra la carpeta”source_documents“. Aquí, puede agregar todo tipo de documentos para entrenar el chatbot de IA personalizado. Como ejemplo, el desarrollador ha agregado una transcripción de la dirección del Estado de la Unión en formato TXT. Sin embargo, también puede agregar aquí archivos PDF, DOC, DOCX, CSV, EPUB, TXT, PPT, PPTX, ODT, MSG, MD, HTML, EML y ENEX.
Tren un chatbot de IA personalizado usando PrivateGPT
1. Finalmente, es hora de entrenar un chatbot de IA personalizado usando PrivateGPT. Abre Terminal en tu computadora. Si está utilizando Windows, abra la Terminal de Windows o el Símbolo del sistema.
2. Ahora, haz clic con el botón derecho en la carpeta”privateGPT-main”y elige”Copiar como ruta“. Esto copiará la ruta de la carpeta.
3. Ahora, regrese a la Terminal y escriba cd, agregue un espacio y pegue la ruta haciendo clic derecho en la ventana de la Terminal. Se verá algo como a continuación.
cd”C:\Users\mearj\Downloads\privateGPT-main”
4. A continuación, pulsa Intro y pasarás a la carpeta privateGPT-main.
5. Una vez que esté en la carpeta, ejecute el siguiente comando y comenzará a instalar todos los paquetes y dependencias. El proceso puede tardar de 10 a 15 minutos en completarse, así que tenga paciencia. Si recibe algún error, ejecute el siguiente comando nuevamente y asegúrese de que Visual Studio esté correctamente instalado junto con los dos componentes mencionados anteriormente.
pip3 install-r requisitos.txt 
6. Una vez que todas las dependencias estén instaladas, ejecute el siguiente comando para crear incrustaciones locales y vectorstore. Este proceso tardará unos segundos dependiendo del corpus de datos agregado a”source_documents”. Es posible que los usuarios de macOS y Linux tengan que usar python3 en lugar de python en el siguiente comando.
python ingesta.py 
7. Finalmente, ejecute PrivateGPT ejecutando el siguiente comando. Se le pedirá que ingrese su consulta. Ingrese su pregunta y presione Enter.
python privateGPT.py 
8. En mi PC de escritorio con tecnología Intel i3 de 10.ª generación, tardé cerca de 2 minutos en responder una consulta. Después de cada respuesta, también mostrará cuatro fuentes de donde obtuvo el contexto.
9. Para detener la conversación, escribe salir y pulsa Intro.
Tú También puede apagar Internet, pero el chatbot privado de IA seguirá funcionando ya que todo se hace localmente. PrivateGPT aún no tiene una interfaz web, por lo que tendrá que usarla en la interfaz de línea de comandos por ahora. Además, actualmente no aprovecha la GPU, lo cual es un fastidio. Una vez que se introduzca la compatibilidad con GPU, el rendimiento mejorará mucho. Finalmente, para cargar el chatbot PrivateGPT AI, simplemente ejecute python privateGPT.py si no ha agregado nuevos documentos a la carpeta de origen.
Deja un comentario
Hay mucho debate en Internet sobre AR (realidad aumentada) vs VR (realidad virtual), así que no añadiré más leña al fuego, pero una de las cosas que hemos notado mientras usar el Nreal Air es que la realidad virtual […]
Hay algunas elecciones de diseño cuestionables en Redfall, una mezcolanza de la famosa fórmula Arkane a medio cocer. Me encantan los juegos creados por Arkane Studios, y Dishonored se convirtió en un título que reviso de vez en cuando por su jugabilidad emergente única. Y […]
El monitor BenQ PD2706UA está aquí, y viene con todas las comodidades que los usuarios de productividad apreciarían. Resolución 4K, colores calibrados de fábrica, un panel de 27 pulgadas, un soporte ergonómico que se puede ajustar fácilmente y más. Tiene muchos […]
