Hay una serie de reproductores de IA en el mercado en este momento, incluidos ChatGPT, Google Bard, Bing AI Chat y muchos más. Sin embargo, todos requieren que tengas una conexión a Internet para interactuar con la IA. ¿Qué sucede si desea instalar un modelo de lenguaje grande (LLM) similar en su computadora y usarlo localmente? Un chatbot de IA que puede usar de forma privada y sin conexión a Internet. Bueno, con el nuevo modelo Alpaca lanzado por Stanford, puedes acercarte a esa realidad. Sí, puede ejecutar un modelo de idioma similar a ChatGPT en su PC sin conexión. Entonces, en esa nota, avancemos y aprendamos cómo usar un LLM localmente sin Internet.
Ejecute un LLM similar a ChatGPT localmente sin Internet (privado y seguro)
En este artículo, mencioné todo sobre cómo ejecutar un LLM similar a ChatGPT en una PC local sin La Internet. Puede expandir la tabla a continuación y conocer los pasos en detalle.
Tabla de contenido
¿Qué es Alpaca y LLaMA?
Alpaca es un pequeño modelo de lenguaje de IA desarrollado por un grupo de informáticos de la Universidad de Stanford. Lo único de Alpaca es lo pequeño y rentable que es. Con solo 7 mil millones de parámetros, Alpaca es tan bueno como el modelo text-davinci-003 de OpenAI. Y puede ejecutarlo en su computadora local sin necesidad de una conexión a Internet. Eso es genial, ¿verdad?
Imagen: Stanford.edu
¿Pero cómo se entrenó? Sorprendentemente, Alpaca está afinado en LLaMa, el modelo de lenguaje grande de Meta que recientemente filtrado en línea. Y para entrenar este modelo de lenguaje, los científicos usaron el modelo”text-davinci-003″de OpenAI para generar 52K datos de autoaprendizaje de alta calidad. Con este conjunto de datos, ajustaron el modelo LLaMA usando el marco de entrenamiento de HuggingFace y lanzaron el Alpaca 7B. También puede usar el modelo LLaMA de Meta, pero en mis pruebas, Alpaca LLM de Stanford funcionó mucho mejor y también es bastante rápido.
¿Qué tipo de hardware necesita para ejecutar Alpaca?
Puede usar Alpaca 7B en cualquier máquina decente. Instalé Alpaca 7B en mi PC básica y funcionó bastante bien. Para darle una idea, mi PC funciona con un procesador Intel i3 de décima generación con 256 GB de SSD y 8 GB de RAM. Para la GPU, estoy usando la GPU GeForce GT 730 de nivel de entrada de Nvidia con 2 GB de VRAM.
Alpaca-lora (7b) を Raspberry Pi CM4 で 動かし て み まし た ^^)/とても ゆっくり です が 、 この 小さな 筐体 で 話し て くれる の は 、 とても 可愛い です ね ね ね ね ね ね ね ね ね ね ね ね ね ね ね ね ね ね ね ね ね ね ね ね ね ね😍 #LLM #IoT pic.twitter.com/SyP3HZhMYX— 30.° aniversario de Mitsunori SATOMI＠VR (@gravitino) marzo 20 de enero de 2023
Incluso sin una GPU dedicada, puedes ejecutar Alpaca localmente. Sin embargo, el tiempo de respuesta será lento. Aparte de eso, hay usuarios que han podido ejecutar Alpaca incluso en una computadora pequeña como Raspberry Pi 4. Por lo tanto, puede inferir que el modelo de lenguaje Alpaca también puede ejecutarse muy bien en computadoras de nivel de entrada.
Configure el entorno de software para ejecutar Alpaca y LLaMA
Windows
En Windows, necesita instalar Python, Node.js y C++ para comenzar con el uso de un modelo de lenguaje grande fuera de línea en su computadora. Aquí está cómo hacerlo.
1. Primero, descargue Python 3.10 (o anterior) desde aquí. Desplácese hacia abajo y haga clic en”Instalador de Windows (64 bits)”para descargar el archivo de instalación.
2. Inicie el archivo de instalación y active la casilla de verificación junto a”Agregar Python.exe a PATH“. Ahora, instale Python con todas las configuraciones predeterminadas.
3. Después de eso, instale Node.js versión 18.0 (o superior) desde aquí. Mantenga todo predeterminado mientras instala el programa.
4. Finalmente, descargue la edición”Community”de Visual Studio desde este enlace de forma gratuita.
5. Inicie el archivo de instalación de Visual Studio 2022 e inicialmente descargará algunos archivos. Después de eso, se abrirá una nueva ventana. Aquí, asegúrese de que”Desarrollo de escritorio con C++“esté habilitado.
6. Finalmente, haga clic en”Instalar“y espere hasta que se complete la instalación.
7. Recomiendo reiniciar su computadora una vez que todo esté instalado. A continuación, abra”Símbolo del sistema“y ejecute los siguientes comandos para verificar si Python y Node.js se instalaron correctamente. Ambos deben devolver el número de versión. Ahora está listo para comenzar.
python–version node–version 
Apple macOS
Python generalmente viene preinstalado en macOS, por lo que solo necesita instalar Node.js (versión 18.0 o superior). Así es como puede hacerlo:
1. Descargue el instalador de macOS Node.js (versión 18.0 o superior) desde el enlace aquí.
2. A continuación, abra la Terminal y ejecute el siguiente comando para comprobar si Node.js está instalado correctamente. Si obtiene un número de versión a cambio, está listo para comenzar.
nodo–version 
3. A continuación, verifique la versión de Python ejecutando el siguiente comando. Debe ser Python 3.10 o inferior.
python3–versión
4. Si no obtiene resultados o tiene la última versión de Python, descargue Python 3.10 (o anterior) desde aquí. Desplácese hacia abajo y haga clic en”instalador universal2 de macOS de 64 bits“para descargar Python. Ahora, instálalo en tu Mac.
Linux y ChromeOS
En Linux y ChromeOS, debe configurar Python y Node.js antes de ejecutar sin conexión Modelos Alpaca y LLaMA. Estos son los pasos a seguir.
1. Abra la Terminal y ejecute el siguiente comando para verificar la versión de Python. Si es Python 3.10 o anterior, ya está todo listo.
python3–version 
2. En caso de que tenga una versión superior, puede usar los siguientes comandos para instalar Python 3.10 en Linux y ChromeOS.
sudo apt install software-properties-common sudo add-apt-repository ppa:deadsnakes/ppa sudo apt-get update sudo apt-get install python3.10 
3. Después de Python, instale Node.js ejecutando el siguiente comando.
sudo apt install nodejs 
4. Después de la instalación, ejecute el siguiente comando para comprobar la versión de Node.js. Debe ser 18.0 o superior.
nodo–version 
Instala los modelos Alpaca y LLaMA en tu computadora
Una vez que hayas configurado Python y Node.js, es hora de instalar y ejecutar un LLM similar a ChatGPT en su PC. Asegúrese de que la Terminal detecte los comandos de python y node antes de continuar.
1. Abra la Terminal (en mi caso, Símbolo del sistema) y ejecute el siguiente comando para instalar el modelo Alpaca 7B LLM (se requieren alrededor de 4,2 GB de espacio en disco). Si desea instalar el modelo Alpaca 13B, reemplace 7B con 13B. El modelo más grande necesita 8,1 GB de espacio.
npx dalai alpaca instalar 7B 
2. Ahora, escriba”y“y presione Entrar. Esto iniciará la instalación del modelo Alpaca 7B. Todo el proceso tomará de 20 a 30 minutos, según la conexión a Internet y el tamaño del modelo.
3. Una vez finalizada la instalación, verá una pantalla como esta.
4. Puede optar por instalar modelos LLaMA también o pasar al siguiente paso para probar el modelo Alpaca al instante. Recuerda, LLaMA es mucho más grande en tamaño. Su modelo 7B ocupa hasta 31 GB de espacio. Para instalarlo, ejecute el siguiente comando. Puede reemplazar 7B con 13B, 30B y 65B. El modelo más grande ocupa hasta 432 GB de espacio.
npx dalai llama install 7B 
5. Finalmente, ejecute el siguiente comando y iniciará el servidor web instantáneamente.
npx servicio dalai 
6. Use un navegador web en su PC y abra la siguiente dirección. Esto lo llevará a la interfaz de usuario web donde puede probar los modelos Alpaca y LLaMA localmente y sin Internet.
http://localhost:3000 
7. Aquí, debe elegir el modelo”Alpaca 7B“o”LLaMA 7B”en el menú desplegable”modelo”en la esquina superior derecha. Como solo he instalado el modelo Alpaca 7B, este es mi predeterminado.
8. Ahora puede comenzar a usar este modelo de lenguaje similar a ChatGPT en su PC sin conexión a Internet. Reemplace”PROMPT”con su consulta y haga clic en”Ir”.
9. Así es como se ve el uso de recursos mientras ejecuto el servidor LLM de Alpaca local en mi PC con Windows.
10. En caso de que desee eliminar los modelos descargados para liberar espacio en disco, abra el directorio de su perfil de usuario. Aquí, la carpeta”dalai”tiene todos los archivos, incluido el modelo. Eliminar la carpeta”dalai”liberará espacio inmediatamente.
Usar un servicio similar a ChatGPT de forma privada y completamente fuera de línea
Así es como puede ejecutar un LLM similar a ChatGPT en su PC local y obtener resultados decentes también. A medida que pase el tiempo, estarán disponibles en el futuro modelos LLM nuevos y altamente eficientes que se pueden ejecutar en teléfonos inteligentes y computadoras de placa pequeña como Raspberry Pi. De todos modos, eso es todo de nuestra parte. Si desea utilizar ChatGPT 4 de forma gratuita, diríjase a nuestro artículo vinculado para obtener algunos recursos increíbles. Y en caso de que desee entrenar un chatbot de IA basado en sus propios documentos, tenemos una guía detallada lista para usted. Finalmente, si tiene algún problema, háganoslo saber en la sección de comentarios a continuación.
Deja un comentario
El año pasado, MSI lanzó la Titan GT77 con Intel Core i9-12900HX y la GPU RTX 3080 Ti Laptop, y fue la computadora portátil para juegos más poderosa sobre la faz del planeta. Fue el más pesado de los pesos pesados […]
Han pasado algunos meses desde que se lanzó la serie iPhone 14, y se ha establecido bien que es el año de los modelos Pro. Pero si tiene la intención de optar por los profesionales con volantes, la cantidad para descascarar […]
Wondershare ha estado desarrollando algunos de los mejores software y herramientas para simplificar nuestra vida y nuestros esfuerzos creativos durante los últimos años. En particular, Wondershare Filmora ha recibido numerosos elogios. Recibió el premio Video Editing Leader […]
