Dans le domaine de l’IA, de nouveaux grands modèles de langage sont lancés chaque jour et les choses changent à un rythme effréné. En seulement quelques mois de développement, nous pouvons maintenant exécuter un LLM de type ChatGPT sur notre PC hors ligne. De plus, nous pouvons former un chatbot IA et créer un assistant IA personnalisé. Mais ce qui m’a intrigué récemment, c’est l’approche pratique de Microsoft en matière de développement de l’IA. Microsoft travaille actuellement sur une forme avancée de système d’IA appelé JARVIS (une référence évidente à Iron Man de Marvel) qui se connecte à plusieurs modèles d’IA et répond avec un résultat final. Sa démo est hébergée sur Huggingface et tout le monde peut découvrir les capacités de JARVIS dès maintenant. Donc, si vous êtes intéressé, allez-y et apprenez tout de suite à utiliser Microsoft JARVIS (HuggingGPT).
Table des matières
Qu’est-ce que Microsoft JARVIS (HuggingGPT) ?
Microsoft a développé une sorte de système collaboratif unique où plusieurs modèles d’IA peuvent être utilisés pour accomplir une tâche donnée. Et dans tout cela, ChatGPT agit en tant que contrôleur de la tâche. Le projet s’appelle JARVIS sur GitHub (visit), et il est maintenant disponible sur Huggingface (d’où HuggingGPT) pour les gens à l’essayer. Lors de nos tests, cela a fonctionné à merveille avec des textes, des images, de l’audio et même des vidéos.
Cela fonctionne de la même manière qu’OpenAI a démontré les capacités multimodales de GPT 4 avec des textes et des images. Cependant, JARVIS va encore plus loin et intègre divers LLM open source pour images, vidéos, audio, etc.. La meilleure partie ici est qu’il peut également se connecter à Internet et accéder aux fichiers. Par exemple, vous pouvez saisir l’URL d’un site Web et poser des questions à ce sujet. C’est plutôt cool, non ?
Vous pouvez ajouter plusieurs tâches dans une seule requête. Par exemple, vous pouvez lui demander de générer une image d’une invasion extraterrestre et d’écrire de la poésie à ce sujet. Ici, ChatGPT analyse la demande et planifie la tâche. Après cela, ChatGPT sélectionne le bon modèle (hébergé sur Huggingface) pour accomplir la tâche. Le modèle sélectionné termine la tâche et renvoie le résultat à ChatGPT.
Enfin, ChatGPT génère la réponse à l’aide des résultats d’inférence de tous les modèles. Pour cette tâche, JARVIS a utilisé le modèle Stable Diffusion 1.5 pour générer l’image et a utilisé ChatGPT lui-même pour écrire un poème.
Il y a jusqu’à 20 modèles liés à JARVIS (HuggingGPT). Certains d’entre eux sont t5-base, stable-diffusion 1.5, bert, bart-large-cnn de Facebook, dpt-large d’Intel, et plus encore. Pour résumer, si vous voulez des capacités multimodales dès maintenant, allez-y et consultez Microsoft JARVIS tout de suite. Nous avons expliqué comment le configurer et le tester dès maintenant ici :
Étape 1 : Obtenez les clés pour utiliser Microsoft JARVIS
1. Tout d’abord, rendez-vous sur ce lien, connectez-vous à votre compte OpenAI et cliquez sur”Créer un nouveau clé secrète”pour obtenir votre clé d’API OpenAI. Enregistrez la clé dans un fichier Bloc-notes pour une utilisation ultérieure.
2. Ensuite, ouvrez le site Web huggingface.co (visite) et créez un compte gratuit.
3. Après cela, cliquez sur ce lien pour générer votre jeton Hugging Face. Cliquez sur”Nouveau jeton“dans le volet de droite.
4. Ici, entrez un nom (par exemple, j’ai entré le nom”jarvis”). Ensuite, changez le rôle en”Write”puis cliquez sur”Générer un jeton“.
5. Ensuite, cliquez sur le bouton”copier“, et le jeton sera copié dans le presse-papiers. Enregistrez le jeton dans un fichier Bloc-notes.
Étape 2 : Commencez à utiliser Microsoft JARVIS (HuggingGPT)
1. Pour utiliser Microsoft JARVIS, ouvrez ce lien et collez la clé API OpenAI dans le premier champ. Après cela, cliquez sur”Soumettre”. De même, collez le jeton Huggingface dans le deuxième champ et cliquez sur”Soumettre”.
2. Une fois les deux jetons validés, faites défiler vers le bas et entrez votre requête. Pour commencer, j’ai demandé à JARVIS de quoi parlait la photo et j’ai partagé une URL de l’image.
3. Il a automatiquement téléchargé l’image et utilisé trois modèles d’IA pour la tâche, y compris ydshieh/vit-gpt2-coco-en (pour convertir l’image en texte), facebook/detr-resnet-101 (pour l’objet-détection) et dandelin/vilt-b32-finetuned-vqa (pour la réponse visuelle aux questions). Enfin, il a conclu que la photo contient un chat se regardant dans le miroir. N’est-ce pas incroyable?
4. Dans un autre exemple, je lui ai demandé de transcrire un fichier audio, et il l’a fait en utilisant le modèle OpenAI/whisper-base. Il existe de nombreux cas d’utilisation de JARVIS, et vous pouvez les essayer gratuitement sur HuggingFace.
Utilisez plusieurs modèles d’IA à la fois avec HuggingGPT
C’est ainsi que vous peut utiliser HuggingGPT pour effectuer une tâche en utilisant différents modèles d’IA. J’ai testé JARVIS plusieurs fois, et cela a plutôt bien fonctionné, sauf que vous devez vous retrouver assez souvent derrière la file d’attente. Vous ne pouvez pas exécuter JARVIS localement sur un PC à moitié décent, car il nécessite au moins 16 Go de VRAM et environ 300 Go d’espace pour différents modèles.
Sur Huggingface aussi, vous ne pouvez pas le cloner et sauter la file d’attente sous le compte gratuit. Vous devez vous abonner pour exécuter le modèle puissant sur un Nvidia A10G-un gros GPU qui coûte 3,15 $/heure. Quoi qu’il en soit, tout cela vient de nous. Si vous souhaitez utiliser CodeGPT dans VS Code pour obtenir de l’aide lors de la programmation, rendez-vous sur notre guide lié. Et pour utiliser ChatGPT 4 gratuitement, nous avons une liste prête pour vous. Enfin, si vous avez des questions, faites-le nous savoir dans la section des commentaires ci-dessous.
Laisser un commentaire
L’année dernière, MSI a lancé le Titan GT77 avec le processeur Intel Core i9-12900HX et le GPU pour ordinateur portable RTX 3080 Ti, et c’était l’ordinateur portable de jeu le plus puissant de la planète. C’était le plus gros des gros frappeurs […]
Cela fait quelques mois que la série iPhone 14 a été lancée, et il est bien établi que c’est l’année des modèles Pro. Mais si vous avez l’intention d’opter pour les pros à froufrous, le montant à débourser […]
Wondershare a développé certains des meilleurs logiciels et outils pour simplifier notre vie et nos efforts créatifs au cours des dernières années. En particulier, Wondershare Filmora a reçu de nombreuses distinctions. Il a reçu le prix Video Editing Leader […]