ChatGPT a bouleversé le monde au cours des derniers mois depuis sa sortie au public. En fait, cela ne fait-il que quelques mois ? L’impact qu’il a eu donne l’impression qu’il existe depuis des années.
Mais malgré toutes ses vertus, il avait un petit défaut qui n’était pas si petit ; il n’a pas eu accès aux informations récentes. La seule information dont il disposait était jusqu’à la mi-2021. Mais OpenAI commence enfin à changer cela. Non, il n’a pas été formé sur des données plus récentes. Cependant, OpenAI met enfin en place une prise en charge précoce des plugins dans ChatGPT qui lui permettent de se connecter à Internet ainsi qu’à certains services tiers !
Que sont les plugins ChatGPT ?
Les plugins sont des outils spécialement conçus pour les modèles de langage. Ils améliorent les capacités du chatbot et lui permettent d’entreprendre des tâches auparavant impossibles. Par exemple, il peut désormais récupérer des informations en temps réel, comme les résultats sportifs, les cours boursiers, effectuer des actions au nom d’un utilisateur, comme la réservation de vols, et récupérer des informations de la base de connaissances, comme les documents de l’entreprise, etc.
Depuis le lancement de ChatGPT, les plugins étaient l’élément le plus demandé par les utilisateurs, et OpenAI a enfin répondu présent. Mais leur sortie va être un déploiement progressif et itératif. Initialement, OpenAI n’a publié que quelques plugins tiers et quelques plugins qui lui sont propres.
L’accès pour les utilisateurs, ainsi que pour les développeurs qui souhaitent créer des plugins, est également actuellement limité. De plus, en tant qu’utilisateur final, l’accès n’est accordé qu’aux utilisateurs de ChatGPT Plus pour le moment, mais ChatGPT indique qu’il prévoit d’étendre le déploiement à l’avenir.
L’accès ne peut être demandé qu’après s’être inscrit sur leur liste d’attente, ce qui implique de remplir un petit questionnaire indiquant pourquoi vous souhaitez y accéder et si vous seriez prêt à donner votre avis.
La liste des plugins tiers comprend :
Expedia-Ce plugin vous permettra de planifier votre prochain voyage avec ChatGPT, avec des informations complètes sur la disponibilité et le prix des hôtels, des vols, etc. FiscalNote-Ce plugin ChatGPT vous permettrait d’accéder à des informations et données juridiques, politiques et réglementaires en temps réel. Instacart-Utilisez ChatGPT pour commander des produits d’épicerie dans les épiceries et les supermarchés à proximité. KAYAK – Utilisez KAYAK dans ChatGPT pour trouver des voitures, des hôtels, des locations, etc. dans les limites de votre budget défini. Klarna Shopping-Recherchez et comparez les prix de diverses boutiques en ligne au sein de votre conversation ChatGPT. Milo Family AI-Le plugin pour les parents pour booster la parentalité. OpenTable-Obtenez des recommandations de restaurants et des liens de réservation dans les chats. Achetez sur Shopify – Recherchez des produits de différentes marques. Slack – Utilisez ChatGPT avec Slack pour rationaliser la communication Parlez – Obtenez un tuteur de langue basé sur l’IA Wolfram – Obtenez ChatGPT pour accéder aux calculs, aux connaissances en mathématiques, etc. 
Il existe également deux plugins d’OpenAI lui-même : Browsing (un navigateur Web) et un interpréteur de code, et un plugin open-source, appelé Retriever. Tous les plugins sont actuellement en phase de test Alpha.
Comment fonctionnent ces plugins ?
Selon OpenAI, les plugins sont”les yeux et les oreilles”pour les modèles de langage comme ChatGPT. Le fait concernant les modèles de langage est qu’ils ne peuvent apprendre qu’à partir de leurs données d’apprentissage et que l’apprentissage peut être limité. ChatGPT ne peut fournir que des instructions textuelles. Ces plugins peuvent lui faire suivre ces instructions ainsi que mettre à disposition des informations trop récentes, trop personnelles ou trop spécifiques et qui ne pourraient pas être incluses dans les données d’entraînement.
Mais il y a un problème de sécurité qui se pose lorsque vous pensez à un modèle d’IA en suivant des instructions et en effectuant des actions en votre nom. C’est la raison pour laquelle les plugins sont déployés lentement. OpenAI les construit avec la sécurité comme principe de base et surveillera leur utilisation dans le monde réel.
Regardons comment fonctionnent certains de ces modèles de plugins.
Navigation
Il s’agit du plugin qui connecte ChatGPT à Internet et est l’un des deux plugins d’OpenAI lui-même. Le plugin utilise l’API de recherche Bing de Microsoft dans une tournure des événements pas si curieuse; les deux sociétés ont conclu des accords depuis des années. Outre les investissements initiaux, Microsoft utilise désormais également la technologie OpenAI pour alimenter son nouveau Bing AI.
Le modèle sait non seulement comment naviguer sur Internet, mais il sait également quand naviguer sur Internet et quand ne pas le faire. Par exemple, lorsqu’un utilisateur demande à ChatGPT des informations sur les Oscars 2023, il recherche avec précision la requête sur Internet. Mais lorsqu’on l’interroge sur les premiers Oscars jamais organisés, il ne recherche pas sur Internet, car cette information fait partie de ses données d’entraînement.
Remarque : D’après les apparences initiales, il semble que”Browsing”et”Code Interpreter”soient des modèles distincts des”Plugins”. La façon dont cela semble fonctionner est que vous sélectionneriez le modèle que vous souhaitez actuellement utiliser dans le menu déroulant, qui se compose de trois options: navigation, interpréteur de code et plugins.
Ainsi, pour que ChatGPT navigue sur Internet, vous devrez sélectionner le modèle/plugin”Navigation”.
Crédits : OpenAI
Désormais, lorsqu’un utilisateur saisit une invite qui l’oblige à naviguer sur Internet, il le fera ; le processus prendra un certain temps car le bot aura besoin de temps pour se familiariser avec les informations. Vous pouvez voir le flux d’action de ChatGPT jusqu’à ce qu’il génère une réponse en développant la vignette”Naviguer sur le Web…”.
Crédits : OpenAI
Là, vous pouvez voir quelles requêtes il a recherchées, sur quels liens il a cliqué et quand il lit en temps réel. Il utilise un navigateur Web basé sur du texte pour pouvoir aller au-delà des résultats de la recherche et lire et naviguer sur les sites Web.
Crédits : OpenAI
Une fois que ChatGPT aura pris connaissance des événements, il vous donnera une réponse dans son modèle de langage naturel, comme auparavant. Mais la réponse inclura des citations lorsqu’elle sera générée avec le modèle de navigation. En cliquant sur la citation, vous serez redirigé vers le site Web. Cet aspect particulier est le même que Bing Chat AI.
Du point de vue de la sécurité, le navigateur textuel ne peut faire que des requêtes GET, ce qui réduit certains risques. Par exemple, le modèle peut uniquement récupérer des informations sur Internet, mais il ne peut pas effectuer d’opérations”transactionnelles”, comme soumettre un formulaire.
Code Interpreter
Le modèle Code Interpreter, le deuxième plugin d’OpenAI, fournit à ChatGPT un interpréteur Python. Il lui fournit également un espace disque de courte durée.
La session est active pendant un seul chat, donc le prochain appel peut s’ajouter à un appel précédent mais il y a une limite de temps supérieure. De plus, l’interpréteur de code prend également en charge le téléchargement de fichiers et le téléchargement de fichiers avec les résultats.
Pour le garder en sécurité, OpenAI le garde dans un environnement d’exécution en bac à sable et pare-feu. L’accès à Internet est également désactivé pour l’interpréteur de code. Selon OpenAI, même si cette décision limite les fonctionnalités du modèle, ils estiment que c’est la bonne décision au départ.
Le modèle ‘Code Interpreter’ doit être sélectionné avant de commencer la conversation.
Crédits : OpenAI
Une fois que l’utilisateur a saisi les invites qui nécessitent l’utilisation du plugin Code Interpreter, ChatGPT commencera à l’utiliser pour effectuer les calculs requis. Comme pour la navigation, l’utilisateur peut voir le flux de calculs de ChatGPT en cliquant sur”Afficher le travail”et toutes les étapes du calcul seront visibles.
Crédits : OpenAI
Lors des premiers tests, OpenAI a découvert que ce plugin était utile dans certains scénarios. Celles-ci incluent :
Résoudre des problèmes mathématiques, à la fois quantitatifs et qualitatifs, pour lesquels, très franchement, les utilisateurs trouvaient que ChatGPT était nul auparavant. Faire de l’analyse et de la visualisation de données, ce qui enthousiasme beaucoup d’utilisateurs. Conversion de fichiers entre les formats
OpenAI s’attend à ce que les utilisateurs découvrent des tâches plus utiles que l’interpréteur de code peut effectuer au fur et à mesure qu’ils l’essaient.
Plug-ins tiers
Le reste des plug-ins tombe sous le modèle Plugins. Cela inclut également le plugin open-source Retriever d’OpenAI que les développeurs pourront utiliser et 12 plugins tiers.
Une fois le modèle de plugins sélectionné dans la liste déroulante, l’utilisateur peut installer les plugins souhaités à partir du magasin.
Crédits : OpenAI
Voici comment les plugins fonctionneront en quelques mots :
Une fois que les utilisateurs activent un plugin en l’installant (ils ont gagné’t être automatiquement activé) et commencer la conversation, OpenAI injectera une description compacte du plugin à ChatGPT dans un message. Ce message n’est pas visible pour les utilisateurs finaux, mais il inclura la description du plug-in, les points de terminaison et des exemples. Ainsi, jusqu’à ce que vous choisissiez d’utiliser un plugin dans une conversation, ChatGPT n’en aura aucune connaissance. Vous devez activer les plugins que vous souhaitez utiliser dans chaque conversation.
Crédits : OpenAI
Maintenant, vous pouvez soumettre votre requête à ChatGPT. Si le bot trouve pertinent d’invoquer le plugin, il le fera à l’aide d’un appel API. En d’autres termes, il peut décider lui-même si un plugin doit être invoqué.
Il inclura ensuite les résultats qu’il obtient du plugin dans la réponse qu’il génère pour vous.
Voici un exemple de la façon dont ChatGPT utilise les plugins d’OpenTable, Wolfram et Instacart. Un utilisateur demande à ChatGPT de recommander un restaurant végétalien pour le samedi et une recette végétalienne pour le dimanche. Ils lui demandent également de calculer les calories pour la recette qu’il recommande d’utiliser Wolfram ainsi que de commander les ingrédients de la recette sur Instacart. Le bot AI fait exactement cela.
Crédits : OpenAI
Tout d’abord, il utilise OpenTable pour recommander un restaurant et un lien pour faire une réservation.
Crédits : OpenAI
Il recommande une recette végétalienne (ce qu’il pouvait faire auparavant) puis calcule les calories de la recette à l’aide de Wolfram.
Crédits : OpenAI
Enfin, il ajoute tous les ingrédients requis au panier sur Instacart et présente à l’utilisateur le lien sur lequel l’utilisateur peut simplement cliquer pour compléter la commande !
Crédits : OpenAI
Les plugins vont complètement changer le fonctionnement de ChatGPT. La vitesse à laquelle l’IA progresse au cours des derniers mois en fait une période tout aussi effrayante et agréable à vivre, n’est-ce pas ?
