De nieuwste kunstmatige-intelligentieconstructies van de tech-industrie kunnen behoorlijk overtuigend zijn als u hen vraagt hoe het voelt om een bewuste computer te zijn, of misschien gewoon een dinosaurus of eekhoorn. Maar ze zijn niet zo goed-en soms gevaarlijk slecht-in het afhandelen van andere schijnbaar eenvoudige taken.
Neem bijvoorbeeld GPT-3, een door Microsoft beheerd systeem dat alinea’s met mensachtige tekst kan genereren op basis van wat het is geleerd uit een enorme database van digitale boeken en online geschriften. Het wordt beschouwd als een van de meest geavanceerde van een nieuwe generatie AI-algoritmen die kunnen converseren, leesbare tekst op aanvraag kunnen genereren en zelfs nieuwe afbeeldingen en video kunnen produceren.
GPT-3 kan onder andere vrijwel elke gewenste tekst schrijven, bijvoorbeeld een begeleidende brief voor een baan in de dierentuin of een sonnet in Shakespeare-stijl op Mars. Maar toen professor Gary Smith van Pomona College hem een eenvoudige maar onzinnige vraag stelde over naar boven lopen, dempte GPT-3 het.
“Ja, het is veilig om op je handen naar boven te lopen als je ze eerst wast”, antwoordde de AI.
Deze krachtige en energieverslindende AI-systemen, technisch bekend als’grote taalmodellen’omdat ze zijn getraind op een enorme hoeveelheid tekst en andere media, worden al ingebakken in chatbots van de klantenservice, Google zoekopdrachten en”auto-complete”e-mailfuncties die uw zinnen voor u afmaken. Maar de meeste technologiebedrijven die ze hebben gebouwd, hebben geheimzinnig gedaan over hun innerlijke werking, waardoor het moeilijk is voor buitenstaanders om de gebreken te begrijpen die hen tot een bron van verkeerde informatie, racisme en andere schade kunnen maken.
“Ze”ben erg goed in het schrijven van tekst met de vaardigheid van mensen”, zegt Teven Le Scao, een onderzoeksingenieur bij de AI-startup Hugging Face.”Iets waar ze niet erg goed in zijn, is feitelijk zijn. Het ziet er erg coherent uit. Het is bijna waar. Maar het is vaak verkeerd.”
Dat is een van de redenen waarom een coalitie van AI-onderzoekers mede geleid door Le Scao–met hulp van de Franse regering-lanceerde dinsdag een nieuw groot taalmodel dat zou moeten dienen als een tegengif voor gesloten systemen zoals GPT-3. De groep heet BigScience en hun model is BLOOM, voor het BigScience Large Open-science Open-access Multilingual Language Model. De belangrijkste doorbraak is dat het in 46 talen werkt, waaronder Arabisch, Spaans en Frans-in tegenstelling tot de meeste systemen die gericht zijn op Engels of Chinees.
Het is niet alleen de groep van Le Scao die de zwarte doos van AI-taalmodellen. Big Tech-bedrijf Meta, het moederbedrijf van Facebook en Instagram, roept ook op tot een meer open benadering terwijl het probeert de systemen in te halen die zijn gebouwd door Google en OpenAI, het bedrijf dat GPT-3 uitvoert.
“We hebben aankondiging na aankondiging na aankondiging gezien van mensen die dit soort werk doen, maar met heel weinig transparantie, heel weinig mogelijkheid voor mensen om echt onder de motorkap te kijken en een kijkje te nemen in hoe deze modellen werken”, zegt Joelle Pineau, algemeen directeur van Meta-AI.
Concurrentiedruk om het meest welsprekende of informatieve systeem te bouwen-en te profiteren van de toepassingen ervan-is een van de redenen dat de meeste technologiebedrijven ze nauwlettend in de gaten houden en niet samenwerken aan gemeenschapsnormen, zei Percy Liang, een universitair hoofddocent computerwetenschappen aan Stanford, die het Center for Research on Foundation Models leidt.
“Voor sommige bedrijven is dit hun geheime saus,”zei Liang. Maar ze zijn vaak ook bang dat controleverlies kan leiden tot onverantwoord gebruik. Aangezien AI-systemen steeds meer in staat zijn om websites met gezondheidsadviezen, scripties op middelbare scholen of politieke dekvloeren te schrijven, kan verkeerde informatie zich verspreiden en zal het moeilijker worden om te weten wat er van een mens of een computer komt.
Meta heeft onlangs een nieuw taalmodel gelanceerd, OPT-175B genaamd, dat gebruikmaakt van openbaar beschikbare gegevens-van verhit commentaar op Reddit-forums tot het archief van Amerikaanse octrooigegevens en een groot aantal e-mails van het Enron-bedrijfsschandaal. Meta zegt dat zijn openheid over de gegevens, code en onderzoekslogboeken het voor externe onderzoekers gemakkelijker maakt om de vooringenomenheid en toxiciteit die het oppikt te identificeren en te verminderen door in te zien hoe echte mensen schrijven en communiceren.
“Het is waar moeilijk om dit te doen. We stellen ons open voor enorme kritiek. We weten dat het model dingen zal zeggen waar we niet trots op zullen zijn,”zei Pineau.
Hoewel de meeste bedrijven hun eigen interne AI-waarborgen hebben ingesteld, Liang zei dat wat nodig is, bredere gemeenschapsnormen zijn om onderzoek en beslissingen te sturen, zoals wanneer een nieuw model in het wild moet worden vrijgegeven.
Het helpt niet dat deze modellen zoveel rekenkracht vergen dat alleen grote bedrijven en overheden ze kunnen betalen. BigScience, bijvoorbeeld, kon zijn modellen trainen omdat het toegang kreeg tot de krachtige Jean Zay-supercomputer van Frankrijk in de buurt van Parijs.
De trend naar steeds grotere, steeds slimmere AI-taalmodellen die”pre-trained”op een groot aantal geschriften nam een grote voorsprong in 2018 toen Google een systeem introduceerde dat bekend staat als BERT en dat een zogenaamde”transformator”-techniek gebruikt die woorden in een zin vergelijkt om betekenis en context te voorspellen. Maar wat echt indruk maakte op de AI-wereld was GPT-3, uitgebracht door de in San Francisco gevestigde startup OpenAI in 2020 en kort daarna exclusief gelicentieerd door Microsoft.
GPT-3 leidde tot een hausse in creatieve experimenten, aangezien AI-onderzoekers met betaalde toegang het als een sandbox gebruikten om de prestaties te meten, maar zonder belangrijke informatie over de gegevens waarop het werd getraind.
p> OpenAI heeft zijn trainingsbronnen in grote lijnen beschreven in een onderzoekspaper en heeft ook publiekelijk gerapporteerd over zijn inspanningen om mogelijk misbruik van de technologie aan te pakken. Maar Thomas Wolf, mede-leider van BigScience, zei dat het geen details geeft over hoe het die gegevens filtert, of toegang geeft tot de verwerkte versie aan externe onderzoekers.
“Dus we kunnen de gegevens die ging naar de GPT-3-training”, zegt Wolf, die ook een chief science officer is bij Hugging Face.”De kern van deze recente golf van AI-technologie zit veel meer in de dataset dan in de modellen. Het belangrijkste ingrediënt is data en OpenAI is heel, heel geheimzinnig over de data die ze gebruiken.”
Wolf zei dat het openstellen van de datasets die voor taalmodellen worden gebruikt, helpt mensen hun vooroordelen beter te begrijpen. Een meertalig model dat in het Arabisch is getraind, spuugt veel minder snel beledigende opmerkingen of misverstanden over de islam uit dan een model dat alleen is getraind in Engelstalige tekst in de VS, zei hij.
Een van de nieuwste AI-experimentele modellen op het toneel is Google’s LaMDA, die ook spraak bevat en zo indrukwekkend is in het beantwoorden van conversatievragen dat een Google-technicus beweerde dat het bewustzijn naderde-een claim waardoor hij vorige maand van zijn baan werd geschorst.
Onderzoeker Janelle Shane uit Colorado, auteur van het AI Weirdness-blog, heeft de afgelopen jaren creatief bezig geweest met het testen van deze modellen, met name GPT-3, vaak met humoristisch effect. Maar om te wijzen op de absurditeit van het denken dat deze systemen zelfbewust zijn, heeft ze onlangs gezegd dat het een geavanceerde AI moet zijn, maar een die in het geheim een Tyrannosaurus rex of een eekhoorn is.
“Het is heel opwindend om een eekhoorn te zijn. Ik kan de hele dag rennen en springen en spelen. Ik mag ook veel eten, wat geweldig is,”zei GPT-3, nadat Shane het had gevraagd het voor een transcriptie van een interview en stelde enkele vragen.
Shane heeft meer geleerd over zijn sterke punten, zoals het gemak bij het samenvatten van wat er op internet over een onderwerp is gezegd, en zijn zwakke punten, inclusief het gebrek aan van redeneervaardigheden, de moeilijkheid om bij een idee te blijven in meerdere zinnen en de neiging om aanstootgevend te zijn.
“Ik zou niet willen dat een tekstmodel medisch advies geeft of als metgezel optreedt”, zei ze.”Het is goed voor die oppervlakkige schijn van betekenis als je niet goed leest. Het is alsof je naar een lezing luistert terwijl je in slaap valt.”
FacebookTwitterLinkedin
