Al een tijdje biedt Google de mogelijkheid om tekst te vertalen via smartphonecamera’s via Google Translate en Google Lens, waarbij Apple vergelijkbare technologie naar iPhones brengt via Live Text.
Houd ons vast, zeggen AI-onderzoekers van Facebook, die nu computer vision-technologie hebben ontwikkeld die real-time tekstvertaling aankan en sommige ook in augmented reality.
Deze week publiceerden Praveen Krishnan, een postdoctoraal onderzoeker voor Facebook, en Tal Hassner, onderzoekswetenschapper, onderzoek waarin een niet-gecontroleerd AI-model wordt beschreven genaamd TextStyleBrush die een enkel getypt of handgeschreven woord kan bekijken via een smartphonecamera, het lettertype kan emuleren en vervolgens de originele tekst virtueel kan vervangen door een ander woord in de cameraweergave.
“Het werkt vergelijkbaar met de manier waarop stijlpenseeltools werken in tekstverwerkers, maar voor tekstesthetiek in afbeeldingen. Het overtreft de allernieuwste nauwkeurigheid in zowel geautomatiseerde tests als gebruikersonderzoeken voor elk type tekst”, schreven de onderzoekers in een blogbericht.”In tegenstelling tot eerdere benaderingen , die specifieke parameters definiëren, zoals het toezicht op het lettertype of de doelstijl, hanteren we een meer holistische trainingsbenadering en ontwarren we de inhoud van een tekstafbeelding van alle aspecten van het uiterlijk van het hele woordvak. De weergave van het algehele uiterlijk kan vervolgens worden toegepast als one-shot-overdracht zonder hertraining op de nieuwe bronstijlvoorbeelden.”
Terwijl de huidige toepassingen voor mobiele augmented reality, vooral in vergelijking met mogelijkheden die door Google zijn geïmplementeerd en Apple, Facebook heeft ook zijn zinnen gezet op het integreren van TextStyleBruch in zijn aanstaande smartglasses.
Onze onderzoekers hebben een AI gebouwd model dat kan leren de tekst in elke afbeelding te bewerken door op slechts één woord te trainen. Dit heeft een enorm potentieel in augmented reality-stel je voor dat je AR-bril realtime vertaling van de wereld maakt, van straatnaamborden naar handgeschreven notities pic.twitter.com/O9fHXhrMQI
Bovendien kan TextStyleBrush zijn lettertypeherkenningsfunctie gebruiken om lettertypen of handschriftvoorbeelden te repliceren en deze op hele tekstblokken toe te passen. In een voorbeeld vervangt het systeem een hypothetisch getypte notitie van de”tandenfee”naar een kind, legt een handschriftvoorbeeld vast en geeft de notitie weer in de handschriftstijl op losbladig papier. Het kan de beste vriend van een vervalser zijn!
Herkennen hoe deze macht zou in verkeerde handen kunnen vallen, Facebook heeft ervoor gekozen om de code van het model als open source beschikbaar te stellen.
Over het algemeen geeft deze ontwikkeling aan dat een AR-smartglasses-wereld niet alleen zal worden gedicteerd door transformerende filters de gezichten en landschappen van wat we door onze smartglasses zien, maar we hebben ook de (goede en slechte) optie om de informatie die we zien te manipuleren via deze aankomende draaglenzen.
