Untuk sementara, Google telah menawarkan kemampuan untuk menerjemahkan teks melalui kamera smartphone melalui Google Terjemahan dan Google Lens, dengan Apple menghadirkan teknologi serupa ke iPhone melalui Teks Langsung.
Pegang bir kami, kata peneliti AI di Facebook, yang kini telah mengembangkan teknologi visi komputer yang dapat menangani terjemahan teks real-time dan kemudian beberapa dalam augmented reality.
Pekan ini, Praveen Krishnan, seorang peneliti postdoctoral untuk Facebook, dan Tal Hassner, ilmuwan peneliti, menerbitkan penelitian yang merinci model AI yang tidak diawasi disebut TextStyleBrush yang dapat melihat satu kata yang diketik atau ditulis tangan melalui kamera ponsel cerdas, meniru jenis hurufnya, dan kemudian secara virtual mengganti teks asli dengan kata lain dalam tampilan kamera.
“Ini bekerja mirip dengan cara kerja alat kuas gaya di pengolah kata, tetapi untuk estetika teks dalam gambar. Ini melampaui akurasi mutakhir dalam pengujian otomatis dan studi pengguna untuk semua jenis teks,”tulis para peneliti dalam entri blog.”Tidak seperti pendekatan sebelumnya , yang menentukan parameter spesifik seperti jenis huruf atau pengawasan gaya target, kami mengambil pendekatan pelatihan yang lebih holistik dan menguraikan konten gambar teks dari semua aspek penampilannya di seluruh kotak kata. Representasi tampilan keseluruhan kemudian dapat diterapkan sebagai one-shot-transfer tanpa pelatihan ulang pada sampel gaya sumber baru.”
Sementara aplikasi untuk augmented reality seluler saat ini, terutama jika dibandingkan dengan kemampuan yang diterapkan oleh Google dan Apple, Facebook juga ingin mengintegrasikan TextStyleBruch dalam kacamata pintar.
Peneliti kami membuat AI model yang dapat belajar mengedit teks dalam gambar apa pun dengan melatih hanya satu kata. Ini memiliki potensi besar dalam augmented reality — bayangkan kacamata AR Anda melakukan terjemahan dunia secara real-time, dari rambu jalan ke catatan tulisan tangan pic.twitter.com/O9fHXhrMQI
Selain itu, TextStyleBrush dapat menggunakan kemampuan pengenalan jenis hurufnya untuk mereplikasi contoh jenis huruf atau tulisan tangan dan menerapkannya ke seluruh blok teks. Dalam contoh, sistem mengganti catatan yang diketik hipotetis dari”peri gigi”menjadi seorang anak, menangkap sampel tulisan tangan, dan menampilkan catatan tersebut dalam gaya tulisan tangan pada kertas lepas. Itu bisa menjadi sahabat pemalsu!
Mengenali caranya kekuatan ini bisa jatuh ke tangan yang salah, Facebook telah memilih untuk membuat kode model tersedia sebagai open source.
Secara keseluruhan, perkembangan ini menunjukkan bahwa dunia kacamata pintar AR tidak hanya akan didikte oleh filter yang mengubah wajah dan lanskap dari apa yang kita lihat melalui kacamata pintar kita, tetapi kami juga memiliki opsi (baik dan buruk) untuk memanipulasi informasi yang kami lihat melalui leneses yang akan datang ini.
