O Facebook está desenvolvendo um novo sistema baseado em inteligência artificial (IA) que pode analisar suas vidas usando vídeos em primeira pessoa-gravando o que eles veem, fazem e ouvem para ajudá-lo com as tarefas diárias.
Imagine seu dispositivo de RA exibindo exatamente como segurar as baquetas durante uma aula de bateria, guiando você por uma receita, ajudando a encontrar suas teclas perdidas ou relembrando memórias como hologramas que ganham vida na frente de você.
Para realizar este novo potencial de IA, o Facebook AI anunciou’Ego4D’-um projeto de longo prazo que visa resolver desafios de pesquisa em’percepção egocêntrica'(a percepção de direção ou posição de si mesmo com base em informações visuais).
“Reunimos um consórcio de 13 universidades e laboratórios em nove países, que coletaram mais de 2.200 horas de vídeo em primeira pessoa na natureza, com mais de 700 participantes fazendo suas vidas diárias ,”as redes sociais ajuda em uma declaração.
Isso aumenta drasticamente a escala de dados egocêntricos publicamente disponíveis para a comunidade de pesquisa em uma ordem de magnitude, mais de 20 vezes maior do que qualquer outro conjunto de dados em termos de horas de filmagem.
“Os sistemas de IA de próxima geração precisarão aprender com um tipo totalmente diferente de dados-vídeos que mostram o mundo do centro da ação, em vez de apenas os lados”, disse Kristen Grauman, cientista-chefe de pesquisa da Facebook.
Em colaboração com o consórcio e o Facebook Reality Labs Research (FRL Research), o Facebook AI desenvolveu cinco desafios de referência centrados na experiência visual em primeira pessoa que estimulará avanços em direção a aplicativos do mundo real para IA futura assistentes.
Os cinco benchmarks do Ego4D são memória episódica, previsão, manipulação de objetos e mãos,’diarização’audiovisual e interação social.
“Esses benchmarks irão catalisar a pesquisa sobre os blocos de construção necessário para desenvolver um assistente de IA mais inteligente s que podem entender e interagir não apenas no mundo real, mas também no metaverso, onde a realidade física, AR e RV se reúnem em um único espaço”, elaborou o Facebook.
Os conjuntos de dados serão disponível publicamente em novembro deste ano para pesquisadores que assinaram o acordo de uso de dados da Ego4D.
Como um suplemento a este trabalho, os pesquisadores da FRL usaram óculos inteligentes Vuzix Blade para coletar 400 horas adicionais de dados de vídeo de primeira pessoa em ambientes encenados. Esses dados também serão divulgados.
Embora seja fácil para as pessoas se relacionarem com as perspectivas da primeira e da terceira pessoa, a IA hoje não compartilha desse nível de compreensão.
“Para que os sistemas de IA interajam com o mundo da maneira como fazemos, o campo de IA precisa evoluir para um paradigma inteiramente novo de percepção em primeira pessoa”, disse Grauman.”Isso significa ensinar IA a compreender as atividades da vida diária através dos olhos humanos no contexto de movimento em tempo real, interação e observações multissensoriais.”
FacebookTwitterLinkedin
