O aplicativo Aipoly possui uma visão inteligente que permite identificar cenas. Este software tem suas raízes na inteligencia artificial, para realizar um reconhecimento de objetos orientado a oferecer certos beneficios aos cegos ou pessoas com deficiência visual. Com esta ideia na cabeça seus criadores o desenvolveram, como um projeto dentro da Singularity University, uma instituição acadêmica do Vale do Silício patrocinada pela NASA e por Google.

Marita Cheng e Alberto Rizzoli são dois dos matriculados na Singularity University, e os motores de Aipoly. A ideia foi inspirada em um amigo cego da família de Rizzoli. Para que as pessoas com deficiência visual saibam algo mais do ambiente que lhes rodeia em um determinado momento, às vezes uma pessoa que vê e está ao seu lado lhes descreve as coisas. Trata-se de explicar o que é, o que acontece ou o que há além dos outros sentidos.

Aipoly faz exatamente isso: permite tirar uma foto de um objeto ou de uma cena e o software narra de viva voz o que aparece na imagem. Trata-se de automatizar o trabalho que realiza uma pessoa quando um cego lhe pergunta o que há ao seu redor ou a sua frente. O aplicativo emprega inteligência artificial para realizar o processo de reconhecimento, em concreto visão artificial e aprendizagem automática.

Funcionamento baseado em dados e inteligência artificial

Quando um usuário tira uma foto, se envia aos servidores do aplicativo. Ali é feito o processamento da imagem, e após a identificação dos objetos ou da cena, devolve a informação em forma de texto, como mensagem de voz. O processamento é a parte fundamental. Realiza-se através de redes neurais convolucionais (CNN), que subdividem a fotografia em vários “pontos importantes” e associa cada um deles com objetos concretos.

Do momento que o usuário faz a foto até receber a informação falada podem passar entre 5, com uma conexão rápida de WiFi, e 20 segundos com conexões móveis lentas ou para imagens que necessitem um grande processamento.

Aipoly não só pode identificar objetos, mas também as relações que estes guardam entre si em uma imagem. Graças ao avanço da visão artificial, hoje em dia um sistema como o que utiliza este aplicativo, pode distinguir que em uma foto há uma pessoa sobre uma bicicleta, ao em vez de descrever simplesmente que aparece uma pessoa e uma bicicleta.

Até o momento a equipe de Aipoly não utiliza seus próprios algoritmos, mas está trabalhando em uma base de dados própria, a partir da qual treinar o sistema. Até agora a tecnologia treinou com ao redor de 300.000 imagens e vai em aumento. Os criadores pensam concentrar-se em objetos que possam ser úteis aos deficientes visuais, como sinais de tráfego.

Claro, que o sistema tem as suas falhas. Não diferencia adequadamente o sexo de uma pessoa, nem as expressões faciais, a não ser que sejam muito marcantes.

Imagens: lecercle