Exportar este item: EndNote BibTex

Use este identificador para citar ou linkar para este item: http://tede.mackenzie.br/jspui/handle/tede/4414
Tipo do documento: Tese
Título: Codificação de imagens em sinais táteis através de redes neurais convolucionais
Autor: Ribani, Ricardo 
Primeiro orientador: Marengoni, Maurício
Primeiro membro da banca: Silva, Leandro Augusto da
Segundo membro da banca: Correa, Ana Grasielle Dionisio
Terceiro membro da banca: Concilio, Ilana de Almeida Souza
Quarto membro da banca: Escarpinati, Maurício Cunha
Resumo: Este trabalho apresenta a criação de um sistema de substituição sensorial de visão através de um colete com atuadores vibrotáteis posicionados nas costas do usuário. Foi realizada uma pesquisa sobre substituição sensorial e teoria da plasticidade, visando entender melhor a capacidade adaptativa do cérebro e como, na ausência da visão, as informações normalmente processadas por esse sentido podem ser codificadas por meio do tato. Em complemento ao hardware desenvolvido, também foi criado um sistema para codificação de imagens em sinais táteis utilizando redes convolucionais. Além de testes iniciais com modelos de classificação e detecção de objetos, foram avaliados dois métodos novos para codificação de imagens em sinais táteis por meio de redes neurais convolucionais, um bag of convolutional features (BoF) eum vector of locally aggregated descriptors (VLAD). Nesse trabalho, também é apresentado um método totalmente novo para avaliar a propriedade semântica do sinal codificado, baseando-se na ideia de que objetos parecidos devem gerar sinais parecidos na interface tátil. Foi criada a métrica de semantic property evaluation (SPE). Utilizando essa métrica,foi demonstrada a vantagem de utilizar os algoritmos de BoF e VLAD, com valores de SPE de 70,7% e 64,5%, respectivamente, o que é uma melhoria considerável em relação ao método de redução de escala de imagens utilizado por diversos sistemas até então, como o BrainPort, com 56,2% de SPE.
Abstract: The present work proposes the creation of a system that implements the sensory subs- titution of vision through a wearable item with actuators positioned in the back of the user. A research across the sensory substitution and plasticity domain was made in order to understand the capacity of the brain to adapt and investigate ways of encode informa- tion from vision to touch. In addition to the hardware developed, a system is proposed to encode vision-to-touch using convolutional neural networks. Beyond the initial tests with classi_cation and object detection models, we evaluated two methods that have ne- ver been used for encoding vision-to-touch using convolutional neural networks, a bag of convolutional features (BoF) and a vector of locally aggregated descriptors (VLAD). In this work, a very new method is present for evaluating the semantic property of the enco- ded signal by taking the idea that objects with similar features must have similar signals in the tactile interface; we created a semantic property evaluation (SPE) metric. Using this metric, we proved the advantage of using the BoF and VLAD methods, obtaining an SPE of 70.7% and 64.5%, respectively, which is a considerable improvement over the downscaling method used by many systems such as BrainPort, with 56.2%.
Palavras-chave: visão computacional
redes neurais
substituição sensorial
tecnologia assistiva
interface háptica
Área(s) do CNPq: CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::SISTEMAS DE COMPUTACAO
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::METODOLOGIA E TECNICAS DA COMPUTACAO::ENGENHARIA DE SOFTWARE
Idioma: por
País: Brasil
Instituição: Universidade Presbiteriana Mackenzie
Sigla da instituição: UPM
Departamento: Escola de Engenharia Mackenzie (EE)
Programa: Engenharia Elétrica
Agencia(s) de fomento: Fundo Mackenzie de Pesquisa
Citação: RIBANI, Ricardo. Codificação de imagens em sinais táteis através de redes neurais convolucionais. 2020. f. 77. Tese (Engenharia Elétrica) - Universidade Presbiteriana Mackenzie, São Paulo, 2020.
Tipo de acesso: Acesso Aberto
Endereço da licença: http://creativecommons.org/licenses/by-nc-nd/4.0/
URI: http://tede.mackenzie.br/jspui/handle/tede/4414
Data de defesa: 6-Fev-2020
Aparece nas coleções:Doutorado - Engenharia Elétrica e Computação

Arquivos associados a este item:
Arquivo Descrição TamanhoFormato 
RICARDO RIBANI.pdfRICARDO RIBANI.pdf 19.74 MBAdobe PDFBaixar/Abrir Pré-Visualizar


Este item está licenciada sob uma Licença Creative Commons Creative Commons