Busca avançada
Ano de início
Entree

Meta-aprendizado aplicado à busca de arquiteturas de redes neurais profundas

Processo: 19/19994-2
Linha de fomento:Bolsas no Brasil - Doutorado
Vigência (Início): 01 de dezembro de 2019
Vigência (Término): 28 de fevereiro de 2023
Área do conhecimento:Ciências Exatas e da Terra - Ciência da Computação - Sistemas de Computação
Pesquisador responsável:André Carlos Ponce de Leon Ferreira de Carvalho
Beneficiário:Gean Trindade Pereira
Instituição-sede: Instituto de Ciências Matemáticas e de Computação (ICMC). Universidade de São Paulo (USP). São Carlos , SP, Brasil
Vinculado ao auxílio:13/07375-0 - CeMEAI - Centro de Ciências Matemáticas Aplicadas à Indústria, AP.CEPID
Assunto(s):Aprendizado computacional   Aprendizagem profunda   Visão computacional

Resumo

O aprendizado profundo tem possibilitado uma série de avanços em tarefas complexas, como a detecção e segmentação de objetos em imagens, classificação de objetos, e a geração de imagens ultrarrealistas. Tal progresso foi possível graças a quantidade massiva de dados disponíveis atualmente e aos hardwares agora capazes de processar tais informações de maneira otimizada. Outro ponto importante foram os mecanismos de extração de características presentes em redes neurais, além das arquiteturas neurais cada vez mais sofisticadas. No entanto, apesar de arquiteturas construídas manualmente terem sido bem-sucedidas ao longo dos anos, essa prática apresenta diversas limitações. Uma delas é o tempo gasto por especialistas no processo de ajuste dos hiper-parâmetros, que poderia ser melhor aproveitado em tarefas menos manuais e que exigem maior conhecimento do especialista. Outra limitação é a falta de uma estratégia automatizada que guie a busca. Geralmente, arquiteturas são definidas em um processo empírico onde não existem mecanismos que auxiliem na tomada de decisão. Além disso, a definição manual limita a qualidade das arquiteturas neurais, que é mediada pelo conhecimento do especialista. Motivadas por essas questões, pesquisas em Busca de Arquiteturas Neurais (em inglês, Neural Architecture Search (NAS)) têm se tornado cada vez mais populares, aonde o foco é automatizar a engenharia de arquiteturas de redes neurais. Métodos de NAS têm sido propostos com base em diferentes estratégias de busca, sendo as mais comuns a otimização bayesiana, algoritmos evolutivos e aprendizado por reforço, o que possibilitou alcançar resultados estado-da-arte para muitas tarefas. Contudo, esses métodos ainda apresentam alto custo computacional. Ademais, fora encontrada pouca pesquisa relacionada ao aproveitamento do conhecimento prévio obtido por modelos de busca e aprendizado aplicado a NAS, o que poderia minimizar o custo dos métodos. Uma forma de aproveitar o conhecimento prévio é por meio de Meta-Aprendizado (em inglês, Meta-Learning (MtL)), cujo propósito é aprender a partir de experiências prévias, ou em outras palavras, aprender a aprender. Considerando esses problemas e a hipótese de que o MtL é uma ferramenta com potencial para resolvê-los, esse projeto pretende investigar abordagens de MtL e sua aplicabilidade em NAS com o objetivo de propor métodos de recomendação de arquiteturas neurais, as quais serão validadas em conjuntos de dados voltados a classificação de imagens. Ao final desse projeto, espera-se que os métodos desenvolvidos gerem novas arquiteturas com bons desempenhos preditivos e complexidades computacionais reduzidas em relação ao estado-da-arte. (AU)