Rede tensoriais e aprendizado profundo para problemas de aprendizado de máquina e processamento de sinais em larga escala

Resumo

Redes neurais de aprendizagem profunda têm atraído a atenção da comunidade de aprendizagem de máquina por causa de sua estrutura de dados orientada e de seu desempenho em uma série de tarefas de reconhecimento de padrões. É bem conhecido que modernas redes neurais profundas (DNNs) são altamente redundantes e contêm centenas de milhões de parâmetros, usando toda a memória disponível de computadores. No entanto, as tentativas para diminuir a largura e profundidade das camadas de rede neural geralmente levam a queda considerável no desempenho. Para resolver estas questões, o presente projeto de pesquisa será focado em utilizar os métodos de decomposição tensoriais e redes tensoriais de posto baixo para construir uma representação compacta de DNNs. Isto permitirá a utilização de um rico conjunto de métodos oriundos da teoria de redes de tensores e o modelamento mais eficiente de arquiteturas de DNNs, o que levará a acelerar o processo de aprendizagem e operações matemáticas. Uma característica fundamental deste projeto é o desenvolvimento de novas abordagens fundamentais para treinamento, teste e armazenamento de parâmetros de DNNs usando o formalismo das redes de tensores. Estas abordagens permitirão reduzir em várias ordens de grandeza a complexidade computacional e memória necessária para o funcionamento da rede, mantendo ao mesmo tempo uma qualidade de predição. Ferramentas matemáticas e algoritmos desenvolvidos durante o projeto poderão ser usados para uma ampla gama de problemas aplicados, tais como reconhecimento de imagem, predição e clusterização. (AU)