Busca avançada
Ano de início
Entree

Encontrando Evidências Visuais da Passagem do Tempo

Processo: 17/21957-2
Linha de fomento:Bolsas no Brasil - Doutorado
Vigência (Início): 01 de julho de 2018
Vigência (Término): 31 de maio de 2022
Área do conhecimento:Ciências Exatas e da Terra - Ciência da Computação
Pesquisador responsável:Anderson de Rezende Rocha
Beneficiário:Rafael Soares Padilha
Instituição-sede: Instituto de Computação (IC). Universidade Estadual de Campinas (UNICAMP). Campinas , SP, Brasil
Vinculado ao auxílio:17/12646-3 - Déjà vu: coerência temporal, espacial e de caracterização de dados heterogêneos para análise e interpretação de integridade, AP.TEM
Bolsa(s) vinculada(s):19/15822-2 - Encontrando Evidências Visuais da Passagem do Tempo, BE.EP.DR
Assunto(s):Visão computacional   Aprendizado computacional   Inteligência artificial   Forense digital

Resumo

Nos dias de hoje, qualquer acontecimento --- de eventos sociais a atentados terroristas --- é gravado por múltiplas câmeras e instantaneamente salvo na internet. Apesar de diversas dessas imagens possuírem o registro do horário da captura em seus meta-dados, essa informação nem sempre é correta --- devido a alterações ou erros --- nem confiável para se inferir qualquer relação temporal e reconstruir a ordem dos acontecimentos. Mesmo assim, em uma investigação, é indispensável minerar conhecimento temporal para possibilitar a compreensão completa e do evento em questão, bem como checar a veracidade dos fatos e organizar o fluxo de informações relativo àquele incidente. Fora do campo forense, informação temporal ajuda pesquisadores a explicar como as interações humanas moldam o ambiente e como elas se alteram com o tempo; além de ajudá-los a entender o desenvolvimento de eventos naturais ou humanos, como a passagem de um furacão, um conflito militar ou a evolução das cidades através dos anos. Compreensão temporal também é uma ferramenta útil para entender como tendências, comportamentos e gostos da sociedade evoluíram, por exemplo, na moda ou arquitetura.Apesar do tempo seguir apenas uma direção, sua passagem é percebida de diversas formas. As evidências visuais usadas para identificar o fluxo do tempo entre dois momentos de uma cena são dependentes de sua semântica, dos elementos presentes nela e da quantidade de tempo que se passou entre estes momentos. As dicas mais comuns são elementos dinâmicos (objetos e pessoas se movendo), diferenças em iluminação e sombras causadas pelo movimento do sol, a presença ou ausência de fatores climáticos (como chuva), variações causadas pelas estações do ano (por exemplo, árvores perdendo as folhas no Outono), e sinais de intervenção humana (como a construção de um prédio). Nessa linha, o objetivo deste trabalho é propor técnicas capazes de raciocinar sobre o tempo usando informação visual presente em imagens e vídeos. Mais especificamente, nós iremos propor métodos capazes de inferir a ordem cronológica de um conjunto de mídias com um mesmo contexto semântico.Dividimos esse problema em tarefas menores, relacionadas com o intervalo de tempo compreendido pelo conjunto de mídias analisado. Ao inferir a ordem temporal, a importância de uma evidência visual em particular é dependente da quantidade de tempo que se passou entre cada captura. Levando isso em consideração, iremos investigar como modelar tais evidências e também como ponderá-las durante a inferência. Considerando diferentes intervalos de tempo e evidências, serão exploradas técnicas tradicionais de engenharia de características (desenvolvidas utilizando conhecimento do domínio para capturar algum aspecto particular da imagem) bem como métodos de aprendizado orientado pelos dados (nos quais as características mais relevantes para o problema são aprendidas diretamente em cima dos pixels).Também investigaremos como o volume de conhecimento prévio sobre um contexto --- isto é, a quantidade de exemplos de treinamento ilustrando um único contexto --- afeta a predição temporal. Nós exploraremos se uma predição mais precisa pode ser alcançada com uma solução especializada em um contexto em particular ou se um método treinado com experiência de múltiplos contextos obtém melhores resultados.Essa proposta de pesquisa faz parte do projeto temático "DéjàVu: Coerência Temporal, Espacial e de Caracterização de Dados Heterogêneos para Análise e Interpretação de Integridade", que busca organizar, sincronizar e extrair informação de múltiplas fontes de mídia para melhor entender o que aconteceu antes, durante e logo após um evento. Nossa proposta se encaixa diretamente no projeto, com o objetivo de organizar cronologicamente as imagens disponíveis para melhor compreender a ordem dos acontecimentos. Além disso, também iremos minerar informação temporal que outras técnicas dentro do projeto DéjàVu podem utilizar dentro de seus pipelines.

Matéria(s) publicada(s) na Agência FAPESP sobre a bolsa:
Matéria(s) publicada(s) em Outras Mídias (0 total):
Mais itensMenos itens
VEICULO: TITULO (DATA)
VEICULO: TITULO (DATA)

Publicações científicas
(Referências obtidas automaticamente do Web of Science e do SciELO, por meio da informação sobre o financiamento pela FAPESP e o número do processo correspondente, incluída na publicação pelos autores)
PADILHA, RAFAEL; ANDALO, FERNANDA A.; LAVI, BAHRAM; PEREIRA, LUIS A. M.; ROCHA, ANDERSON. Temporally sorting images from real-world events. PATTERN RECOGNITION LETTERS, v. 147, p. 212-219, . (17/21957-2, 17/12646-3, 18/05668-3, 18/16548-9)
PADILHA, RAFAEL; ANDALO, FERNANDA A.; BERTOCCO, GABRIEL; ALMEIDA, WALDIR R.; DIAS, WILLIAM; RESEK, THIAGO; TORRES, RICARDO DA S.; WAINER, JACQUES; ROCHA, ANDERSON. Two-tiered face verification with low-memory footprint for mobile devices. IET BIOMETRICS, v. 9, n. 5, p. 205-215, . (17/12646-3, 17/21957-2)
PADILHA, RAFAEL; RODRIGUES, CAROLINE MAZINI; ANDALO, FERNANDA; BERTOCCO, GABRIEL; DIAS, ZANONI; ROCHA, ANDERSON. Forensic Event Analysis: From Seemingly Unrelated Data to Understanding. IEEE SECURITY & PRIVACY, v. 18, n. 6, p. 23-32, . (18/16214-3, 17/21957-2, 17/12646-3)

Por favor, reporte erros na lista de publicações científicas escrevendo para: cdi@fapesp.br.