Deepfake Spotting
A ferramenta deepfake spotting da Universidade de Buffalo se mostra 94% eficaz com fotos semelhantes a retratos, de acordo com o estudo.
Os cientistas da computação da Universidade de Buffalo desenvolveram uma ferramenta que identifica automaticamente fotos falsas analisando os reflexos da luz nos olhos.
A ferramenta se mostrou 94% eficaz com fotos semelhantes a retratos em experimentos descritos em um artigo aceito na Conferência Internacional IEEE sobre Acústica, Fala e Processamento de Sinais, a ser realizada em junho em Toronto, Canadá.
“A córnea é quase como uma semisfério perfeita e é muito reflexiva”, diz o autor principal do artigo, Siwei Lyu, PhD, professor de inovação do SUNY Empire no Departamento de Ciência da Computação e Engenharia. “Então, tudo o que está chegando ao olho com uma emissão de luz dessas fontes terá uma imagem na córnea.
“Os dois olhos devem ter padrões reflexivos muito semelhantes porque eles estão vendo a mesma coisa. É algo que normalmente não notamos quando olhamos para um rosto ”, disse Lyu, um especialista em multimídia e forense digital que testemunhou perante o Congresso.
Os co-autores são Shu Hu, um estudante de doutorado em ciência da computação do terceiro ano e assistente de pesquisa no Media Forensic Lab da UB, e Yuezun Li, PhD, um ex-cientista pesquisador sênior da UB que agora é professor na Ocean University of China’s Centro de Inteligência Artificial.
A ferramenta mapeia o rosto, examina pequenas diferenças nos olhos
Quando olhamos para algo, a imagem do que vemos se reflete em nossos olhos. Em uma foto ou vídeo real, os reflexos nos olhos geralmente parecem ter a mesma forma e cor.
No entanto, a maioria das imagens geradas por inteligência artificial – incluindo imagens de rede geradora de adversários (GAN) – falham em fazer isso de forma precisa ou consistente, possivelmente devido a muitas fotos combinadas para gerar a imagem falsa.
A ferramenta de Lyu explora essa lacuna ao detectar pequenos desvios na luz refletida nos olhos de imagens falsas.
Para conduzir os experimentos, a equipe de pesquisa obteve imagens reais do Flickr Faces-HQ, bem como imagens falsas de www.thispersondoesnotexist.com , um repositório de rostos gerados por IA que parecem reais, mas são realmente falsos. Todas as imagens eram semelhantes a retratos (pessoas reais e falsas olhando diretamente para a câmera com boa iluminação) e 1.024 por 1.024 pixels.
A ferramenta funciona mapeando cada rosto. Em seguida, examina os olhos, seguido pelos globos oculares e, por último, a luz refletida em cada globo ocular. Ele compara em detalhes incríveis as diferenças de potencial na forma, intensidade da luz e outras características da luz refletida.
Embora promissora, a técnica de Lyu tem limitações.
Por um lado, você precisa de uma fonte de luz refletida. Além disso, os reflexos de luz incompatíveis dos olhos podem ser corrigidos durante a edição da imagem. Além disso, a técnica olha apenas para os pixels individuais refletidos nos olhos – não o formato do olho, as formas dentro dos olhos ou a natureza do que é refletido nos olhos.
Finalmente, a técnica compara os reflexos nos dois olhos. Se o objeto não tiver um olho, ou se o olho não estiver visível, a técnica falha.
Lyu, que pesquisou projetos de aprendizado de máquina e visão computacional por mais de 20 anos, provou anteriormente que os vídeos deepfake tendem a ter taxas de intermitência inconsistentes ou inexistentes para os assuntos do vídeo.
Além de testemunhar perante o Congresso, ele auxiliou o Facebook em 2020 com seu desafio global de detecção de deepfake e ajudou a criar o ” Deepfake-o-meter “, um recurso online para ajudar a pessoa média a testar para ver se o vídeo que assistiram é, na verdade, uma mentira profunda.
Ele diz que identificar deepfakes é cada vez mais importante, especialmente dado o mundo hiperpartidário cheio de tensões relacionadas a raça e gênero e os perigos da desinformação – particularmente violência.
“Infelizmente, uma grande parte desses tipos de vídeos falsos foi criada para fins pornográficos e isso (causou) muitos … danos psicológicos às vítimas”, diz Lyu. “Há também o impacto político potencial, o vídeo falso mostrando políticos dizendo ou fazendo algo que não deveriam fazer. Isso é ruim.”
Créditos: scitechdaily