Rastreamento de câmera com precisão centimétrica para captura 3D em grande escala (dispersão gaussiana)

Visão geral

Este projeto do cliente vem de AryonixFundada por Alexandre Cavaleri, a Aryonix desenvolve um motor de renderização em tempo real capaz de criar ambientes 3D cinematográficos, fotorrealistas e imersivos a partir de fotografias. A Aryonix colaborou com Asas de Downhill, um projeto dedicado a explorar, mapear e filmar percursos de downhill para patins inline, longboards e outros esportes de gravidade. O projeto utiliza uma técnica chamada Gaussian splatting.

O que é o espalhamento gaussiano? Em termos simples, o Gaussian Splatting transforma centenas ou milhares de fotografias em um modelo 3D interativo e detalhado de uma cena do mundo real. Ao contrário da representação 3D tradicional construída a partir de polígonos ou malhas, ele representa a cena como milhões de minúsculos pontos 3D coloridos ("Gaussianos"), permitindo uma renderização altamente realista de praticamente qualquer ponto de vista.

Para esportes de downhill, é fundamental que a reconstrução digital corresponda ao mundo real. O percurso deve ter a posição, a escala e a inclinação corretas para que os praticantes possam avaliar com precisão sua dificuldade, segurança e experiência geral.

O principal desafio na reconstrução de percursos externos tão longos é calcular as posições da câmera: ferramentas como o COLMAP sofrem deriva e acumulam erros ao longo da distância, têm dificuldades com padrões repetitivos que ocorrem naturalmente e vistas sem características marcantes (fileiras de vinhas, superfície da estrada, céu) e, sem um GPS prévio, o resultado não está vinculado a coordenadas, escala ou inclinação do mundo real.

Para superar essas limitações, a Aryonix utilizou Bússola GNSS – Kit Inicial RTK para fornecer posições e direção da câmera com precisão de centímetros durante a gravação.

a plataforma

Para resolver isso, usamos um kit inicial de bússola GNSS para fornecer posições e rumos da câmera com precisão centimétrica como informações prévias da câmera para o COLMAP.

Bússola GNSS – Kit Inicial RTK: Kit GNSS/RTK com placa baseada no UM982 e duas antenas helicoidais de alta qualidade.
Câmera de cinema Blackmagic URSA Mini Pro 4.6K G2, gravando em RAW.
O adaptador Hosa MIT-129 XLR converte o sinal PPS da placa para níveis de áudio compatíveis com a câmera e protege a placa da alimentação fantasma da câmera.
O celular executa o SW Maps, realiza o registro RTK e alimenta a placa.

Sincronizando vídeo com RTK

Conhecer a posição da câmera só é útil se cada quadro do vídeo puder ser associado à medição RTK correta.

O receptor GNSS emite um sinal PPS (Pulso por Segundo). Trata-se de um pulso elétrico de alta precisão, gerado exatamente uma vez a cada segundo GPS. Em vez de depender do relógio interno da câmera, esse sinal PPS foi gravado diretamente em um dos canais de áudio da câmera através de sua entrada XLR.

Como o áudio é amostrado a 48 kHz, cada pulso PPS pode ser detectado com precisão de submilissegundos. Em comparação, um único quadro de vídeo gravado a 24 fps dura cerca de 42 milissegundos. Isso permite que cada quadro seja marcado com um registro de tempo muito mais preciso do que usando as informações de temporização da própria câmera.

O registro de um pulso PPS a cada segundo também permite detectar e corrigir continuamente qualquer desvio do relógio da câmera durante toda a gravação. O sinal PPS marca o início de cada segundo GPS, enquanto o registro RTK gravado pelo telefone fornece os carimbos de data/hora GNSS correspondentes. Iniciar ambas as gravações aproximadamente ao mesmo tempo é suficiente para que os pulsos PPS correspondam automaticamente aos dados RTK.

Se isso parece complexo, confira nossa publicação. Compreendendo o GPS Timepulse ou PPS.

Capturando a cena

A equipe percorreu um trajeto de 800 metros pelos vinhedos de Lavaux, na Suíça, enquanto gravava vídeos continuamente.

Em vez de simplesmente caminhar em linha reta, a câmera foi movida em um padrão espiral para observar a cena de múltiplos ângulos de visão. Isso melhora a qualidade da reconstrução 3D e evita sombras projetadas pelo operador.

Ocasionalmente, pequenos desvios eram registrados antes de retornar à rota principal, adicionando pontos de vista adicionais que melhoravam a precisão da reconstrução.

Objetos em movimento, como pedestres e veículos, foram tratados diretamente durante a captura, apontando brevemente a câmera para longe, reduzindo a necessidade de ajustes posteriores.

Consistentes

Após a sincronização das medições RTK com os quadros de vídeo, as posições da câmera foram fornecidas ao pipeline de reconstrução como informações prévias da câmera. Em vez de estimar a posição de cada câmera apenas a partir das imagens, o software parte de medições RTK com precisão centimétrica.

A representação 3D resultante é renderizada em tempo real usando o Aryonix Engine, preservando a posição, orientação, escala e inclinação corretas do percurso no mundo real.

Embora demonstrado aqui com o método de espalhamento gaussiano, o mesmo fluxo de trabalho se aplica a qualquer método de reconstrução que dependa de imagens 2D e poses de câmera: os dados prévios da câmera sincronizados podem ser usados em ferramentas como o COLMAP para treinar espalhamentos gaussianos, NeRFs ou reconstruções fotogramétricas tradicionais.

Ao fornecer posições de câmera precisas durante toda a gravação, o RTK GNSS transforma um fluxo de trabalho que normalmente sofreria com o acúmulo de desvios em um método confiável para reconstruir longos ambientes externos. O resultado é uma cena 3D fotorrealista que também pode ser usada para medições precisas de rotas, incluindo inclinações que geralmente são mais detalhadas do que as disponíveis em modelos digitais de elevação existentes.