Después de que la inteligencia artificial ha sido puesta al servicio de la fotografía, Nvidia tiene la IA operativa en vídeo y, más particularmente, en cámara lenta.
El diseñador gráfico acaba de presentar un vídeo que muestra la destreza de una de sus últimas tecnologías, Super SloMo, impulsada con inteligencia artificial y que bien puede tener un pequeño efecto para los fanáticos del género.
Muchos teléfonos inteligentes, cámaras y cámaras de consumo ofrecen modos de captura a cámara lenta, pero su calidad y destreza varían mucho según la potencia de los componentes electrónicos, incluido el procesador.
También se necesita mucho espacio de almacenamiento para alojar todas las acometidas y filmaciones.
En última instancia, solo con el equipo profesional logramos obtener una calidad lenta y, una vez más, a menudo se retocan durante horas en postproducción.
Creando fotogramas casi de la nada
Pero lo más difícil es crear un vídeo en cámara lenta a partir de una secuencia clásica, filmada a 30 o 60 fotogramas por segundo. En general, el software utilizado, tan poderoso y profesional como es, intentará compensar las imágenes faltantes sin hacerlo correctamente. Los movimientos serán un poco bruscos y, por lo tanto, no serán del todo naturales.
Nvidia ha abordado la cuestión y, con varios investigadores de Estados Unidos, Tesla V100 y un sistema de aprendizaje profundo PyTorch (una red basada en CUDA), el diseñador de las GPU ha dado lugar a una inteligencia artificial capaz de la fabricación de la calidad de la cámara lenta.
Un entrenamiento que se basó esencialmente en la visualización de 11,000 vídeos filmados a 240 fotogramas por segundo. Es gracias a esto que la inteligencia artificial asimila la forma en que los movimientos suceden en los vídeos para luego desglosarlos y anticiparlos.
Dos redes para maniobrar
En un nivel técnico, en el sitio de VentureBeat explican que dos redes neuronales convolucionales distintas funcionan juntas.
Ellos determinan dónde están los objetos en movimiento, su naturaleza, su posición en el cuadro de vídeo, pueden imaginar todos los cuadros intermedios entre un punto A y un punto B. Esto también les permite anticipar la posición de los píxeles que constituyen la imagen, una imagen ficticia para insertar entre dos imágenes reales.
Las redes se encargan entonces de limpiar la imagen de cualquier artefacto y distorsión y aplicar algunos efectos. De esta forma, el movimiento artificialmente lento parece fluido, casi tan natural como si hubiera sido filmado con una costosa cámara capaz de disparar con calidad de forma brillante cientos de fotogramas por segundo.
En la actualidad, sin embargo, Nvidia sigue convencida de que esta tecnología aún no está lista para el mercado de consumo. Aún se necesitan muchas optimizaciones, especialmente para el procesamiento de video sobre la marcha o en tiempo real. De hecho, por el momento, todos los cálculos se hacen en la nube y requieren varias horas de tiempo.
