Meta quiere usar teléfonos para hacer avatares 3D realistas de los usuarios

Meta quiere usar teléfonos para hacer avatares 3D realistas de los usuarios

Después de poner casi todos sus huevos en una canasta digital, Meta ahora está buscando formas de hacer del metaverso un lugar que los angeles gente realmente quiere visitar, comenzando con dando a los usuarios una manera sorprendentemente fácil de digitalizar ellos mismos como un avatar de realidad digital utilizando solo el {hardware} de su teléfono inteligente.

Los dobles digitales son más populares que nunca en Hollywood, pero como algo más que una forma más segura para que los angeles acción en los angeles pantalla sea más emocionante. L. a. recreación de muchos de los disfraces de cómics de Wonder en las películas a menudo solo se puede lograr a través de dobles digitales (suponiendo que no quiera pagar sindicatos). Creando stories dobles, ahora mismo, requiere grandes equipos de talentosos artistas de efectos visuales y equipos especializados, todos los cuales vienen juntos para digitalizar los angeles actuación de un actor. Eso incluye escenarios de sonido gigantes cubiertos con cámaras de rastreo, con los actores deben usar trajes especiales y maquillaje para que sus rasgos faciales puedan capturarse y reproducirse con precisión. Es costoso y complicado, razón por los angeles cual los angeles mayoría de los avatares en línea parecen caricaturas de dibujos animados que apenas se parecen a los angeles personality que representan. Eso, o puede encargar un costoso vtuber plataforma, pero incluso entonces no te verás como un ser humano actual.

Si los usuarios realmente van a comenzar a pasar más tiempo en el metaverso, tiene que ser más atractivo, y una forma de hacer que las experiencias virtuales con amigos sean más agradables es que se vean como tus amigos. Pero nadie quiere pasar horas tratando de recrearse en un elaborado personalizador de avatar, ni Meta quiere invitar a sus miles de millones de usuarios a un estudio de VFX para digitalizarse. El mejor enfoque es aprovechar los angeles tecnología a los angeles que todos ya tienen acceso, y para los angeles mayoría de los usuarios de Fb, eso es un teléfono inteligente.

en un paper que será presentado en la conferencia Siggraph 2022 en Vancouver, Columbia Británica en agosto, un equipo de investigadores de Laboratorios de realidad de Meta detalle un nuevo enfoque para digitalizar los angeles apariencia de un ser humano y luego generar un modelo completamente three-D capaz de expresar una amplia gama de emociones: algo en lo que los angeles compañía ha estado trabajando durante años. En 2019, los investigadores de Fb utilizaron una plataforma gigante llamada Mugsy, con 171 cámaras de alta resolución dentro de una esfera gigante, para capturar las imágenes necesarias para generar estos avatares en three-D. Registraba 180 GB de datos cada segundo y requería que los angeles personality digitalizada se sentara en el centro de los angeles esfera de los angeles cámara durante aproximadamente una hora mientras leía guiones y hacía muecas extrañas. Produjo grandes resultados, pero simplemente no generation una forma práctica de digitalizar las masas.

Avatares volumétricos auténticos de un escaneo de teléfono (SIGGRAPH 2022)

Tres años más tarde, los angeles plataforma Mugsy se puede reemplazar con los angeles cámara selfie frontal de un teléfono inteligente de última generación. En lugar de pasar una hora en una silla rodeada de cientos de cámaras, los usuarios simplemente tienen que mover su teléfono inteligente por los angeles cara, de lado a lado, y luego recrear una serie de 65 expresiones faciales específicas. Los investigadores dicen que el proceso ahora toma alrededor de tres minutos y medio, y utilizando una purple neuronal que se entrenó previamente en los datos faciales en three-D capturados de 255 sujetos diversos dentro de una plataforma de cámara equivalent a Mugsy, el nuevo enfoque puede generar sorprendentemente modelos de avatar three-D realistas.

El proceso aún no es instantáneo. Una vez que se han realizado y capturado los escaneos faciales y varias expresiones, una computadora con capacidades serias de procesamiento de números todavía necesita unas seis horas para generar los resultados. BPero aquí es una vez más donde los angeles nube muestra su utilidad, ya que los usuarios individuales no necesitarán una PC de alta gama en casa; todo el renderizado se puede hacer en otro lugar. El proceso tampoco funcionará si alguien u.s. anteojos, y hace un mal trabajo recreando cabello largo. También solo funciona en las cabezas, por lo que si bien los avatares three-D creados pueden parecer lo suficientemente realistas como para finalmente escapar del valle inquietante, solo interactuar con las cabezas incorpóreas de tus amigos y familiares aún traerá consigo cierto nivel de espeluznante.