Cámaras con procesamiento neuronal de imágenes MariSilicon X

Gracias a las avanzadas cámaras que OPPO ha integrado en su última generación de Smartphone OPPO Reno8 Pro, los usuarios pueden crear vídeos ultra claros basados en el procesamiento neuronal de imágenes MariSilicon X.

OPPO-Reno8-Pro

Desde que fue presentada la serie Reno por primera vez, OPPO ha seguido desarrollando su tecnología alrededor de la imagen para satisfacer la creciente demanda en las capacidades de la cámara de los Smartphone por parte de los usuarios.

La empresa asiática ha logrado dar un importante paso adelante en el desarrollo de tecnologías para la mejora de sus cámaras integradas en el OPPO Reno8 Pro, con la introducción de su primera unidad de procesamiento neuronal (NPU) de imágenes de desarrollo propio, MariSilicon X.

OPPO-Reno8-Pro

MariSilicon X: la primera NPU de imágenes de desarrollo propio de OPPO

El rendimiento de la cámara de un Smartphone es una combinación de hardware y software trabajando de manera conjunta. En el caso del OPPO Reno8 Pro, el teléfono está equipado con los míticos sensores de Sony: el IMX709 para la cámara frontal y el IMX766 para la parte posterior.

Desarrollado de manera conjunta por OPPO y Sony, el IMX709 ha sido completamente rediseñado con una matriz de píxeles RGBW totalmente nueva que contiene píxeles blancos adicionales que no se encuentran en los sensores RGGB convencionales. Esto da como resultado un 60% más de luz, y como consecuencia, fotos con detalles más nítidos y con menos ruido.

Por otra parte, el IMX766, cuenta con un sensor de 1/1,56 pulgadas con tecnología DOL-HDR incorporada y PDAF omnidireccional para todos los píxeles. Todas estas propiedades funcionando de manera conjunta aseguran una mejor experiencia de disparo en la cámara principal del OPPO Reno8 Pro con un rango dinámico más amplio y un mantenimiento más preciso de los colores y detalles originales, incluso en condiciones de poca luz, y de manera muy especial en el caso de grabación de vídeos.

A diferencia del hardware, que está limitado por el espacio disponible dentro del teléfono, los algoritmos no están restringidos por ningún espacio físico lógicamente, pudiendo por tanto pensar que el potencial es infinito cuando se trata de mejorar el rendimiento del procesamiento de imágenes, pero, por el contrario, sí nos enfrentamos a las limitaciones del poder de computación, especialmente los algoritmos que se dedican al procesamiento de vídeo.

OPPO-Reno8-Pro

Optimización de imágenes

En términos generales, ejecutar un algoritmo de optimización de retratos nocturnos en una sola imagen lleva unos pocos segundos utilizando los algoritmos actuales y el hardware del teléfono. Pero si intentáramos utilizar este proceso con las 30 imágenes por segundo necesarias para grabar videos de retratos nocturnos en 4K a 30 fps, es fácil concluir que a veces las matemáticas simplemente no funcionan por sí solas.

Es aquí donde entra en juego MariSilicon X. Desarrollada internamente por OPPO, la NPU de imágenes dedicada ofrece tanto una enorme potencia informática como un muy bajo consumo de la energía que se necesita para que el rendimiento de procesamiento de imágenes en dispositivos móviles sea óptimo.

MariSilicon X está basada en un proceso de fabricación vanguardista de 6 nm y cuenta con una arquitectura DSA líder en la industria, siendo éstos los cimientos sobre los que se asientan sus increíblemente poderosas capacidades informáticas con IA. La NPU puede ofrecer hasta 18 billones de operaciones por segundo (18 TOPS), lo que la hace aún más potente que algunos SoC de primer nivel del mercado, como Apple A15 (15.8 TOPS), ofreciendo una más que suficiente potencia de procesamiento de imágenes para admitir los algoritmos tan avanzados de inteligencia artificial de OPPO. En términos de eficiencia energética, MariSilicon X ofrece unos increíbles 11,6 TOPS por vatio, lo que genera un rendimiento superior con un bajo consumo de energía para permitir la captura de vídeo nocturno 4K con fotogramas de una nitidez extraordinaria.

Gracias a este excelente rendimiento informático, MariSilicon X puede procesar imágenes en el dominio Bayer RAW. En comparación con el dominio YUV en el que se realiza el procesamiento de video tradicional, el dominio RAW contiene información más rica y más extensa para que los algoritmos de procesamiento de imágenes hagan su trabajo.

Con este increíble poder de computación, MariSilicon X lleva la videografía del OPPO Reno8 Pro a un nivel completamente nuevo con el excelente vídeo 4K Ultra Night y el vídeo 4K Ultra HDR.

OPPO-Reno8-Pro

Vídeo 4K Ultra Nocturno

Para la mayoría de los teléfonos actuales, incluso muchos de los buques insignia que montan un sensor grande, las secuencias de vídeo 4K con poca luz no ofrecen la calidad deseada, con mucho ruido y falta de nitidez en los detalles.

Pero los ingenieros de OPPO, con la ayuda de MariSilicon X, han logrado una grabación de vídeo con poca luz de nivel superior con 4K Ultra Night Video.

Al disparar con poca luz, MariSilicon X realiza la reducción de ruido con inteligentica artificial (AINR) para elevar de manera significativa la claridad general de la imagen. El algoritmo AINR se ha configurado en un conjunto de datos de un millón de puntos y puede reconocer y reducir de forma inteligente el ruido no deseado. En el OPPO Reno8 Pro, con el soporte de MariSilicon X, la reducción de ruido por medio de IA se puede realizar con un aumento en la eficiencia energética del 1116 % en comparación con el OPPO Reno7 Pro.

Debido a la potencia informática y la eficiencia de MariSilicon X, el OPPO Reno8 Pro puede hacer AINR en tiempo real a nivel de píxeles incluso en resolución 4K, lo que ofrece como resultado mucho menos ruido y detalles mucho más claros.

Junto con nuestro nuevo algoritmo 3A de desarrollo propio que puede ajustar mejor el enfoque automático, la exposición automática y el balance automático de blancos para obtener un color y un tono de piel más naturales, el OPPO Reno8 Pro puede tomar vídeos en resolución 4K notablemente mejores en condiciones de poca luz.

OPPO-Reno8-Pro

Vídeo 4K HDR

Otro desafío importante para los usuarios es disparar a contraluz. Por ejemplo, cuando tomamos fotos de personas en la playa, a menudo tenemos que elegir entre capturar los detalles del cielo con el rostro subexpuesto o capturar los detalles del rostro con el cielo sobreexpuesto.

Con MariSilicon X se puede capturar tanto el cielo como la cara de manera clara en resolución 4K con vídeo 4K Ultra HDR.

Al disparar a contraluz, el OPPO Reno8 Pro aprovecha al máximo su función DOL-HDR, al capturar exposiciones largas y cortas de manera casi simultánea. El frame de exposición larga contiene más detalles en las sombras, mientras que el frame de exposición corta contiene más detalles en las luces.

Luego, con el poder de computación de MariSilicon X, se combinan los dos frames en solo uno en tiempo real, creando secuencias de vídeo que ofrecen un rango dinámico más amplio.

A través de esta secuencia de varios procesos, incluso los vídeos tomados en las condiciones de retro iluminación más complicadas se verán ultra claros con el OPPO Reno8 Pro, con colores y detalles tan auténticos como los de la realidad.

OPPO-Reno8-Pro

Reno8 Pro: noche ultra clara en modo retrato

Además de los avances en vídeo que nos trae MariSilicon X, el OPPO Reno8 Pro también viene con muchas mejoras en fotografía, incluyendo un mejor modo retrato con más efectos bokeh cinematográficos, y tomas nocturnas más limpias y rápidas con la tecnología Turbo RAW de OPPO.

OPPO Reno8 Pro también está equipado con la mejor cámara frontal, que con una combinación de un exclusivo sensor RGBW IMX709 de 32MP y una nueva lente más ancha de 5 elementos con enfoque automático, hará posible los mejores selfies con más nitidez que nunca. Así mismo, los usuarios también pueden tomar selfies en primer plano con la función 2X incorporada.

Con todas estas mejoras de cámara en el OPPO Reno8 Pro, queremos capacitar a los usuarios para que expresen sus capacidades creativas y muestren sus mejores trabajos, incluso en las situaciones más desafiantes.

ACERCA DEL AUTOR