大约一年前，Facebook发布了一项名为“DeepFocus”研讨，这是一项经过AI完成相似人眼般的动态含糊变焦作用的技能，概况可参看《为什么说“含糊”对VR相同重要？》。
论DeepFocus动态“含糊”的重要性
咱们先来简略回忆一下DeepFocus。由于人眼天然具有“焦内和焦外”的视觉体系，而为了提高VR视觉观感，让其作用更挨近人眼，Facebook Reality Labs决议经过具有人眼追寻的VR设备，结合DeepFocus算法，来完成传神的动态焦外含糊作用。
这种所指的“焦外含糊”即像人眼般的焦点与焦外含糊切换作用。也便是说：当你凝视一个区域时，其它区域就会根据“DeepFocus”进行天然的焦点切换作用。
上图中赤色框代表人眼的焦点区域，可以正常的看到整个实时的焦点切换作用非常天然。
DeepFocus算法支撑偶尔的目光跳动和动态含糊作用，基本上可以模仿人眼的观看作用。而这也是DeepFocus的含义地点，也是眼球追寻关于VR的一大视觉体会提高。
显着DeepFocus是根据眼球追寻技能去开展的，而眼球追寻带来的别的的优点便是根据凝角度烘托下降硬件压力，然后经过DeepFocus等技能到达“近人眼般的视觉观感”。
实践上，想要做到较佳的偶尔性含糊切换作用非常困难的，由于“人眼动作的不确定性”要素，或许因终究含糊改变的速度不够快，导致视觉作用一般。为此，Facebook则经过一套机器学习技能算法来搞定这件事，其时演示需求4块高端GPU才干带动，对算力要求很高。不过Facebook表明后续算法还会持续优化，并让移动设备也支撑，并且该算法已开源，未来的重要性显而易见。
另一方面，前不久揭露的苹果专利中也提到了相似的计划，为了处理AR中凝角度烘托的连贯性和实践观感，苹果相同开发了一套AI算法，来预估眼球着落区域，以此完成虚拟图画在AR设备上更好的远景、布景切换作用。
将含糊变明晰，DeepFocus完美绝配来了
相对而言，上面的DeepFocus是将明晰的画面呈现动态含糊作用，首要是为了复原“挨近人眼般的视觉作用”，相对来讲这项技能还非常简略完成，今日咱们要介绍的主角就没那么简略了。
近期Facebook Reality Labs再次发布了一项新的VR/AR视频成像相关技能：DeepFovea。简略来讲，这是一个根据AI的凝角度烘托计划，它可以终究靠较为稀少的像素，来生成高清且传神的图画。
首要来看看实践的作用，只需给定原图10%的像素数量，以花朵为中心点四周降噪处理。而经过DeepFovea，居然模仿出一幅画面明晰、色彩美丽的花朵图画，花瓣纹理、花茎结构都很明晰，乃至还有花瓣上还有少许露珠。归纳而言，画面主体的花朵和布景的绿叶简直可以到达以假乱真的作用。
显着，DeepFovea的含义在于VR和AR体系呈现出更明晰的画面，尤其是在移动VR一体机算力遍及偏低的大布景下，乃至未来在云VR传输后模仿增强画质等都有极为重要的含义。
从姓名来看，“DeepFovea”和“DeepFocus”姓名非常挨近，并且作用是相反的，前者意在呈现“近人眼的动态含糊”作用，而后者意在呈现“更明晰”的画面。
弦外之音，DeepFovea和DeepFocus这对“亲兄弟”放在一块的价值更大，两项技能结合将会大幅提高VR和AR视觉体会。
DeepFovea诞生的背面
高质量的VR和AR关于图画分辩率的要求是极高的，以至于催生出小派这种寻求极高分辩率的VR厂商以及Varjo这种双屏计划VR厂商，NVIDIA此前也展现过动态可调屏幕的AR眼镜原型，无一不是在寻求更佳的显现作用。
但是，现在VR/AR图画在高分辩、高帧率、多视角图画等方面体现并不抱负，由于这背面需求许多的核算资源，尤其是GPU资源。即便如此，咱们关于许多PC VR内容的画质仍然不能满意，更何况在VR一体机这种算力间隔极大的移动渠道。
据青亭网了解，DeepFovea的背面是一个生成式对立网络（GAN），它可以经过较为稀少像素的图画，生成一幅满足传神、天然的图画。在Facebook的测验中，DeepFovea可以将烘托所需的核算资源下降10-14倍。
上面的视频展现了其间的测验办法，灰色方块代表人眼凝视区域，测验时将该区域做密集区采样，而周围则作稀少采样，意图便是模仿人眼凝视作用。
细节方面，DeepFovea相同是根据人眼特性，凝视区域明晰，区域外则含糊。DeepFovea意图便是经过输入这种凝视区域外大幅丢掉像素的视频，来协助GAN模型学习怎么填充缺失的图画细节。结果是，在60×40度视场角的视频中，经过稀少像素的含糊视频生成的视频流在像素密度上下降了99%，并且这套体系还可以更好的下降图画闪耀、堆叠、伪影等，终究到达人眼辨别真假的阈值。
Facebook还表明，和现在最先进的凝角度烘托计划比较，DeepFovea要更有用，并且不会呈现显着的图画质量下降状况。为了进一步验证DeepFovea重建办法的作用，其还和现有的中心化烘托、视频压缩等计划进行比照，DeepFovea速度满足快，并且可在现代化硬件上实时驱动运转。
这儿说的现代化硬件，文中指经过在4块NVIDIA Tesla V100 GPU做根底，揣度一个1080p视频每帧耗时为9毫秒。然后经过c++在NVIDIA CUDA 10和cuDNN 7.6.1上完成了一个自定义推理结构，以16位半浮点精度履行，终究能在一块GPU上完成0.7毫秒每帧输出，这样在VR中足以完成90帧的画面输出。
久远来看，Facebook方针便是让让移动VR渠道的算力也能运转，但显着这还有必定的间隔。
据悉，DeepFovea和DeepFocus都是Facebook为了改进VR和AR图形显现质量而引进的几个研讨，都用到了AI技能。假设没有意外，这些技能将应用到下一代VR头显中。
参阅：Facebook
