传统方法主要依赖大量训练数据和复杂的神经网络架构,需要平衡详细且准确的数字模型和实时应用程序所需的计算效率,因此在渲染速度和模型保真度方面会有所牺牲。
浙江大学 ReLER 实验室携手 CCAI,为了应对这些调整,开发突破性框架–Human101,可以显著提高虚拟现实应用程序中的训练和渲染速度。
这种创新方法在确保生成模型的高保真度情况下,快速高效地重建 3D 数字人体模型。

Human101 的核心在于集成了 3D 高斯散射和先进的动画技术,有助于高效处理单视角视频数据,生成动态的 3D 人体模型。
Human101 利用了一种新颖的、以人类为中心的前向高斯动画方法,避免了对目标姿势点的相应规范点的穷举搜索,直接将规范点变形到观察空间,简化了变形过程并提高了渲染速度。

此外 Human101 还采用规范人类初始化方法,更有效地初始化原始高斯分布,极大地加快了模型的收敛速度。
从测试结果来看,训练 3D 高斯体可以在 100 秒内完成,相比较现有方法,大幅缩短了时间。

此外,渲染速度超过 100 FPS,这一重大改进为实时交互式应用程序和沉浸式虚拟现实体验开辟了新的可能性,这种效率并未以质量为代价;该框架设法保持甚至在许多情况下超过了当前方法的视觉保真度。

IT之家附上论文参考地址:https://arxiv.org/abs/2312.15258
广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。
未经允许不得转载:新聚网 » 渲染速度超 100 FPS,浙大研发突破性框架 Human101:利用单视角视频构建数字人体模型

新聚网
哈佛大学开源 AI 训练数据集“Institutional Books 1.0”,涵盖馆藏 98.3 万本图书
Android XR 智能眼镜 XREAL Project Aura 重要参数公布:双芯驱动,70+° FoV
全球首个儿科大模型在北京荣华医院落地,诊断准确率优于主治医师平均水平
小米米家前开盖旅行箱 18 英寸开启众筹,369 元
共建韩国最大 AI 数据中心、容纳 6 万个 GPU,亚马逊 AWS 与 SK 集团合作
OpenAI Codex 人工智能编程工具推出新功能:可一次生成多个方案
性能提升 90%,Anthropic 首次公开多智能体系统构建全流程





