GDC/GTC 2024：见证AI变革，NVIDIA为1亿RTX PC用户更新AI应用和工具
在GDC/GTC 2024大会上，黄仁勋领军的一众NVIDIA技术高层进行了多层面的主题演讲和成果展示。综合所有内容来看，其核心都表述了以RTX 为核心的AI PC正在利用NVIDIA数字人技术为商用和游戏领域创建一个“数字化身”的新时代。包括GTC 2024主题演讲会议以及此前进行的GDC 2024大会，NVIDIA在这两场大会上重点展示了NVIDIA Chat with RTX的全面更新、NIM(NVIDIA Microservices)的正式发布、基于TensorRT的AI应用加速等领域的最新进展。
另一方面，NVIDIA在GDC 2024上也公布了玩家非常关注的《黑神话：悟空》和《永劫无间》将支持全景光线追踪以及最新的DLSS 3.5，展示了RTX GPU在游戏领域的应用。从NVIDIA公布的数据来看，到目前为止NVIDIA已建立了超过500款AI应用的生态。
在针对开发者的层面上，NVIDIA表示：RTX AI平台，包括各种RTX GPU, RTX AI工具和软件SDK，能够帮助Windows开发人员创建领先的生成式AI功能，并令AI PC提供最佳性能支持。
GDC/GTC 2024的主题演讲内容含量异常庞大且细节较多，今天我们就顺着GDC/GTC 2024大会的脉络，为大家梳理一下NVIDIA带来的2024年相关的各种干货吧！
AI PC的内涵、定义与RTX的优势
事实上大部分读者都应该清楚，从2018年NVIDIA正式推出GeForce RTX 20系消费级GPU开始，它就一直在从传统游戏向AI计算的赛道上奔跑转变。时至今日，基于Ada Lovelace架构的新一代RTX GPU已经全面上市，在NVIDIA看来，或许已经到了AI PC发展的最佳时机。所以，在NVIDIA看来，AI PC就是搭载了专用AI加速硬件的电脑， RTX GPU在其中扮演着最为重要的角色。
对RTX GPU来说，其AI加速器毫无疑问就是Tensor Core。伴随RTX GPU发布而生的Tensor Core能够显著加速 AI 性能，并为 PC 用户引入了以前在云端才能运行的新功能。
传统游戏PC我们可以用fps帧率来衡量其性能，但对于AI PC来说，这一指标被换成了TeraOPS，简称TOPS，也即“万亿运算次数/秒”。就跟我们常用“马力”或者“千瓦”来表述汽车发动机的功率一样，TOPS可作为单一指标让用户非常直观地了解 PC的AI性能——TOPS数值越大，AI PC相关硬件的AI计算能力就越强。这一代GeForce RTX GPU可提供的算力，涵盖了从200 AI TOPS到1300 AI TOPS，包括笔记本电脑和台式电脑的多样选择。
▲基于RTX加速的AI应用无处不在
NVIDIA在本次GTC/GDC 2024大会上也一直在强调RTX是整个AI PC的核心所在：
从硬件性能层面来看，这一代Ada Lovelace架构的RTX GPU能够提供的AI算力覆盖了20 TOPS到1300 TOPS的广袤空间。而且在产品的形态上，也囊括了笔记本电脑、台式机、工作站乃至嵌入式产品等多个领域。与之相对应，如果不包括使用独立显卡的电脑，其AI算力大多只能覆盖到10 TOPS到45 TOPS的区间。
在用户群体上，随着2018年RTX GPU面世以来，NVIDIA一直在加速向AI计算的转变，目前已经有超过一亿的用户在使用基于RTX的AI PC，同时面向AI市场领域的应用也超过了500款。
最后从应用层面上来看，NVIDIA强调，RTX GPU能够为用户提供多种先进的AI应用。无论是居家还是办公，在使用提升工作效率和娱乐体验的软件时，都能充分利用RTX AI的力量。比如DLSS让游戏玩家可以在更高分辨率下，以更高帧率畅玩钟爱的游戏；创作者则可专注于创意本身，而无需在等待系统加载或重复乏味工作上浪费时间；开发者亦可以使用生成式 AI 进行原型设计和自动化调试，从而简化工作流等。
ACE领衔，世界领先的数字人技术
在GTC大会上，NVIDIA着重强调了当今业界内领先的AI应用开发者正使用NVIDIA数字人技术为商业应用和动态游戏角色创建栩栩如生的数字形象。而这一应用的基础基本基于语音和动画的NVIDIA ACE(NVIDIA Avatar Cloud Engine)、用于语言功能的NVIDIA NeMo以及用于光线追踪渲染的NVIDIA RTX等几大核心框架。这也是开发者创建能进行AI驱动的自然语言交互的数字人的基石，使对话更逼真和引人入胜。
▩ NVIDIA ACE：可帮助开发者通过由NVIDIA Audio2Face驱动的面部动画以及由NVIDIA Riva自动语音识别(ASR)和文本转语音(TTS)驱动的语音交流，让数字角色形象栩栩如生。ACE微服务非常灵活，允许模型根据本地GPU的性能在云端和 PC 上运行，以确保用户获得最佳体验。目前采用ACE的中国开发者和平台包括了米哈游、网易游戏、完美世界游戏、掌趣科技和腾讯等业内顶级厂商。
▩ NVIDIA NeMo：这是一个端到端的平台，可帮助开发者提供企业级的生成式AI模型，包括精确的数据管护、先进的模型个性化定制、检索增强生成和加速性能。
▩ NVIDIA RTX：RTX全局光照(RTXGI)和DLSS 3.5等渲染技术的集合，可在游戏及各种应用中实现光追效果实时路径追踪。
会上，NVIDIA与 Hippocratic AI、Inworld AI和 UneeQ等行业领先开发者合作展示一系列全新技术Demo。
在本次大会上，NVIDIA的数字人技术也展示了部分应用成果。其中令人印象最深刻的当属NVIDIA联合Inworld AI公司展示的Covert Protocol Demo以及联合育碧公司演示的NEO NPCs Demo。
▲Covert Protocol Demo演示
“NVIDIA ACE微服务与Inworld引擎的结合使开发者能创建可以推动动态叙事的数字化身，为玩家解密、推理和玩游戏开辟全新可能性。”——Inworld AI公司首席执行官Kylan Gibbs
“Covert Protocol”是Inworld AI公司与NVIDIA合作开发的一项全新技术Demo，从实际演示效果中可体会到全新AI技术带来的游戏中角色互动界限上的突破。NVIDIA表示，Inworld AI引擎集成了NVIDIA Riva 和NVIDIA Audio2Face，前者可实现精确的语音转换文字，后者可提供逼真的面部表情。
而从实际Demo演示效果来看，Inworld AI引擎采用多模态方法来展示非玩家角色(NPC)，将认知、感知和行为系统集成在一起，在精心制作的环境中呈现了效果令人惊叹的 RTX 渲染角色，在应用中更能实现身临其境的拟真效果。
▲育碧NEO NPCs Demo演示——Bloom
“生成式 AI 将为玩家带来超乎想象的体验，包括更加智能的世界、细致入微的角色以及新兴的自适应叙事。通过与 NVIDIA 合作开发 NEO NPCs 原型：NVIDIA Audio2Face 解决方案帮助我们通过实时面部动画为真正的即兴NPC对话创造深层次的沉浸感。”——育碧产品研发技术高级副总裁 Guillemette Picard
由NVIDIA联合育碧巴黎工作室多学科团队联合开发打造的育碧NEO NPCs也是数字人技术在游戏中使用探索的一大成果。“NEO NPCs”是育碧公司与NVIDIA联合开发的新研发项目成果，这款先进的NPC功能，可与玩家、环境或其他角色实时互动，为动态和突发故事开辟全新可能性。
基于Inworld AI的角色引擎和LLM技术让育碧的叙事团队能为每个NPC建立完整的背景、知识库和对话风格，而NVIDIA ACE技术套件中的NVIDIA Audio2Face则用于实现实时面部动画。这样就意味着实际上，NPC的个性不是原先那种由机器创造、一成不变的，而是由叙事团队塑造NPC的性格、背景故事和对话风格，然后在LLM语言模型中深度学习，并在实施对话开启后继续调整。
▲育碧NEO NPCs Demo演示——Iron
在本次的Demo展示上，我们看到育碧的叙事团队打造了两个NEO NPCs：“Bloom”和“Iron”。他们拥有自己的背景故事、知识库和不同的对话风格，在技术Demo演示的宇宙中建立各自独特的角色。Demo演示的每个场景都侧重于NPC行为、环境和上下文意识的不同方面；一系列实时反应和动画；以及连续对话、协作和战略决策。这些实验发现突破了游戏设计和沉浸感的界限。也是AI技术在数字虚拟人创造中的典型应用。
RTX AI工具：推动创新的AI解决方案
▲基于TensorRT的RTX GPU加速扩展，AI PC的性能有了飞跃式的提升。
除了强悍的硬件性能作为AI PC的基础之外，NVIDIA在针对开发者的服务上，也同步推出了众多基于RTX AI的工具软件。开发创作者善用这些工具，就能让自己的AI开发工作进入事半功倍的状态。
NIM 微服务：预构建的AI 容器采用行业标准API，包括必要的软件组件，优化整体体验，有助于将部署时间从数周缩短到数分钟；
NVIDIA AI Workbench：现已全面上市，可帮助开发者利用PC级性能和显存占用空间快速创建、测试和定制预训练生成式AI模型和LLM大语言模型；
TensorRT加速：帮助开发者充分利用RTX GPU中的Tensor Core的加速库软件。除了AIGC之外，TensorRT加速现可通过TensorRT-LLM for Windows用于基于文本的应用。开发者还可访问 OpenAI Chat API的TensorRT-LLM封装程序。
Chat with RTX：高效地“听、看、说”AI聊天
Chat with RTX是NVIDIA推出的基于AI的智能对话生成工具(简称ChatRTX)。ChatRTX使用检索增强生成、NVIDIA TensorRT-LLM 软件和 NVIDIA RTX 加速，将本地生成式AI功能引入到支持RTX的 Windows系统中(具备RTX GPU)。用户可快速、轻松地将本地文件作为数据集连接到开放式大语言模型(如 Mistral 或 Llama 2)，快速查询与上下文相关的答案。除文本外，Chat with RTX 还将很快增加对各类语音、图像和新模型的支持，让我们拭目以待。
NVIDIA一直致力于生成式AI在PC端的落地，ChatRTX的推出就是一个典型的例子。而对于喜好视频剪辑处理的用户来说，NVIDIA也已通过TensorRT推动了剪映专业版AI艺术字功能上线，并正在通过RTX AI平台加速生成式AI在剪映专业版功能中的应用。对视频创作爱好者来说，可以重点关注一下。
游戏领域
AI增强的DLSS 3.5和全景光线追踪，树立全新游戏标准
▲《黑神话：悟空》和《永劫无间》即将支持 DLSS 3.5
再来看下GDC 2024上我们玩家目前相对更关心一些的NVIDIA在游戏领域内的进展。
在 GDC 2024大会上，NVIDIA 宣布两款新游戏将支持DLSS 3.5光线重建(Ray Reconstruction)和全景光线追踪技术，实现画质和性能的大幅提升，能够为 GeForce 玩家带来极致体验。
首先就是备受期待的《黑神话：悟空》(Black Myth: Wukong)将于8月20日发布，同时将会支持NVIDIA DLSS 3.5和全景光线追踪效果。NVIDIA在GDC 2024上也演示了基于DLSS 3.5和全景光线追踪效果的《黑神话：悟空》的Demo，并随后在B站的“英伟达GeForce”账号下上传了全新独家Demo，到截稿时，Demo的播放量已超过200万，可见玩家对这一游戏还是非常关注的。也难怪这款游戏目前在各大平台基本都处于最高的热度和关注度，比如在B站的预约排行里就名列榜首。(小编也非常期待)
GDC 2024大会上另一个被提及的重要消息则是《永劫无间》即将在PVP和PVE模式下的三个地图中添加全景光线追踪，之后也将在更多地图中陆续支持全景光线追踪。
▲《永劫无间》全景光线追踪+DLSS 3.5效果演示Demo
此外，在GDC 2024上，NVIDIA还公布了一系列已上市和后续游戏、应用对DLSS 3.5以及RTX光追的支持情况。在这里我们也做了一个汇总，供大家参阅。
●《星球大战：亡命之徒》将于今年晚些时候发布，支持DLSS 3技术和光线追踪，以增强图形效果、加速性能并提升游戏响应速度。
●《传送门》RTX版现已升级并支持带有光线重建功能的DLSS 3.5和RTX IO，通过全景光线追踪重新演绎Valve 的这款永恒经典游戏，准确地模拟真实世界中光线的特性；
●《暗黑破坏神IV》将于3月26日升级并支持光线追踪技术；
● 现已有超过500款游戏和应用支持 NVIDIA RTX 技术，《第一狂战士：卡赞》《战国王朝》和《时空英豪：新起点》也将加入光追行列。
●支持光线重建的DLSS 3.5即将在NVIDIA RTX Remix 公测版中推出；
●The Finals的第二赛季在3月14日已开启，支持 DLSS 3、RTX GI以及Reflex。
▲RTX AI加速下的实时光追效果渲染
整体来看，本次的GDC/GTC 2024大会NVIDIA强调的核心就在于RTX AI及其未来的发展。从发布的诸多新闻、技术资讯以及Demo演示来看，NVIDIA正在AI领域内进行重大的战略布局，场面甚至比当初布局RTX Studio更大更宏观。从硬件性能基础到RTX AI工具，从设计创作到游戏产业，NVIDIA毫无疑问正在帮助开发者推动着创新的AI解决方案落地，也想要让更多的RTX AI PC用户体会并感受到生成式AI的可期未来。而这，毫无疑问地代表了NVIDIA在2024年乃至今后数年时间内的重点发展方向，感兴趣的玩家和设计创作者们不妨持续关注。