Jetson Thor引爆机器人大脑革命：“三台计算机”生态剑指万亿美元Physical AI市场
今年AI领域流行的热词无疑是Agentic AI和Physical AI。通常我们认为Agentic AI的下一个市场突破点就是Physical AI：Physical AI是将AI应用到现实世界实体的技术基础。从这个角度来看，汽车、机器人，乃至更多工业自动化应用都属于Physical AI范畴。今年Computex台北电脑展上，NVIDIA CEO黄仁勋说Physical AI是机器人革命的基石；而通用机器人将开启下一个万亿美元行业。
在NVIDIA FY2024年报中，黄仁勋写了一篇长达7页的致股东信，主要是在谈行业发展热点与未来：其中的最后一条就是“机器人的ChatGPT时刻即将到来”。所以近几年的GTC开发者大会及更多顶会之上，黄仁勋的主题演讲一定有一部分是特别分配给机器人的。
关注NVIDIA机器人生态叙事的读者应该知道，NVIDIA在这一领域的努力、成果及延续自AI技术的绝对领先地位，绝不仅限于为机器人提供大脑芯片，而更大程度上在于建立起的一整套生态——构建生态的思路，也是NVIDIA在加速计算市场近几十年来致胜的法宝。而传说中的“三台计算机”生态，藉由AI学习、模拟仿真、机器人本体部署三位一体，打造端到端生态，才真正全面直击了当代具身智能机器人开发的痛点。
图1：NVIDIA面向机器人的三台计算机 图片来源：英伟达
在前年的GTC开发者大会上，NVIDIA在媒体会上曾大致谈过，面向Physical AI的“三台计算机”生态中，对NVIDIA而言更大的盈利点恐怕在前两台计算机上——也就是用于AI学习和模拟仿真的两台计算机；只不过显然这两台计算机都是要为第三台计算机，也就是机器人本体服务的。
值得注意的是,在过去2-3年包括CES、SIGGRAPH、ISC等在内的会议上，黄仁勋的主题演讲多少都会提到Jetson Thor——且这颗芯片和平台也有机会在今年下半年及后续数年成为新爆点。而Jetson就是第三台计算机。近期有关Jetson Thor平台的消息已经开始频繁活跃于网络及媒体，借着这个机会，我们也有机会更进一步理清NVIDIA在机器人领域的生态规划。
未来的机器人大脑
目前NVIDIA面向嵌入式应用的平台主要有Jetson, DRIVE AGX, Clara AGX三者。后两者分别是面向汽车与医疗应用的，而Jetson目前的定位是边缘与机器人。实际上，机器人可被看作边缘应用的一个子集。这三者都可以视作NVIDIA针对Physical AI布局“三台计算机”生态的第三台计算机，只不过作为不同应用的“大脑”存在。
所谓的“第三台计算机”，其核心用途就是将在前两台计算机上完成的算法与结果部署到机器人或其他Physical AI设备本体之上。所以Jetson芯片也就成为了机器人的大脑——它可能需要负责机器人的定位导航、运动轨迹规划、全身步态控制，以及现代化的视觉感知、LLM/VLM/VLA大模型参与机器人的交互与任务编排等等。
从硬件角度来看，NVIDIA面向机器人提供的“大脑”芯片主要就是Jetson系列产品，包括更早采用Pascal、Maxwell架构的Jetson，以及相对更偏近代Volta架构的Jetson Xavier，和现在更加为人所知基于Ampere架构的Jetson Orin。去年的ROSCon机器人大会上，我们看到现场超过半数的机器人及模组厂商都在用Jetson Orin，几个月前《国际电子商情》姊妹刊《电子工程专辑》体验过的Jetson Orin Nano也属于其中一员。
而预计将在今年下半年推向市场的Jetson Thor将借助最新的Blackwell架构，持续强化机器人大脑的能力——传说中的Isaac GR00T人形机器人开发平台就基于Jetson Thor。虽说截止到发稿前，NVIDIA还未完全公开Jetson Thor的全部信息，但汽车应用方向上的DRIVE AGX Thor却已经在今年上半年量产，不少车厂也都已经准备将其应用到汽车中；基于NVIDIA芯片面向不同应用采用同架构的特点，Jetson Thor理论上也当与DRIVE AGX Thor有着相似的配方。
图2：英伟达Thor SoC架构介绍 图片来源：英伟达
实际在今年早些时间，NVIDIA也已经公开谈论过Jetson Thor：预计其GPU算力为8.064 TFLOPS@FP32，1035 TOPS@FP8，以及Blackwell架构原生支持的2070 TOPS FP4算力。更重要的是Jetson Thor的GPU采用MIG隔离技术，也就是多实例GPU特性，或对资源高效利用、隔离及任务并行有帮助；以及Blackwell架构更加适配现代化的AI模型，尤其是Transformer结构神经网络的加速。
换用Blackwell架构之所以重要，也在于今年Computex台北电脑展上黄仁勋谈到Physical AI越来越需要具备理解现实世界的能力，包括对象永续性在内的各种物理世界规则——而对这些有更好的理解能力，一定程度上需要依托Agentic AI及逻辑推理(reason)。Ampere架构受制于较老的NVDLA神经网络加速单元，在处理这类工作方面的能力显然是不及算力水平更高且加入Transformer引擎的Blackwell架构的。同时，在“三台计算机”生态中，作为第三台计算机的Jetson与另外两台保持Blackwell架构同步，在部署和迁移上大概于开发者也更友好。
相关Jetson Thor尤为值得一提的是，其CPU部分将会是14个基于ARMv9架构的Poseidon-AE核心，也就是Neoverse V3AE。CPU性能提升2倍以上，让Jetson更大程度上作为机器人脑独当一面，尤其强化实时控制的能力，包括电机驱动、传感器融合等。
另外，再加上内存带宽提升(LPDDR5X)、安全子系统升级、更多加速器集群、IO扩展能力加强、适配更小的体积等等，基于Blackwell架构的Jetson Thor在我们看来，是让“Physical AI”“具身智能”及AI机器人等称谓真正名副其实的芯片及平台——而“机器人的ChatGPT时刻”也将从这里开始。
开发生态可能才是杀招
但这些不是Jetson的全部。黄仁勋总说，NVIDIA是一家软件公司。这话在作为机器人第三台计算机的Jetson平台同样适用。要知道，此前《电子工程专辑》在体验Jetson Orin Nano的过程中，在完全零基础、零代码的情况下达成了对象识别、与机器人对话的功能开发，这与Jetson完善的开发生态是分不开的，也是任何其他同类竞品平台做不到的——尤其在加上另外两台计算机的情况下。
2019年NVIDIA发布的Isaac SDK正是基于AI的机器人开发平台——当时我们在GTC之上看到的Isaac还比较初级。而到去年NVIDIA参加ROSCon，我们再见Isaac，其完善程度已不可同日而语了。
图3：Isaac GR00T开放式人形机器人开发平台，其中Isaac是生态关键 图片来源：英伟达
Isaac本身的核心构成组件及NVIDIA为此搭建起的参考工作流尤为多样化。受限于篇幅，本文不打算对其做完整介绍。不过，有个例子在我们看来是颇具代表性的，也代表真正可投入生产的机器人开发流程会是怎样。当时的主题演讲中，NVIDIA工程师特别谈到了机械臂的随机深框抓取，也就是机械臂藉由视觉感知去抓取杂乱无章的对象，同时要将其以特定位姿摆到下游的生产线上。
NVIDIA针对这一问题采用的是名为Isaac Manipulator的参考工作流，特别面向工业机械臂。其大致工作流程是这样的：首先将来自3D相机的RGBD数据流喂给检测算法，将所有实例的mask识别出来；后续的决策算法根据设计好的排序规则，对不同实例打分，打分最高的mask喂给FoundationPose(6D位姿估计算法)；然后基于高精度要求，接入精匹配(fine matching)算法来修正6D位姿估计结果。
最后将识别到的、需要抓取目标的6D位姿，发给碰撞检测模块——cuMotion是可用于在复杂动态环境中进行无碰撞轨迹规划的算法，根据机械臂状态、目标6D位姿、环境中的障碍物，来求解是否存在无碰撞的全局轨迹——若没有，则注册为失败的mask，决策算法会给出对应惩罚；如果有，则调用Motion Generation算法，生成机械臂的低层级控制，发往控制器完成动作。
图4：英伟达随机无序抓取解决方案架构设计 图片来源：英伟达
上面这两段内容可能有一些晦涩难懂，总的来说这套流程包含了感知、决策、控制三部分。这套工作流的关键组成部分包括了3个基础模型：实时目标检测算法SyntheticaDETR、6D位姿估计和追踪的预训练模型FoundationPose、无碰撞轨迹的cuMotion；硬件层面会藉由GPU并行加速。借此，我们大致能看到生成式AI在当代机器人开发解决方案中的重要性。
作为参考工作流，Isaac Manipulator着眼于让开发者快速部署和验证已有算法，机器人开发者当然可以选择参考其中的部分模块或整个工作流，并将自己的产品集成到其中。目前采用Isaac Manipulator方案的机器人企业已经不少( 当时会上列举的如Franka Robotics, intrinsic, Picknik, Solomon, Yaskawa等)。
将这个例子套用到NVIDIA的“三台计算机”生态上，情况就变成了这样：第一台做AI模型训练——包括感知、抓取、6D位姿估计与追踪等——NVIDIA在其中也提供不少预训练模型；第二台则是仿真计算机，底层是Omniverse，更具体地说建基于Isaac Sim机器人仿真软件；第三台就是采用Jetson芯片及Isaac ROS的机器人，将前两台计算机得到的算法与结果部署到机器人本体。
可以说，一方面Isaac作为综合完整的机器人开发平台，真正加速了AI机器人的模型构建、模拟仿真、部署，即加速了具身智能的潜在大规模落地；另一方面，Isaac构建起的机器人开发生态系统，涵盖的软件框架、仿真环境、AI模型、硬件加速库等，达成的完整性、易用性、可扩展和定制性，几乎没有其他机器人开发平台可比拟——构建闭环生态和标准的思路，就是NVIDIA在诸多应用领域百战不殆的典型。
达成万亿市场规模的潜力
受限于篇幅，本文对于NVIDIA构建机器人生态的侧重点还是放在了第三台计算机上。实际上，另外两台现阶段更能产生价值的计算机也向来是我们关注的重点，包括以DGX为代表的第一台计算机，用于AI模型预训练或后训练；以及负责跑Omniverse + Cosmos的第二台计算机，用于对AI模型做训练、测试、验证和模拟仿真更是我们以往探讨的核心。
加上最终落地部署到Jetson Thor及机器人本体之上，这些共同构成了潜在的万亿美元行业规模，及人类与机器人共生、具身智能参与到大量生产工作中的未来。
图5：今年GTC发布的GR00T N1模型 图片来源：英伟达
在走向这一目标的过程中，有这样一个基本逻辑：以人形机器人为代表的、更具泛化和通用性的机器人，将有机会真正实现机器人技术的规模化。
就像Computex上黄仁勋说的“人形机器人令人惊叹之处，并不仅在于它能做什么，而更在于它相当通用(versatile)。”“技术需要规模化(scale)。绝大部分已有的机器人系统，到目前为止，量都还太少。
量少的系统很难做到技术的规模化，并最终走得够远、够快。”这是人形机器人现在如此受追捧，并让机器人技术做到规模化和普及的底层逻辑。
所以去年NVIDIA也推出了Isaac GR00T(当时还叫Project GR00T)人形机器人开发平台，及着眼于开发通用机器人基础模型的主旨。今年GTC上，开源的Isaac GR00T N1模型就问世了——基于合成数据做生成、学习和模拟仿真；后续更新的Isaac GR00T N1.5今年6月份Computex期间也已经达到6,000次下载量。
Computex上，NVIDIA发布Isaac GR00T-Dreams这一参考工作流，建基于Cosmos，用于大规模合成轨迹数据生成，更是依托Omniverse + Cosmos第二台计算机、借助生成未来世界状态的梦境(Dreams)尝试解决机器人开发当下缺数据的问题。GTC期间发布的开源Physical AI数据集更是NVIDIA尝试解决行业缺数据痛点的身体力行。
且在NVIDIA自身生态建设努力之外，我们也看到Jetson平台与Isaac生态正持续添砖加瓦：比如智元机器人用GR00T Teleop + GR00T Mimic打造仿真遥操作数据采集和扩增方案；群核空间智能平台SpatialVerse则基于Isaac Sim构建具身智能“世界模拟器”；坚米智能藉由Isaac Lab构建仿真训练模型，加速四足机器人开发；银河通用借助Isaac Lab建起大规模机器人灵巧抓握数据集和仿真测试环境，加速灵巧手泛化抓取技能的落地......
相对的，更落地的成果表现在诸如光轮智能开始将GR00T N1和N1.5模型部署到汽车制造生产线；傅里叶推出的GR-2人形机器人借助Isaac Gym(现在的Isaac Lab)进行强化学习和场景仿真，还有我们在ROSCon上看到的诸多已经应用在科研领域的机器人成品。
随着Jetson Thor的上市，预计越来越多的机器人都会用上Jetson Thor芯片与Isaac开发平台，享受“三台计算机”带来的开发便利，并在Blackwell新架构的加持下达成
更高水平的机器人智能。围绕三台计算机生态，从底层算力基础，到模型、算法、数据、开发工具链，及具体上层应用的参考工作流，层层覆盖并解决机器人开发遭遇的挑战和痛点，在形成开发粘性与生态依赖的同时，协同上下游及外围合作伙伴，全面加速具身智能、机器人在商业生产上的应用，推动机器人在人类社会的普及——现在真正做到了这一点的，大概也只有NVIDIA了。
