黄仁勋：这是第一次，通用人形机器人的关键技术“近在眼前”了

　　转自：华尔街见闻

　　作者：硬AI

　　在最新的访谈中，黄仁勋表示，通用人形的技术“难以实现”，但随着大型语言模型以及基础模型方面的突破，必要的技术“近在眼前”。未来，AI的应用科学将变得尤为重要。新一代面临的挑战是如何利用AI技术解决实际问题并创造价值。

　　近日，英伟达首席执行官黄仁勋接受了科技自媒体Tiff In Tech的采访。他分享了英伟达在物理AI领域的最新突破。

　　黄仁勋表示，通用人形机器人的技术“难以实现”，但随着Transformer模型、大型语言模型以及基础模型方面的突破，必要的技术“近在眼前”，英伟达能够在这个领域做出真正的贡献。

　　物理AI指能理解和交互物理世界的AI系统，这一技术将彻底改变机器人的训练方式。英伟达推出的Cosmos和Omniverse平台能够在虚拟环境中模拟真实世界，大大缩短了机器学习的时间。

　　黄仁勋表示，英伟达的技术可以将机器人的训练时间从多年缩短至几小时，极大提高了效率和可行性。

　　黄仁勋还特别强调了英伟达“三台计算机”自动驾驶解决方案的安全性。这种涉及三个独立计算机协同工作的系统，可以提供更高的可靠性和冗余性，从而增强自动驾驶汽车的安全性能。

　　黄仁勋表示，在接下来的十年里，人工智能的应用科学将变得尤为重要。与上一代主要关注如何应用计算机来解决芯片设计和软件工程问题不同，新一代面临的挑战是如何将AI技术应用到各个行业和领域中，以解决实际问题并创造价值。

　　以下为对话亮点总结：

• 通用人形机器人技术将最为实用，因为我们的世界是围绕人类自身需求而建造的。这项技术极其难以实现。然而，随着Transformer模型、大型语言模型以及基础模型方面的突破，我们相信，我们已经具备了在这一领域做出实质性贡献的技术基础。
• 教导通用机器人的方式类似于教导一个人。利用Isaac Sim，我们可以进行几次人类示范，然后使用AI、Cosmos和Omniverse生成大量不同场景。
• Omniverse创建的这个虚拟世界，实际上是现实世界的数字孪生（digital twin），这正是它的设计初衷。
• Omniverse就是一个虚拟游乐场。对机器人来说，它感觉就像真实世界一样，因为这个虚拟环境遵循物理定律，一切看起来都很真实。机器人无法分辨虚拟世界和现实世界的差别，这正是关键所在。
• 我们为自动驾驶汽车行业提供服务的方式是通过三个计算机系统：一个用于训练AI，一个用于模拟AI，称为全景宇宙，还有一个用于将AI装入汽车中。
• 我们这一代人主要关注如何应用计算机来解决芯片设计和软件工程问题，而新一代则需要思考如何应用 AI 来解决所有这些基本问题。比如，如何将 AI 应用于林业？如何将 AI 应用于海洋学？诸如此类，每个行业，每个科学领域都将受到影响。

　　以下为访谈全文：

　　构建通用机器人：世界模型与人工智能的融合

　　Tiff In Tech：

　　嗨，Jensen。感谢您今天抽出时间与我聊天。你在CES上发布了一些突破性的公告，特别是有一个领域我非常好奇，那就是机器人技术。当谈到机器人技术时，使用Cosmos或世界基础模型等工具，什么最让你兴奋？

　　黄仁勋：

　　我们正处于机器人技术的一个不可思议的时代。构建通用人形机器人所需的关键技术即将到来。其中一项关键技术是理解世界的人工智能模型，就像我们拥有理解语言的人工智能模型一样。现在有了ChatGPT和Llama等，我们需要一个世界模型，一个理解世界的语言模型。世界需要机器人。其中一个原因是我们没有足够的劳动力。你知道，人口正在老龄化，人们对工作类型的偏好也在改变，出生率在下降，而世界需要更多的劳动力。因此，拥有机器人系统的时机确实相对迫切。

　　通用人形机器人技术将最为实用，因为我们的世界是围绕人类自身需求而建造的。这项技术极其难以实现。然而，随着Transformer模型、大型语言模型以及基础模型方面的突破，我们相信，我们已经具备了在这一领域做出实质性贡献的技术基础。

　　我们需要将几个方面结合起来：首先，机器人必须理解我们。例如，ChatGPT的突破确实使这成为可能。但缺少的是，我们现在需要一个理解物理世界的人工智能。它必须理解物理世界的动力学，包括重力、惯性、摩擦，还必须理解空间关系和几何关系，以及一些常识性的东西，比如对象恒存性（指物体即使暂时看不见也仍然存在的认知）等。

　　因此，我们着手创建本质上是世界模型的ChatGPT或Llama。它被称为世界基础模型（用于理解和模拟物理世界的AI模型）。就像语言基础模型（用于理解和生成人类语言的AI模型）一样，这是一个理解世界的基础模型。如果我们能创造这样的东西，那就是Cosmos，我们将它公开供所有人使用，希望这将真正点燃并加速机器人技术的发展。

　　Isaac Sim：虚拟现实赋能机器人高效训练

　　Tiff In Tech：

　　在教授机器人技术方面，这些技术非常有前景。我了解到最近有关Isaac Sim的一些新公告，特别是在虚拟现实训练方面。您如何看待这项技术的未来发展和潜力？

　　黄仁勋：

　　训练AI的第一步是要给它们基础知识，也就是常识知识。第二步是要培养必要技能。教导通用机器人的方式类似于教导一个人。我们通过示范来教学。我们使用人类示范，向机器人展示如何拿起玻璃杯。每次玻璃杯的位置、高度和形状可能略有不同，但本质上仍是拿起一杯水的动作。利用Isaac Sim，我们可以进行几次人类示范，然后使用AI、Cosmos和Omniverse生成大量不同场景。我们生成各种不同大小、位置和摆放方式的版本，并将这些训练数据，包括模仿数据提供给机器人学习。这样，机器人就能学习到大量泛化版本的动作。

　　Tiff In Tech：

　　看起来可能有无限多的版本。这正是这项技术解决的问题，通过为机器人提供这些多样化的训练版本。

　　黄仁勋：

　　没错。我们不是只给机器人一个例子，而是提供数百万个不同的例子。

　　Omniverse：打造机器人训练的无限可能

　　Tiff In Tech：

　　您还提到了Omniverse，这让我非常感兴趣，尤其是在制造业等行业的虚拟现实训练方面。您如何看待这些行业使用Omniverse进行训练的未来发展？

　　黄仁勋：

　　机器人行业发展缓慢，主要是因为训练机器人非常困难。你需要为机器人创造大量的体验场景。而且在现实世界中训练机器人也存在安全隐患。因此，我们创造了一个虚拟世界，本质上是一个机器人的游乐场。

　　这个Omniverse就是一个虚拟游乐场。对机器人来说，它感觉就像真实世界一样，因为这个虚拟环境遵循物理定律，一切看起来都很真实。机器人无法分辨虚拟世界和现实世界的差别，这正是关键所在。我们在Omniverse这个虚拟世界中训练机器人，为其创造大量学习场景。当机器人学会如何在Omniverse中完成任务后，我们将这个机器人大脑转移到真实的机器人中。如果虚拟到现实的差距（SIM-to-real gap，即仿真环境与真实环境之间的差异）足够小，机器人就无法察觉差别。这就是令人惊叹的地方。Omniverse创建的这个虚拟世界，实际上是现实世界的数字孪生（digital twin），这正是它的设计初衷。

　　Tiff In Tech：

　　这太神奇了。如果用传统方法训练，肯定会消耗大量资源和时间。

　　黄仁勋：

　　是的，确实如此。否则，如果要在现实世界中训练机器人学习行走，它将按照人类的时间进度线性学习。但在全景宇宙（omniverse，一种虚拟仿真环境）中，我们可以创建多个不同的多元宇宙（multiverse，即多重平行世界），让机器人并行学习，可能同时以10万种不同的方式学习。这样，我们就可以将原本需要10年才能训练机器人完成的任务，缩短到几个小时内完成。

　　想象一下，如果我们有多元宇宙，我们会变得多么聪明。就像Tiffany的不同版本可以在这里学习数学，在那里学习科学，在另一处学习英语，还有地理等等，同时学习所有这些内容。这基本上就是全景宇宙所能实现的。

　　英伟达驾驶AI：多层次安全保障自动驾驶未来

　　Tiff In Tech：

　　这个技术真是令人向往。昨天你们还宣布了另一个领域的进展，就是关于英伟达驾驶AI，真正增强和提高了自动驾驶汽车的安全性。我知道你们还宣布了与丰田的合作，这也非常令人兴奋。

　　黄仁勋：

　　是的，那是一个重大新闻，真的很重要。丰田是世界上最大的汽车公司。

　　Tiff In Tech：

　　没错，这确实令人非常兴奋。你认为英伟达驾驶AI的发展前景如何？

　　黄仁勋：

　　我们在自动驾驶领域已经深耕多年，现在已经发展成为一个约50亿美元规模的业务。我们为自动驾驶汽车行业提供服务的方式是通过三个计算机系统：一个用于训练AI，一个用于模拟AI，称为全景宇宙，还有一个用于将AI装入汽车中。

　　对于车载AI来说，安全就是一切。要解决安全问题，首先算法必须安全。它必须能够智能地避开危险，知道如何安全驾驶等。

　　但这些都是算法层面的问题，在更底层，操作系统必须设计得安全。车载计算机必须设计得安全，意味着它不能失效，即使失效也要安全失效。这涉及到一系列非常复杂的技术，包括算法多样性（diversity of algorithms，即使用多种算法以提高系统的鲁棒性）和计算冗余（redundancy of computing，即设置多重备份计算系统以防止单点故障）。所有这些复杂技术使得安全成为可能。

　　Tiff In Tech：

　　这个观点很有意思。因为从消费者的角度来看，人们通常认为安全更多是关于检测物体之类的。但正如你所说，它涉及很多层面，一直延伸到算法层面，这才是关键所在。

　　黄仁勋：

　　没错。你拥有的多样性和冗余越多，系统就越安全。

　　Tiff In Tech：

　　你带领英伟达在游戏和人工智能领域取得了诸多突破。在未来十年，你认为哪项新兴技术将对我们产生最大影响？

　　黄仁勋：

　　毫无疑问，人工智能是我们这个时代最重要的技术。如果你退一步思考，问自己，如果我们能够扩展智能并将其应用于渠道能力、医疗保健互动、药物研发、应对气候变化或开发机器人等，会发生什么？我们正在研究这些技术，以便应对人口老龄化、人口减少，并通过提高每个行业的生产力来防止和缓解各地的通货膨胀。人工智能将影响如此多的领域，这就是为什么我们公司全力投入其中。

　　现在，人工智能影响着我们所有的其他业务，包括电子产品在内。尽管 GeForce 是推动人工智能发展的重要力量，但 AI 现在反过来又让 GeForce 在计算机图形学方面变得更加出色。我们将人工智能和计算机图形学结合起来所能实现的效果令人难以置信。我们正将人工智能与物理科学相结合，彻底革新了科学计算的方式。我们还将其应用于芯片设计和软件开发，以设计出更好的芯片和开发更优质的软件。因此，人工智能影响着我们所做的一切，它也将影响每个行业的方方面面。毫无疑问，这是当今最重要的技术。

　　未来技术AI趋势与职业发展

　　Tiff In Tech：

　　这让我想到一个问题。我的频道上有很多粉丝和关注者，他们要么是学习计算机科学的，要么是在科技领域工作。一个常见的问题是，科技领域有这么多方向可以选择。从商业和技术角度看，人工智能似乎确实是一个值得他们继续深耕的领域。

　　黄仁勋：

　　是的，为人工智能的基础科学做贡献当然很棒。然而，在接下来的十年里，人工智能的应用科学将变得尤为重要。

　　我每天都把 ChatGPT 作为工作伙伴。我一直开着 ChatGPT，向它提问并与之合作解决问题。你必须学会如何与 AI 互动。正如你所知，提示工程确实是一门艺术，其中既有艺术性也有科学性。因此，你需要学会如何与人互动，同样也要学会如何与 AI 互动。我们需要思考如何将 AI 应用于内容创作、工程、软件开发、市场营销、金融或法律等各个领域。

　　如何将 AI 应用于这些领域是一个值得大量研究和开发的方向。我们这一代人主要关注如何应用计算机来解决芯片设计和软件工程问题，而新一代则需要思考如何应用 AI 来解决所有这些基本问题。比如，如何将 AI 应用于林业？如何将 AI 应用于海洋学？诸如此类，每个行业，每个科学领域都将受到影响。

　　Tiff In Tech：

　　非常感谢你今天抽出时间与我交流。这次对话让我对未来和即将到来的技术变革感到非常兴奋。

　　本文来自微信公众号“硬AI”，关注更多AI前沿资讯请移步这里

　　市场有风险，投资需谨慎。本文不构成个人投资建议，也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资，责任自负。