Meta 今天宣布了其开源机器学习框架 PyTorch 的最新更新。据该公司称,PyTorch 2.0 是迈向下一代 PyTorch 2 系列版本的第一步。 此版本旨在提高性能速度并添加对动态形状和分布式的支持,同时仍保持相同的急切模式开发和用户体验。 PyTorch 2.0 还引入了“torch.compile”,这是一种提高 PyTorch 性能并开始将 PyTorch 的部分从 C++ 移回 Python 的新功能。 此外,更新中还包含多项新技术,包括: TorchDynamo,它致力于使用 Python Frame Evaluation Hooks 安全地捕获 PyTorch 程序。 AOTAutograd 重载 PyTorch 的 autograd 引擎作为跟踪 autodiff 用于提前生成反向跟踪。PrimTorch 将约 2000 多个 PyTorch 运算符规范化为约 250 个原始运算符,开发人员可以使用这些运算符构建完整的 PyTorch 后端。 TorchInductor 是一种深度学习编译器,可为多个加速器和后端生成代码。 “PyTorch 2.0 体现了深度学习框架的未来,”grid.ai 的首席技术官兼 PyTorch Lightning 的主要维护者之一 Luca Antiga 说。“在没有用户干预的情况下捕获 PyTorch 程序并获得大规模的设备加速和开箱即用的程序操作的可能性为 AI 开发人员开启了一个全新的维度。” |