PyTorch 是一个 Torch7 团队开源的 Python 优先的深度学习框架，提供两个高级功能：
强大的 GPU 加速 Tensor 计算（类似 numpy）
构建基于 tape 的自动升级系统上的深度神经网络
你可以重用你喜欢的 python 包，如 numpy、scipy 和 Cython ，在需要时扩展 PyTorch。
在粒度级别上，PyTorch 是一个由以下组件组成的库：
通常使用 PyTorch 是将其作为：
作为 numpy 的替代品，以使用强大的 GPU 能力；
一个深度学习研究平台，提供最大的灵活性和速度。
PyTorch 2.0 现已发布！ 新版本包括稳定版的 Accelerated Transformers（以前称为 Better Transformers）；Beta 功能包括： 使用 torch.compile 作为 PyTorch 2.0 的主要 API（有关 torch.compile 的全面介绍和技术概述，请访问 2.0 入门页面。） scaled_dot_product_attention 函数作为 torch.nn.functional 的一部分 MPS 后端 torch.func 模块中的 functorch API 以及 GPU 和 CPU 上各种推理、性能和训练优化功能的其他 Beta...
PyTorch 团队在昨日举办的 2022 PyTorch Conference 大会上宣布了 PyTorch 2.0，提供了用于体验的早期版本，并表示稳定版将于 2023 年 3 月上旬发布。 团队介绍道，PyTorch 2.0 是他们向 PyTorch 下一代 2 系列迈出的第一步。在过去的几年里，从 PyTorch 1.0 到最新的 1.13，他们对 PyTorch 进行了创新和迭代，并将它迁移到新成立的 PyTorch 基金会，成为 Linux 基金会的一部分。 PyTorch 2.0 引入了 torch.compile，这是一种编...
在 Meta (原 Facebook)、AMD、AWS、谷歌云、微软和 NVIDIA 等大厂的联合推动下，PyTorch 基金会成立了。PyTorch 基金会隶属于 Linux 基金会，其管理委员会由上述六个公司的代表组成。 PyTorch 是一个由 Meta (原 Facebook)开源的 Python机器学习库，基于 Torch，用于自然语言处理等应用程序。随着时间的推移，PyTorch 生态逐渐发展壮大，现在拥有约 2400 名贡献者，在该框架上构建了超过 150000 个项目，已成为人工智能研究和商...
微软宣布进一步扩展和 Meta 的 AI 合作伙伴关系，Meta 已选择 Azure 作为战略性云供应商，以帮助加速 AI 研发。在 2017 年，微软和 Meta（彼时还被称为 Facebook）共同发起了 ONNX（即 Open Neural Network Exchange），一个开放的深度学习开发工具生态系统，旨在让开发者能够在不同的 AI 框架之间移动深度学习模型。2018 年，微软宣布开源了 ONNX Runtime —— ONNX 格式模型的推理引擎。 作为此次深化合作的一部分，Meta 方面...
PyTorch 宣布，通过与 Apple 的 Metal 工程团队合作，目前已实现在搭载 Apple M1 芯片的 Mac 上使用 GPU 加速训练。在这之前，在 Mac 上进行 PyTorch 训练只能使用 CPU，但随着 PyTorch v1.12 即将发布，开发者和研究者可以利用 Apple M1 GPU 的强大性能，从而显著提升模型训练速度。 对于 Mac 来说，此功能极大丰富了在 Mac 上执行机器学习工作流程的能力，例如在本地进行原型设计和微调。 根据 PyTorch 官方博客的介绍，PyTor...
Python 著名 AI 框架 PyTorch 1.11 已发布。此版本由自 1.10 以来的 3300 多个提交组成， TorchData 和 functorch 的 beta 版本亦伴随发布。 版本概括： TorchData 是一个用于通用模块化数据加载原语的新库，用于轻松构建灵活和高性能的数据管道。在 GitHub 上查看。 functorch 是一个将可组合函数转换添加到 PyTorch 的库，现已推出 beta 版。在 GitHub 上查看。 分布式数据并行 (DDP) 静态图优化稳定可用。 TorchData 介绍 To...
机器翻译（MT，Machine Translation）就是采用人工智能将文本从一种语言自动翻译成另一种语言的过程。虽然我们的最终目标是创建一个能够通用的翻译系统，使全球以各种不同的语言为母语的用户都能畅快无阻地获取信息和沟通，但想要将这一愿景变成现实，还有很长的路要走。 目前使用的大多数机器翻译系统采用的都是双语模型，需要为每个语言对（language pair）和任务提供标注示例。然而，这样的模型不适合于训练数据量不够充足的...
PyTorch 1.10 现已发布，该版本包含了自 1.9 以来的 3400 多个 commit ，有 426 位贡献者参与更新。PyTorch 1.10 更新侧重于改进 PyTorch 的训练和性能以及开发人员的可用性。完整的发行说明可在此处获得。主要亮点内容包括： 集成了 CUDA Graphs API 以减少 CUDA 工作负载的 CPU 开销。 FX、torch.special 和 nn.Module Parametrization 等几个前端 API 已从测试版变为稳定版。 除了 GPU 之外，JIT Compiler 中对自动融合的支持...
亚马逊近日为 Facebook 的 PyTorch 机器学习框架推出了一个名为 S3 Plugin 的数据集库，旨在帮助数据科学家访问存储在 AWS S3（Amazon Web Services Simple Storage Service） 中的数据集。它专为低延迟而设计，亚马逊表示，S3 Plugin 为任何规模的数据集提供了流式传输数据的功能，消除了提供本地存储容量的需要。 PyTorch 是一个基于 Torch 库的开源机器学习库，用于计算机视觉和自然语言处理等应用，主要由 Facebook 的 AI 研...
PyTorch 1.9 现已发布，该版本包含了自 1.8 以来的 3400 多个 commit ，有 398 位贡献者参与更新。主要亮点内容包括： 支持科学计算方面的重大改进，现已支持 torch.linalg、torch.special 以及 Complex Autograd； 使用 Mobile Interpreter 对设备上的二进制大小进行重大改进； 通过 TorchElastic 向 PyTorch Core 上游提供对弹性容错训练的本地支持； PyTorch RPC 框架的更新，以支持 GPU 的大规模分布式训练； 为模型推理部署...
Facebook 在本周的开发者大会 F8 Refresh 上宣布，要让 PyTorch 成为该公司构建所有 AI 和机器学习模型的默认框架。PyTorch 是一款开源的机器学习框架，能够加快从研究原型到产品部署的过程，由 Facebook AI 研究人员于 2016 年与一些 AI 研究人员共同创建。 PyTorch 不仅能够让我们的研究和工程工作更加有效、协调和高效，而且还能让我们以开源 PyTorch 库的形式共享我们的作品，并从世界各地成千上万的 PyTorch 开发者取得的进...
PyTorch 1.8.1 现已发布，这是一个小的错误修复版本。具体更新内容如下： New Features 改造 torch.profiler 中的 profiling tools。torch.profiler 子模块现在可用，它利用了新发布的 kineto 库进行性能分析。详情可查看博客。 为 pytorch xla 启用 autocast（＃48570）。该torch.cuda.autocast软件包现在可以与 torch xla 一起使用，以提供简单的混合精度训练。 Improvements 使torch.子模块导入更易于自动完成（＃52339） 在...
PyTorch 1.8 已发布，此版本由 1.7 发布以来的 3000 多个 commit 组成，重要更新内容包括在编译、代码优化和科学计算前端 API 方面的优化和改进，以及通过 pytorch.org 提供的二进制文件来支持 AMD ROCm。1.8 版本还为大规模训练管道、模型并行化，以及梯度压缩提供了特性改进。部分值得关注的亮点： 支持通过torch.fx进行 Python 函数变换 添加或稳定化 API 以支持 FFTs (torch.fft) 和线性代数函数 (torch.linalg)， 添加了对...
没投过票？千万别说你来过 OSC https://www.oschina.net/project/top_cn_2020 PyTorch 1.7 现已发布，此版本增加了许多新的 API、包括对与 NumPy 兼容的 FFT 操作的支持、用于性能分析的工具、以及对基于分布式数据并行（Distributed Data Parallel，DDP）和基于远程过程调用（Remote Procedure Call, RPC）的分布式训练的重大更新。 此外，一些功能已经稳定下来，包括自定义 C++ 类、内存分析器、通过类似自定义张量对象的扩展...
PyTorch 1.6 稳定版已发布，此版本增加了许多新的 API、用于性能改进和性能分析的工具、以及对基于分布式数据并行(Distributed Data Parallel, DDP)和基于远程过程调用(Remote Procedure Call, RPC)的分布式训练的重大更新。部分更新亮点包括： 原生支持自动混合精度训练(automatic mixed-precision training)，并已进入稳定阶段 为 tensor-aware 增加对 TensorPipe 的原生支持 在前端 API 增加了对 complex tensor 的支持 新的...
Facebook 通过 PyTorch 官方博客宣布，微软已扩大了对 PyTorch 社区的参与，现在拥有 PyTorch 在 Windows 上的开发和维护所有权。 PyTorch 是基于 Torch 的开源 Python 机器学习库，由 Facebook 的人工智能研究团队开发。特斯拉的自动驾驶和 Uber 的 Pyro 等深度学习项目都构建于 PyTorch 之上。 此前，Facebook 的工程师们做了大量努力，在 Windows 上添加了对 PyTorch 的支持。但由于资源有限，Windows 对 PyTorch 的支持落后...
PyTorch 1.5 发布了，此版本包括新增加了几个主要的 API 和一些改进、对 C++ 前端有重大更新、用于计算机视觉模型的“通道维持（channels last）”存储格式，以及用于模型并行训练的分布式 RPC 框架的稳定版本。 同时，此版本还提供了针对 hessian 和 jacobian 的 autograd 的新 API，以及一个受 pybind 启发的允许创建 Custom C++ Class（定制类）的 API。 C++ FRONTEND API (STABLE) 之前被标记为实验性质的 C++ 前端 API 现在...
PyTorch 团队上周发布了最新的 PyTorch 1.4 版本。更新日志显示，此版本包含了 1500 多次提交，并在 JIT、ONNX、分布式、性能和 Eager 前端等方面进行了改进，以及对于移动版本和量化方面的实验领域也进行了改进。1.4 还增加了新的实验性功能，其中包括基于 RPC 的分布式模型并行训练以及对 Java 的语言绑定。 此外，PyTorch 1.4 是支持 Python 2 的最后一个版本，同时也是支持 C++11 的最后一个版本。因此官方建议从 1.4 开始迁...
在人工智能快速发展的今天，机器学习框架变得炙手可热，它们摇身成为许多研究人员和从业者的新宠。当下，机器学习框架之战有两个主要竞争者：PyTorch 和 TensorFlow。来自康奈尔大学的 Horace He 对二者进行了对比研究，并将研究成果发表在了斯坦福人工智能实验室创办的数字杂志 “The Gradient” 上。他发现：PyTorch 在学界愈发吃香，而业界的首选仍是 TensorFlow。 在研究领域不断提高主导地位的 PyTorch 下图展示了在每个顶...
在刚刚发布的 PyTorch 1.3 中，Facebook 带来了一个 PyTorch Mobile 框架，它支持在边缘设备上高效运行机器学习，允许从 Python 到在 iOS 和 Android 上部署的端到端工作流。 该功能目前处在早期实验阶段，特性包括： 提供 API，涵盖将 ML 集成到移动应用中所需的常见预处理和集成任务 支持 QNNPACK 量化内核库和 ARM CPU 支持 根据用户的应用需求进行构建级别的优化和选择性编译 进一步改善移动 CPU 和 GPU 的性能和覆盖范围 ...
评论