🧧杏彩·体育全站app官网入口(中国)官方网站IOS安卓/通用版/手机版APP下载
这是一个 GPU 加快的 度神经会聚基元库安卓
你的位置:| 🧧杏彩·体育全站app官网入口(中国)官方网站IOS安卓/通用版/手机版APP下载 > 篮球 > 这是一个 GPU 加快的 度神经会聚基元库安卓

这是一个 GPU 加快的 度神经会聚基元库安卓

发布日期:2024-06-27 09:51    点击次数:78

(原题目:毒害CUDA的掌握)

假如您但愿不错时时会面,迎接标星保藏哦~

开头:实际由半导体产业不雅察(ID:icbank)编译自HPCwire,谢谢。

跟着东说念主工智能禁止渗入到生计的各个鸿沟,这些器用将驱动在哪种软件上仍然是一个疑惑。软件堆栈(或协作使命以在狡计体制上兑现特定功能的软件组件聚积)的礼聘在以 GPU 为要害的东说念主工智能任务狡计需求中变得越来越垂死。

跟着 AI 和 HPC 使用禁止超越狡计才略的极限,软件堆栈的礼聘会显耀效用性能、终结和迷惑东说念主员的分娩力。

面前面,软件堆栈角逐中有三个重要加入者:Nvidia 的狡计融合设立架构 (CUDA)、英特尔的 oneAPI 和 AMD 的 Radeon Open Compute (ROCm)。诚然它们各有优舛错,但 Nvidia 的 CUDA 不竭霸占主导地位,主假如因为其硬件在 HPC 和当今的 AI 鸿沟处于朝上地位。

在这里,咱们将深入推测每个软件堆栈的纷繁性——研究它们的功能、硬件搭救以及与潮流的 AI 框架 PyTorch 的集成。还有,咱们将临了迅捷明显两种高等 HPC 说话:Chapel 和 Julia。

Nvidia 的 CUDA

Nvidia 的 CUDA 是该公司专有的并行狡计平台和软件堆栈,用于在其 GPU 上开展通用狡计。CUDA 供应了一个使用门径编程接口 (API),使软件也许行使 Nvidia GPU 的并行解决才略来加快狡计。

第一必定提到 CUDA,因为它在 AI 和 GPU 密集型 HPC 任务的软件堆栈鸿沟霸占主导地位,这是有充足原理的。CUDA 自 2006 年就已生存,这使其领有悠久的第三方搭救历史和熟知的生态体制。众多库、框架和余下器用齐特地对准 CUDA 和 Nvidia GPU 开展了优化。对 CUDA 堆栈的长久搭救是其关联于余下堆栈的重要上风之一。

Nvidia 供应了一套全面的器用集行为 CUDA 平台的一片段,含有 CUDA 编译器,如Nvidia CUDA Compiler (NVCC)。还有众多用于调试和优化 CUDA 使用门径的调试器和分解器以及用于分配 CUDA 使用门径的迷惑器用。还有,CUDA 的悠久历史催生了众多的文档、教程和社区资源。

在商榷 AI 任务时,CUDA 对 PyTorch 框架的搭救也至关垂死。该软件包是一个基于 Torch 库的开源机器研习库,重要用于狡计机视觉和自然说话解决中的使用。PyTorch 对 CUDA 供应了平米且完好的搭救。PyTorch 中的 CUDA 集成经由高度优化,可在 Nvidia GPU 上开展高效的锻练和推断。往往,CUDA 的熟知意味着不错探访 PyTorch 不错利用的无边库和器用。

除了众多加快库除外,Nvidia 还为 AI 推测东说念主员和软件迷惑东说念主员供应了齐全的深度研习软件堆栈。该堆栈含有潮流的 CUDA 深度神经会聚库 (cuDNN),这是一个 GPU 加快的 度神经会聚基元库。CuDNN 可加快平米利用的深度研习框架,含有 Caffe2 、Chainer 、Keras 、MATLAB 、MxNet 、PaddlePaddle 、PyTorch和TensorFlow。

更垂死的是,CUDA 旨在与通 器皿 Nvidia GPU 合作利用,从耗损级 GeForce 显卡到高端资讯要害 GPU,为用户供应可利用硬件的平米多功能性。

尽管如斯,CUDA 仍有校正旷野,而 Nvidia 的软件堆栈也生存一些用户必定推敲的舛错。第一,尽管 CUDA 不错免费利用,但它是 Nvidia 领有的专有本事,因而不是开源的。这种状态将迷惑东说念主员锁定在 Nvidia 的生态体制和硬件中,因为在 CUDA 上迷惑的使用门径无力在非 Nvidia GPU 上驱动,只有在开展要紧代码更动或利用兼容层。往往,CUDA 的专有特性意味着软件堆栈的迷惑路子图全齐由 Nvidia 戒指。迷惑东说念主员对 CUDA 代码库的尽孝或修正才略有限。

迷惑东说念主员还必定推敲 CUDA 的许可老本。CUDA 本人对于非交易用途是免费的,但交易使用也许需要购买应承的 Nvidia 硬件和软件许可证。

AMD 的 ROCm

AMD 的 ROCm 是众多迷惑东说念主员礼聘的另一种软件堆栈。诚然 CUDA 也许霸占主导地位,但 ROCm 却不落俗套,因为它是用于 GPU 狡计的开源软件堆栈。此功能准许迷惑东说念主员自界说和尽孝代码库,促进社区内的协融洽蜕变。ROCm 的一个要道上风是它搭救 AMD 和 Nvidia GPU,从而兑现跨平台迷惑。

这一稀疏功能由异构狡计可移植接口 (HIP)兑现,它使迷惑东说念主员也许创建可在差别 GPU 平台上驱动的可移植使用门径。诚然 ROCm 搭救耗损级和专科级 AMD GPU,但其重要重心是 AMD 专为专科使命负载想象的高端 Radeon Instinct 和 Radeon Pro GPU。

与 CUDA 一样,ROCm 供应了一系列用于 GPU 编程的器用。这些器用含有 C/C++ 编译器(如 ROCm 编译器聚积、AOMP 和 AMD 优化 C/C++ 编译器)以及 Fortran 编译器(如 Flang)。还有,还有实用于各式鸿沟的库,举例线性代数、FFT 和深度研习。

尽管如斯,与 CUDA 对比,ROCm 的生态体制反向较新,需要在第三方搭救、库和器用方位奋发图强。与 CUDA 供应的众多文档、教程和搭救对比,入围市集的迟到也意味着文档和社区资源愈加有限。对于 PyTorch 来说,状态尤其如斯,它搭救 ROCm 平台,但由于其历史和熟知度较短,需要在性能、优化和第三方搭救方位赶上 CUDA。ROCm 上 PyTorch 的文档和社区资源比 CUDA 的更有限。不外,AMD在这方位正在赢得进展。

与 Nvidia 一样,AMD 也供应了众多的ROCm 库。AMD 为深度研习供应了一个与 cuDNN 尤其的库,名为 MIOpen,用于 PyTorch 的 ROCm 版块(以偏激他潮流器用)。

还有,诚然 ROCm 同期搭救 AMD 和 Nvidia GPU,但由于驱动门径支出和优化挑衅,其在 Nvidia 硬件上驱动时的性能也许无力与 CUDA 相配对。

英特尔的 oneAPI

英特尔的 oneAPI 是一种融合的跨平台编程模子,搭救对准各式硬件架构和加快器开展迷惑。它搭救多种架构,含有来自差别供应商的 CPU、GPU、FPGA 和 AI 加快器。它旨在为异构狡计供应与供应商无关的处分决策,并行使 SYCL 等产业圭臬。此功能意味着它不错在 AMD 和 Nvidia 等外界供应商的架构以及英特尔的硬件上驱动。

与 ROCm 一样,oneAPI 是一个开源平台。因而,与 CUDA 对比,oneAPI 有更多的社区加入和对代码库的尽孝。oneAPI 搭救开源迷惑,搭救多种编程说话和框架,含有带有 SYCL 的 C/C++、Fortran、Python 和 TensorFlow。还有,oneAPI 为异构狡计供应了融合的编程模子,简化了跨差别硬件的迷惑。

往往,与 ROCm 一样,oneAPI 也生存一些与堆栈熟知度关联的舛错。行为一个较年青的平台,oneAPI 需要在第三方软件搭救和对准特定硬件架构的优化方位赶上 CUDA。

从 PyTorch 中的具体用例来看,与熟知的 CUDA 集成对比,oneAPI 仍处于早期时期。PyTorch 不错行使 oneAPI 的资讯并行 Python (DPPy) 库在 Intel CPU 和 GPU 上开展散布式锻练,但对 oneAPI GPU 的原生 PyTorch 搭救仍处于迷惑时期,尚未 预备好干预分娩。

话虽如斯,值得珍惜的是,oneAPI 的上风在于其基于怒放圭臬的历程和跨平台可移植性的后劲。假如顾忌供应商锁定况兼在差别硬件架构上驱动 PyTorch 模子的才略是优先事项,那么 oneAPI 也许是一个可行的礼聘。

面前面,假如 Nvidia GPU 上的最大性能是 PyTorch 使命负载迷惑东说念主员的重要蓄意,那么 CUDA 仍然是首选,因为它领有完好的生态体制。也便是说,征询与供应商无关的处分决策的迷惑东说念主员或重要利用 AMD 或英特尔硬件的迷惑东说念主员也许但愿远隔依赖 ROCm 或 oneAPI。

诚然 CUDA 在生态体制迷惑方位处于朝上地位,但其专有特性和硬件特异性也许会使 ROCm 和 oneAPI 化为某些迷惑东说念主员更成心的处分决策。还有,跟着期间的推移,这些堆栈的社区搭救和文档将不竭增加。CUDA 当今也许霸占主导地位,但这种状态在改日几年也许会生成改动。

详尽出堆栈

总体而言,众多迷惑东说念主员更可爱创建沉寂于硬件的使用门径。在 HPC 中,出于性能缘由,硬件优化是公正的,但众多当代门径员更可爱专注于他们的使用门径,而不是下层硬件的微弱远隔。

PyTorch 便是这一走向的一个很好的例子。Python 并不是一种尤其快的说话,但 Hugging Face 上 92% 的模子齐是PyTorch 特有的。只有硬件供应商在其库上构建了 PyTorch 版块,用户就不错专注于模子,而无谓顾忌下层硬件的各异。诚然这种可移植性很好,但它并不成担保性能,而这恰是下层硬件架构也许施展效果的所在。

自然,Pytorch 基于 Python,这是众多门径员最醉心的第一说话。这种说话时时以易用性相通性能(尤其是并行编程等高性能功能)。当利用 Python 启动 HPC 技俩时,它们倾向于挪动到基于散布式 C/C++ 和 MPI 或利用 OpenMP 的线程使用门径的可彭胀高性能代码。这些礼聘时时会造成“两种说话”疑惑,迷惑东说念主员必定关怀其代码的两个版块。

面前面,两种“较新”的说话 Chapel 和 Julia 供应了一种易于利用的说话处分决策,可供应高性能编码状态。除余下外,这些说话尝试“详尽”编写并行 HPC 集群、多核解决器和 GPU/加快器状态使用门径所需的众多细部。在它们的基本上,它们仍然依赖于上头提到的供应商 GPU 库,但时时不错毒害构建也许在驱动时识别和契合下层硬件状态的使用门径。

1

Chapel

Chapel(Cascade 高分娩力说话)抢先由 Cray 迷惑,是一种并行编程说话,旨在兑现比现时编程说话(即“Fortran/C/C++ 加 MPI”)更高等别的抒发。收购 Cray 的惠普公司面前面搭救该说话的迷惑,将其行为 Apache签发证第 2 版下的开源技俩。现时版块为2.0 版,Chapel 网站宣布了一些令东说念主形象潜入的并行性能资讯。

Chapel 默许编译为二进制可奉行材料,但也不错编译为 C 代码,用户不错礼聘编译器。Chapel 代码不错编译为可从 C、Fortran 或 Python(偏激他说话)调用的库。Chapel 通过为 Nvidia 和 AMD 图形解决单位生成代码来搭救 GPU 编程。

Chapel可用的库越来越多。最近有一个名为 Chainn 的神经会聚库可用于 Chapel,它特地用于利用并行编程构建深度研习模子。Chainn 在 Chapel 中的兑现利用户也许行使该说话的并行编程功能,并在从条记本计算机到超等狡计机的大限制上锻练深度研习模子。

2

Julia

Julia 由麻省理工学院迷惑,旨在化为上述双说话疑惑的迅捷、纯真且可彭胀的处分决策。 Julia 的迷惑使命始于 2009 年,其时 Jeff Bezanson、Stefan Karpinski、Viral B. Shah 和 Alan Edelman 入辖下手创建一种既高等又迅捷的怒放式本事狡计说话。

与 Python 一样,Julia利用迅捷的即时编译器供应反响式讲明编程状态(REPL 或 read–eval–print loop ) 。该说话语法近似于 Matlab,并供应众多高等功能,含有:

1、多重分拨:一个函数不错凭借证注入类型有多种兑现(历程)(易于创建可移植和自契合代码)

2、动态类型体制:用于文档、优化和治疗的类型

3、性能临近 C 等静态类型说话。

4、内置包关怀器

5、专为并行和散布式狡计而想象

6、不错编译为二进制可奉行材料

Julia 还领有实用于 CUDA、ROCm、OneAPI 和 Apple 的GPU 库,可与机器研习库 Flux.jl(以偏激他库)沿途利用。Flux 是用 Julia 编写的,为 Julia 的原生 GPU 搭救供应了轻盈量级的详尽。

Chapel 和 Julia 齐供应了一种高等且可移植的 GPU 编程历程。与众多遮掩下层硬件细部的说话一样,它们也许会有一些性能亏本。不外,迷惑东说念主员时时快意摈弃几个百分点的性能来相通易移植性。

https://www.hpcwire.com/2024/06/21/spelunking-the-hpc-and-ai-gpu-software-stacks/

点这里加存眷,锁定更多原创实际

*免责声明:本文由作者原创。作品实际系作者个东说念主不雅点,半导体产业不雅察转载仅为了传递一种差别的不雅点,不代办半导体产业不雅察对该不雅点支援或搭救,假如有任何异议,迎接关联半导体产业不雅察。

今天是《半导体产业不雅察》为您共享的第3805期实际,迎接存眷。

『半导体第一垂直媒介』

及时 专科 原创 深度

公众号ID:icbank

可爱咱们的实际就点“在看”共享给年轻盈人伴哦



>> 赎回资金兑付日定于2024年6月11日杏彩体育全站app..

>> 你定会觉着这里像一幅画安卓..

>> 后者当今也在与巴萨队长罗伯托沿途责任IOS..

>> 学院还荧惑学员发扬蜕变元气官网入口..

>> 罢手无分离地针对巴勒斯坦百姓的紧要官网入口..

>> Sonos用户对厄运的App改版感受已耿耿于心通用版..

>> 正股最新价为10.01元安卓..

>> 中老年东说念主不错契合吃一些酸味食品中国..

>> 四川泸州:进行买卖住房贷款转公积金贷款事务 优化公积金贷款套数认定圭臬..

>> 表示了阳朔壮好意思秀气的江山图景通用版..