新智元报道
本原:OpenAI
编纂:Pricilla 好困
【新智元导读】继Copilot后,高产似xx的OpenAI又出了新的编程语言——Triton,可以自动完成CUDA编程的各种优化。大约25行Python代码就能实现巨匠级性能,没有经验的小白也能写出高效GPU代码,支持Linux体系和NV显卡,项目已开源。
前段时间OpenAI才搞了个大新闻——AI编程神器Copilot。
这次,它又带来了能自动榨干GPU性能的编程语言——Triton。
速率要比PyTorch快两倍!
Triton究竟有多强?
只要25行代码就能实现靠近「SOTA」的性能!
内存合并,共享内存管理,SM内调度,Triton通通帮你搞定。
此外,Triton代码开源,兼容Python。
项目负责人Philippe Tillet透露:「我们的目标是让Triton成为深度学习中CUDA的替换品」。
项目地址:https://github.com/openai/triton
不外,眼前Triton 1.0仅支持Linux体系和英伟达的显卡。
AMD的显卡估计再等等也能用上,甚至也会支持CPU。
至于Windows方面……最好的Linux刊行版可不是白叫的(狗头)。
网友评论
不得不说,深度学习的希望实在是太快了。
有网友就透露:这是啥?pandas的语法用的时候还得谷歌一下,请等等我……
JAX?什么是JAX?比拟学习?什么是图像Transformers?GPT-3已经被代替了吗?
作者透露Triton是本身在2019年的论文中提出来的,即使跟英伟达产物「Triton推理服务器」撞名了,也依然会采用「Triton」这个名字。
这是我在读博士时起头的一个项目,而Triton是独一能将我的博士生导师与该项目接洽起来的东西。
Triton,你从哪里来
正如上文所说,Triton的汗青能够追溯到2019年,作者Tillet在哈佛大学读博时发表的一篇论文。
论文地址:https://dl.acm.org/doi/abs/10.1145/3315508.3329973
深度学习方面新的研究大多都是通过连系原生框架算子完成的。
这种方法方就是方便,但平日必要建立或移动许多临时张量,从而造成神经收集性能上的丧失。
本文地址:http://www.wbwb.net/bianchengyuyan/226868.html 转载请注明出处!