查看原文
其他

独家 | 为什么埃隆·马斯克说Rust是AGI的语言?

数据派THU 2023-10-03
作者:Michael Yuan

翻译:陈之炎

校对:赵如萱


本文约1500字,建议阅读5分钟

为什么说WasmEdge正走在AGI采用Rust的关键道路上!


为什么不是Python?


当今,包括推理应用程序和智能体在内的大多数LLM应用程序是用Python编写的,但这种形势即将发生改变。对于新一波开发人员来说,Python太慢了,太臃肿了,而且自相矛盾,非常笨拙。其实,LLVM的Chris Lattner,即Clang和Swift的发明者已经证实了Python比编译语言慢35,000倍——这也是为什么他发明了Mojo语言作为Python的替代品。


根据Chris Lattner的说法,编译语言要比Python快35,000倍。


这迫使开发人员将越来越多的应用程序逻辑推送到本机编译的代码中,如C、C++和Rust。例如,当前流行的项目llama.cpp,whisper.cpp和llama2.c都是用零Python相关性编写的。


Greg Brockman是OpenAI的联合创始人和总裁,他也认为 Python太慢了。https://twitter.com/gdb/status/1676726449934331904


这反过来又将降级了Python开发者的体验,事实上,如何为云部署管理Python安装已经成为了一个主要的挑战。


Chris Albon 是维基媒体基金会机器学习的负责人,即便是他也很难指出Python的先进性。https://twitter.com/santiviquez/status/1676677829751177219


换句话说,Python不仅非常慢,而且很难用于开发LLM应用程序。


Rust!


Python面临的挑战为高性能编译语言创造了机会,随着C和C++在开发者社区中败给Rust,埃隆·马斯克(Elon Musk)指出,Rust将成为AGI的语言。


让它沉沦吧!https://twitter.com/elonmusk/status/1649603943033450496
Rust 已连续7年被StackOverflow 公司评为最受欢迎的编程语言,其市场份额正在稳步增长。


Rust + Wasm两个世界的最佳选择


然而,直接将Rust编译为本机机器代码还会引发其他问题。


  • 安全性,本机二进制文件可能会使整个系统崩溃。

  • 可移植性,本机二进制文件依赖于底层操作系统和硬件。

  • 性能,出于安全性和可移植性的要求,本地二进制文件通常需要在Linux容器中运行,容器增加了程序启动和运行时的开销,从而大幅度降低了速度。


Wasm已经成为Rust应用程序解决这些问题的首选,运行Wasm的云优化WasmEdge,开发人员可以在LLM应用程序栈的各层中使用高性能的Rust,作为Python的高性能替代品。


使用Rust + Wasm代替Python来提高性能、减少内存占用空间并提高安全性。


  • 代理层:接收互联网事件、连接数据库和调用其他web服务的网络密集型任务。Rust和WasmEdge为高密度和高性能的代理应用程序提供异步和非阻塞的I/O。示例:flows.network。

  • 推理层:cpu密集型任务,将数据(如单词和句子)预处理成数字,将后处理的数字处理成句子或结构化JSON数据。这些功能均可以用Rust编写以实现最佳性能,并在WasmEdge中运行以实现安全性和可移植性。示例:mediapipe-rs。

  • 张量层:GPU密集型任务,从Wasm传递到原生张量库,利用WasmEdge的插件WASI-NN,将Wasm传递给原生张量库,如 llama.cpp,PyTorch和Tensorflow。


结论


Rust和Wasm是Python友好而高性能的替代品。


  • 它们更好地集成了底层GPU张量库,这些库也是用C/C++/Rust编写的。

  • 在实现特定应用程序的预处理和后处理数据功能方面更加高效,它取代了推理工作负载的大部分工作。

  • 在实现LLM代理所需的网络密集型和长时间运行任务方面更为高效。

  • 它们的容器图像大小比Python图像要小得多(只占用几个MBs而Python 图像则占用数百个MBs)。

  • 由于软件供应链有限,攻击面大大降低,因此它们比Python容器更安全。

  • 它们比Python程序更容易安装和管理。


资源


“顶部有足够的空间:在摩尔定律之后,什么会驱动计算机性能?”作者:麻省理工学院的Leiserson和Thompso等人,《科学》,2020年,第368卷,第6495期。它证明了Python比优化的C程序慢62000倍。作者预测,一场新的计算机革命将来自于大规模地将软件从Python迁移到编译语言。


《无服务器功能即服务的轻量级设计》。作者Long,Tai,Hsieh和Yuan,IEEE软件公司,2021年,第38卷,第75–80页。它演示了AOT优化的Wasm应用程序在启动和运行时都可以大大优于Linux容器应用程序。


WasmEdge的WASI-NN插件允许WasmEdge中的Rust 程序运行Pytorch和Tensorflow推理应用程序。


mediapipe-rs是一个Rust库,供开发人员创建使用谷歌的 mediapipe 系列人工智能模型的应用程序,将它编译后在WasmEdge中运行。


《在WasmEdge中运行 llama2.c 》,作者:Yuan, Medium,2023。它展示了如何在WasmEdge中为llama2 模型运行一个完整的推理应用程序。


flow.network是构建在WasmEdge上的LLM代理的无服务器平台。


感谢拔冗阅读,请关注作者和本文,访问Stackademic 了解更多关于如何在全球普及免费编程教育的资讯。


原文标题:

Why did Elon Musk say that Rust is the Language of AGI?

原文链接:https://blog.stackademic.com/why-did-elon-musk-say-that-rust-is-the-language-of-agi-eb36303ce341


编辑:于腾凯校对:林亦霖



译者简介





陈之炎,北京交通大学通信与控制工程专业毕业,获得工学硕士学位,历任长城计算机软件与系统公司工程师,大唐微电子公司工程师,现任北京吾译超群科技有限公司技术支持。目前从事智能化翻译教学系统的运营和维护,在人工智能深度学习和自然语言处理(NLP)方面积累有一定的经验。业余时间喜爱翻译创作,翻译作品主要有:IEC-ISO 7816、伊拉克石油工程项目、新财税主义宣言等等,其中中译英作品“新财税主义宣言”在GLOBAL TIMES正式发表。能够利用业余时间加入到THU 数据派平台的翻译志愿者小组,希望能和大家一起交流分享,共同进步

翻译组招募信息

工作内容:需要一颗细致的心,将选取好的外文文章翻译成流畅的中文。如果你是数据科学/统计学/计算机类的留学生,或在海外从事相关工作,或对自己外语水平有信心的朋友欢迎加入翻译小组。

你能得到:定期的翻译培训提高志愿者的翻译水平,提高对于数据科学前沿的认知,海外的朋友可以和国内技术应用发展保持联系,THU数据派产学研的背景为志愿者带来好的发展机遇。

其他福利:来自于名企的数据科学工作者,北大清华以及海外等名校学生他们都将成为你在翻译小组的伙伴。


点击文末“阅读原文”加入数据派团队~



转载须知

如需转载,请在开篇显著位置注明作者和出处(转自:数据派ID:DatapiTHU),并在文章结尾放置数据派醒目二维码。有原创标识文章,请发送【文章名称-待授权公众号名称及ID】至联系邮箱,申请白名单授权并按要求编辑。

发布后请将链接反馈至联系邮箱(见下方)。未经许可的转载以及改编者,我们将依法追究其法律责任。



点击“阅读原文”拥抱组织


您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存