Linux 基金会托管 PaSh 项目,为工业用例使用自动并行化加速 Shell 脚本

来源: 投稿
作者: LFAPAC
2021-09-23

Linux 基金会宣布它将托管 PaSh 项目。PaSh 是一个用于自动并行化 POSIX shell 脚本的系统,可以优化程序并加快执行时间,为数据科学家、工程师、生物学家、经济学家、管理员和程序员带来更快的结果。

 

该项目由麻省理工学院(MIT)、莱斯大学(Rice University)、史蒂文斯理工学院(Stevens Institute of Technology)和宾夕法尼亚大学(University of Pennsylvania)支持,并由一个技术指导委员会(Technical Steering Committee)管理,该委员会包括麻省理工学院(MIT)的研究科学家 Nikos Vasilakis;史蒂文斯理工学院助理教授 Michael Greenberg;以及宾夕法尼亚大学博士生 Konstantinos Kallas。

“Linux 基金会提供了技术治理基础设施和服务,这是随着 PaSh 变得更加成熟而需要的,”PaSh 项目技术指导委员会主席 Nikos Vasilakis 说。“我们创建这个项目是为了改进和加速 shell 脚本的执行,以应对新的 web 爬行、索引和自然语言处理的变化。”

PaSh 项目技术指导委员会成员 Konstantinos Kallas 补充说:“由于一些协同趋势,PaSh 受到了学术界的高度关注,并有可能在当今的工业中产生巨大的影响。这是正确时间的正确举措。”

支持该项目的技术已经获得了几个奖项,包括第 16 届 EuroSys 会议的最佳论文奖,以及计算机协会(Association of Computing Machinery)颁发给 Konstantinos 的研究生研究奖。

从简洁的数据处理和日常处理到系统编排和管理,shell 脚本——用不同语言开发的始终存在的粘合剂命令——构成了当今计算用户空间的支柱。PaSh 并行化 shell 脚本,实现了显著的性能改进。在现代多处理器计算机上,PaSh 可以执行诸如 web 爬行和索引、与 COVID19 相关的分析、自然语言处理等任务,以及其他工作负载,而开发人员的工作量几乎为零。

“Shell 脚本已经被广泛使用了半个世纪,最近的‘容器化’趋势只增加了它们的重要性。”PaSh 项目技术指导委员会成员 Michael Greenberg 说:“几十年来,正确和自动化的 shell 脚本并行化一直是个问题。PaSh 承诺为所有 shell 用户提供速度提升。”

为了加速 shell 脚本,PaSh 提供了一个源到源的并行编译器,该程序接受程序员的 shell 脚本作为输入,并返回一个比原程序快得多的新程序。由于 PaSh 是源对源的,因此它允许使用与原始脚本相同的工具、相同的环境和相同的数据来检查和执行优化的 shell 脚本。一个小型的运行时库以及在 shell 脚本中常用的程序上的相关注释,为 PaSh 编译器提供了高性能的原语并支持其关键功能。

“PaSh 项目代表了计算机科学和开源软件的创新,”Linux 基金会项目总经理和高级副总裁 Mike Dolan 说。“随着软件开发发展到解决机器学习、容器化、人工智能等问题,PaSh 为需要更多脚本工具的开发人员和数据科学家提供了支持。我们很高兴能够在 Linux 基金会托管这项重要的工作,这是一个像这样的项目的自然家园。”

要了解更多信息并参与 PaSh 项目,请访问http://binpa.sh/。

展开阅读全文
0 收藏
分享
加载中
更多评论
0 评论
0 收藏
分享
返回顶部
顶部