Tuplex 正在参加 2021 年度 OSC 中国开源项目评选,请投票支持!
Tuplex 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
2021 年度 OSC 中国开源项目评选 正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>> 中场回顾
Tuplex 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !
授权协议 Apache-2.0
开发语言 C/C++ 查看源码 »
操作系统 跨平台
软件类型 开源软件
所属分类 大数据数据处理
开源组织
地区 不详
投 递 者 Alias_Travis
适用人群 未知
收录时间 2021-07-08

软件简介

Tuplex 是一个并行的大数据处理框架,它以编译代码的速度运行用 Python 编写的数据科学管道。Tuplex 具有与Apache SparkDask类似的 Python API ,但与调用 Python 解释器不同,Tuplex 为给定的管道和输入数据集生成优化的 LLVM 字节码。在底层,Tuplex 基于数据驱动编译和双模式处理,这两项关键技术使 Tuplex 能够提供与手工优化的 C++ 编写的流水线相媲美的速度。

安装

要安装 Tuplex,您可以使用适用于 Linux 的 PyPi 包,或适用于 MacOS 的 Docker 容器,这将启动预装 Tuplex 的 jupyter notebook。

Docker

docker run -p 8888:8888 tuplex/tuplex

PyPI

pip install tuplex

构建

Tuplex 适用于 MacOS 和 Linux。当前版本已在 MacOS 10.13-10.15 和 Ubuntu 18.04 和 20.04 LTS 下测试。要安装 Tuplex,只需先安装依赖项,然后构建包。

MacOS 从源代码构建

要构建 Tuplex,您首先需要其他几个可以通过 brew 轻松安装的软件包。

brew install llvm@9 boost boost-python3 aws-sdk-cpp pcre2 antlr4-cpp-runtime googletest gflags yaml-cpp celero
python3 -m pip cloudpickle numpy
python3 setup.py install

从源代码构建 Ubuntu

为了便于安装 Ubuntu 的依赖项,我们提供了两个脚本(scripts/ubuntu1804/install_reqs.sh适用于 Ubuntu 18.04 或scripts/ubuntu2004/install_reqs.shUbuntu 20.04)。要创建 Tuplex 的最新版本,只需运行

./scripts/ubuntu1804/install_reqs.sh
python3 -m pip cloudpickle numpy
python3 setup.py install
展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论

点击引领话题📣 发布并加入讨论🔥
暂无内容
发表了博客
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
发表了问答
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
Jupyter Notebook 跨站脚本漏洞
XSS
Jupyter Notebook是一套用于创建、共享代码和说明性文本文档的开源Web应用程序。 Jupyter Notebook 5.7.6之前版本中存在安全漏洞。攻击者可利用该漏洞绕过访问限制,获取敏感信息。
CVE-2019-9644 MPS-2019-2427
2022-08-08 18:53
NumPy 缓冲区错误漏洞
缓冲区溢出
** 有争议 ** NumPy 1.9.x 中 ctors.c 的 PyArray_NewFromDescr_int 函数中存在缓冲区溢出漏洞,当从 Python 代码中指定大维度(超过 32 个)数组时,这可能会让恶意用户导致拒绝服务。注意:供应商不同意这是一个漏洞;在(非常有限的)情况下,用户可能会引发缓冲区溢出,用户很可能已经拥有至少通过耗尽内存来引发拒绝服务的特权。进一步触发此操作需要使用不常见的 API(复杂的结构化数据类型),非特权用户不太可能使用该 API。
CVE-2021-33430 MPS-2021-25101
2022-08-08 18:53
urllib3 资源管理错误漏洞
拒绝服务
urllib3是一款Python HTTP库。该产品具有线程安全连接池、文件发布支持等。 Urllib3 存在资源管理错误漏洞,该漏洞源于在鉴权模块的URL中添加@参数导致,攻击者可利用该漏洞引起资源冲突导致拒绝服务。以下产品及型号会受到影响:Urllib3 0.3, 0.3.1, 0.4, 0.4.1, 1.0, 1.0.1, 1.0.2, 1.1, 1.2, 1.2.1, 1.3, 1.4, 1.5, 1.6, 1.7, 1.7.1, 1.8, 1.8.1, 1.8.2, 1.8.3, 1.9, 1.9.1, 1.10, 1.10.1, 1.10.2, 1.10.3, 1.10.4, 1.11, 1.12, 1.13, 1.13.1, 1.14, 1.15, 1.15.1, 1.16, 1.17, 1.18, 1.18.1, 1.19, 1.19.1, 1.20, 1.21, 1.21.1, 1.22, 1.23, 1.24, 1.24.1, 1.24.2, 1.24.3, 1.25, 1.25.1, 1.25.2, 1.25.3, 1.25.4, 1.25.5, 1.25.6, 1.25.7, 1.25.8, 1.25.9, 1.25.10, 1.25.11, 1.26.0, 1.26.1, 1.26.2, 1.26.3, 1.26.4。
CVE-2021-33503 MPS-2021-9054
2022-08-08 18:53
Jupyter Notebook 跨站脚本漏洞
XSS
Jupyter Notebook是一套用于创建、共享代码和说明性文本文档的开源Web应用程序。 Jupyter notebook 存在安全漏洞,该漏洞源于Jupyter Notebook使用不推荐的Google Caja版本来清理用户输入。当受害者在Jupyter notebook中打开恶意ipynb文档时,可以触发XSS。攻击者可利用该漏洞在受害者计算机上执行任意代码
CVE-2021-32798 MPS-2021-16957
2022-08-08 18:53
keras 存在反序列化漏洞
反序列化
keras 是一个 Keras 是 Python 的高级神经网络 API。这个包的受影响版本容易受到不可信数据的反序列化。
MPS-2022-14959
2022-08-08 18:53
mistune 存在跨站脚本漏洞
XSS
此软件包的受影响版本很容易通过未经清理的图像链接受到跨站点脚本 (XSS) 的攻击。
MPS-2022-14986
2022-08-08 18:53
OpenCV 缓冲区错误漏洞
跨界内存写
OpenCV是一款开源的、跨平台的、轻量级计算机视觉库。 OpenCV 4.2.0之前版本中的持久性数据结构功能存在缓冲区错误漏洞。攻击者可通过特制的JSON文件造成缓冲区溢出,进而导致多个堆损坏并可能执行代码。
CVE-2019-5064 MPS-2020-0085
2022-08-08 18:53
mpmath 存在ReDoS漏洞
ReDoS
mpmath 是一个用于任意精度浮点运算的库。由于子模式 \d*\,此软件包的受影响版本容易受到正则表达式拒绝服务 (ReDoS) 的攻击。
MPS-2022-14993
2022-08-08 18:53
nltk 存在拒绝服务漏洞
拒绝服务
nltk 是一个自然语言工具包 (NLTK) 是一个用于自然语言处理的 Python 包。此软件包的受影响版本容易受到正则表达式拒绝服务 (ReDoS) 的攻击。
MPS-2022-15003
2022-08-08 18:53
lxml 存在路径遍历漏洞
路径遍历
此软件包的受影响版本容易受到任意文件写入的影响。
MPS-2022-14974
2022-08-08 18:53
NumPy 安全漏洞
空指针解引用
** 有争议 ** 由于缺少返回值验证,NumPy < 中的 numpy.sort 和 PyArray_DescrNew 函数中的 1.19 中存在空指针取消引用漏洞,这使得攻击者可以通过重复创建排序数组来进行 DoS 攻击。注意:虽然正确的是缺少验证,但只有内存耗尽才会发生错误。如果用户可以耗尽内存,则他们已经拥有特权。此外,实际上不可能构建一个可以针对恰好在此位置发生的内存耗尽的攻击。
CVE-2021-41495 MPS-2021-32278
2022-08-08 18:53
NumPy 安全漏洞
缓冲区溢出
** DISPUTED ** NumPy < 1.19 中 fortranobject.c 的 array_from_pyobj 函数中的缓冲区溢出,这使得攻击者可以通过小心地构造具有负值的数组来进行拒绝服务攻击。注意:供应商不同意这是一个漏洞;负维度只能由已经拥有特权的用户(或内部)创建。
CVE-2021-41496 MPS-2021-32279
2022-08-08 18:53
nltk 代码问题漏洞
不充分的比较
Nltk是一个自然语言工具包。用于支持自然语言处理的研究和开发。 nltk 中存在代码问题漏洞,该漏洞源于产品中的某些正则表达式存在错误。攻击者可通过该漏洞导致拒绝服务。
CVE-2021-3828 MPS-2021-32390
2022-08-08 18:53
nltk 安全漏洞
ReDoS
Nltk是一个自然语言工具包。用于支持自然语言处理的研究和开发。 nltk存在安全漏洞,该漏洞源于在处理正则表达式的过程中触发异常。
CVE-2021-3842 MPS-2021-32644
2022-08-08 18:53
Jupyter Notebook 权限许可和访问控制问题漏洞
Jupyter Notebook是一套用于创建、共享代码和说明性文本文档的开源Web应用程序。 Jupyter Notebook 5.4.1之前版本中存在权限许可和访问控制问题漏洞。攻击者可借助恶意伪造的记事本文件利用该漏洞在记事本上下文中执行JavaScript代码。
CVE-2018-8768 MPS-2018-3373
2022-08-08 18:53
Jupyter Notebook 输入验证错误漏洞
跨站重定向
Jupyter Notebook是一套用于创建、共享代码和说明性文本文档的开源Web应用程序。 Jupyter Notebook 5.7.8之前版本中存在输入验证错误漏洞,该漏洞源于网络系统或产品未对输入的数据进行正确的验证。
CVE-2019-10856 MPS-2019-3607
2022-08-08 18:53
httplib2 资源管理错误漏洞
拒绝服务
httplib2是一款HTTP客户端库。 httplib2 0.19.0之前的版本中存在安全漏洞,该漏洞源于在 www-authenticate 报头中响应长串 xa0 字符可能会导致httpplib2客户端访问该服务器时拒绝服务。
CVE-2021-21240 MPS-2021-10429
2022-08-08 18:53
scikit-learn 存在拒绝服务漏洞
拒绝服务
scikit-learn 是基于 SciPy 构建的用于机器学习的 Python 模块,并在 3-Clause BSD 许可下分发。此软件包的受影响版本容易受到正则表达式拒绝服务 (ReDoS) 的攻击,该表达式通过在 _decode_attribute 中评估的 _RE_TYPE_NOMINAL 正则表达式进行。
MPS-2022-15126
2022-08-08 18:53
psutil 资源管理错误漏洞
双重释放
psutil是一款基于Python的进程和系统监视库。 psutil 5.65及之前版本中存在资源管理错误漏洞。远程攻击者可借助特制数据利用该漏洞导致应用程序崩溃(拒绝服务)。
CVE-2019-18874 MPS-2019-14454
2022-08-08 18:53
OpenCV 缓冲区错误漏洞
跨界内存写
OpenCV是一款开源的、跨平台的、轻量级计算机视觉库。 OpenCV 4.1.0版本中的‘persistence’模式存在缓冲区错误漏洞。远程攻击者可借助特制XML文件利用该漏洞在系统上执行任意代码。
CVE-2019-5063 MPS-2020-0084
2022-08-08 18:53
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
0 评论
7 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部