开源数据解析引擎 Sparser

BSD
C/C++ 查看源码»
Linux
2018-09-03
局长

Sparser 是一个用于解析原始数据的解析引擎,由斯坦福大学开源,用于非结构化和半结构化的数据格式,例如 JSON、Avro 和 Parquet。

特性

  • 用原始过滤器过滤后再解析,丢弃那些不需要用假阳性率解析的记录

  • 用高效的优化器选择级联的原始过滤器

  • 提供超过现有解析器 22 倍的加速度

Sparser 的独特之处在于它可利用 SIMD 加速过滤函数在解析之前过滤数据。在 JSON、Avro 和 Parquet 数据上,Sparser 的速度比最先进的解析器最多快 22 倍,并且能将 Apache Spark 中的端对端的查询运行时间最多提高 9 倍。

Sparser与现有技术的比较 

的码云指数为
超过 的项目
加载中

评论(3)

terrence_tian
terrence_tian
咱们的院校只会交SSH,完了出来之后还得自己去培训机构,输在了起跑线上
原理是什么?
ideal_github_harbby
ideal_github_harbby
好夸张

暂无资讯

暂无问答

Gentle Introduction to the Adam Optimization Algorithm for Deep Learning

The choice of optimization algorithm for your deep learning model can mean the difference between good results in minutes, hours, and days. The Adam optimization algorithm is an...

2018/12/04 13:56
5
0

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部