Sparser 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
Sparser 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
授权协议: BSD
开发语言: C/C++ 查看源码 »
操作系统: Linux
收录时间: 2018-09-03
提 交 者: 局长

Sparser 是一个用于解析原始数据的解析引擎,由斯坦福大学开源,用于非结构化和半结构化的数据格式,例如 JSON、Avro 和 Parquet。

特性

  • 用原始过滤器过滤后再解析,丢弃那些不需要用假阳性率解析的记录

  • 用高效的优化器选择级联的原始过滤器

  • 提供超过现有解析器 22 倍的加速度

Sparser 的独特之处在于它可利用 SIMD 加速过滤函数在解析之前过滤数据。在 JSON、Avro 和 Parquet 数据上,Sparser 的速度比最先进的解析器最多快 22 倍,并且能将 Apache Spark 中的端对端的查询运行时间最多提高 9 倍。

Sparser与现有技术的比较 

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

Sparser 的相关资讯

还没有任何资讯

Sparser 的相关博客

开源中国 2018 新增开源软件最受欢迎 TOP 50

来源:开源中国 本周开源中国陆续公布了两个年度榜单,分别是国产新秀榜 TOP 30 和国产新增榜 TOP 50。由于两个榜单的数据来源...

GAITC专题论坛丨共创智能时代 共享智能成果

     2020全球人工智能技术大会将于7月25-26日登陆杭州未来科技城。除了令人瞩目的大会主旨论坛,同期举行的20场专题论坛...

开源中国 2018 新增开源软件最受欢迎 TOP 50

本周开源中国陆续公布了两个年度榜单,分别是国产新秀榜 TOP 30 和国产新增榜 TOP 50。由于两个榜单的数据来源都是国内开源项...

Gentle Introduction to the Adam Optimization Algorithm for Deep Learning

The choice of optimization algorithm for your deep learning model can mean the difference between good results in min...

主流图库对比以及JanusGraph入门

1.Overall Comparison Name Neo4j JanusGraph Giraph 1.Compute Framework Yes Yes Yes 2.External Components Demand Option...

Awesome Knowledge-Distillation

Awesome Knowledge-Distillation 2019-11-26 19:02:16 Source: https://github.com/FLHonker/Awesome-Knowledge-Distillation...

Linear and Logistic Regression in TensorFlow

Linear and Logistic Regression in TensorFlow Graphs and sessions TF Ops: constants, variables, functions TensorBoard ...

Sparser 的相关问答

还没有任何问答,马上提问

评论 (4)

加载中

引用来自“谁来与我大战三百回合”的评论

原理是什么?
Sparser 的独特之处在于它可利用 SIMD 加速过滤函数在解析之前过滤数据, SIMD技术单指令多数据指令集
2019/01/21 11:05
回复
举报
咱们的院校只会交SSH,完了出来之后还得自己去培训机构,输在了起跑线上
2018/09/16 22:55
回复
举报
原理是什么?
2018/09/10 11:25
回复
举报
好夸张
2018/09/05 20:55
回复
举报
更多评论
4 评论
47 收藏
分享
返回顶部
顶部