openLooKeng 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
openLooKeng 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
openLooKeng 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」 !
openLooKeng 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」「最积极运营项目」 !
openLooKeng 获得 2020 年度 OSC 中国开源项目评选「最积极运营项目」 !
授权协议 Apache-2.0
开发语言 Java C/C++ 查看源码 »
操作系统 跨平台
软件类型 开源软件
所属分类 大数据数据处理
开源组织 华为
地区 国产
提 交 者 OSCHINA编辑部
适用人群 未知
收录时间 2020-07-03

软件简介

openLooKeng 是一款高性能数据虚拟化引擎,提供统一 SQL 接口,具备跨数据源/数据中心分析能力以及面向交互式、批、流等融合查询场景。同时增强了前置调度、跨源索引、动态过滤、跨源协同、水平拓展等能力。

随着大数据技术的应用和发展,数据种类越来越多,数据分布越来越广,查询场景也越来越复杂,这使得大数据使用更加困难。为了改善大数据的易用性,数据虚拟化引擎 openLooKeng 开源项目旨在解决上述问题:

  • 统一 SQL 接口访问多种数据源
  • 免数据搬迁,在数据所在地对数据进行处理,并且支持跨数据中心、跨云处理
  • 面向交互式、批、流等融合查询的场景(第一个版本支持交互式查询场景)

此外,该项目还提供了 Coordinator AA 高可靠、可扩展的数据源 connector 框架等能力。

openLooKeng 使用了开源 SQL 引擎 Presto 来提供交互式查询分析基础能力,并继续在融合场景查询、跨数据中心/云、数据源扩展、性能、可靠性、安全性等方面发展,让数据治理、使用更简单。

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (1)

加载中
有人用过吗,怎么样呀
2020/10/21 18:52
回复
举报
更多评论
暂无内容
发表于数据库专区
01/15 09:57

OpenLookeng简介

OpenLookeng简介 OpenLookeng关键特性 OpenLookeng之Connector OpenLookeng之算子下推 ..... OpenLookeng 我理解其实就是基于异构数据源上的统一查询引擎。这一层其实可以理解为替换掉Hive。实际底层物理存储可以是多种多样的,可以是RDB,HDFS(Hive),GuassDB(OLAP DB),Hbase等等。这样也就同一个了查询接口,基于标准SQL 2003语法,屏蔽了不同数据源查询的学习成本。 什么是OpenLookeng 数据虚拟化引擎 openLooKeng:我们...

0
0
发表于数据库专区
01/18 18:15

OpenLookeng之Connector

OpenLookeng简介 OpenLookeng关键特性 OpenLookeng之Connector OpenLookeng之算子下推 ..... 之前系列已经讲到OpenLookeng的其中一大目标是提供跨多种数据源联合查询的能力,解决跨源大数据分析查询难题。这就依赖于其Connector特性。通过Connector的架构设计,提供了插件式、可配置化的多种数据源接入方式,对外统一为SQL 2003接口,这样对于数据分析师的学习成本就降低了很多。正所谓“分久必合合久必分”。 通过SQL 2003提供...

0
0
发表于数据库专区
01/15 11:03

OpenLookeng关键特性

OpenLookeng简介 OpenLookeng关键特性 OpenLookeng之Connector OpenLookeng之算子下推 ..... 继上篇OpenLookeng简介,大家对它有了基本了解。这篇文章重点介绍一下OpenLookeng的一些关键特性,便于深入了解它为什么适合这些业务场景。 Connector框架 openLooKeng 支持 ANSI SQL2003 语法,用户使用 openLooKeng 语法进行查询时,无论底层数据源是 RDBMS 还是 NoSQL 或者其他数据管理系统,借助 openLooKeng 的 Connector 框架,...

0
0
发表于数据库专区
02/02 15:35

OpenLookeng之算子下推

OpenLookeng简介 OpenLookeng关键特性 OpenLookeng之Connector OpenLookeng之算子下推 ..... 什么是算子下推 算子下推其实就是谓词下推概念的扩展。目的就是 将外层查询块的 WHERE 子句中的谓词移入所包含的较低层查询块,从而能够提早进行数据过滤以及有可能更好地利用索引。 基本思想即:将过滤表达式尽可能移动至靠近数据源的位置,以使真正执行时能直接跳过无关的数据。 传统的谓词下推 在传统数据库的查询系统中谓词下推作...

0
0
01/04 18:00

window环境编译 openlookeng

OpenLooKeng是华为开源的高性能数据虚拟化引擎,github:https://github.com/openlookeng/hetu-core OpenLooKeng 基于 PrestoSql(现改名:Trino)开发的, Presto编译环境不支持windows,windows上运行需要进行一些修改,测试版本为:1.2.0 1、maven配置文件添加华为镜像地址 <mirror> <id>huaweicloud</id> <mirrorOf>*</mirrorOf> <url>http://mirrors.huaweicloud.com/repository/maven</url> </mirror> 2、修改presto-main模块...

0
0
发表于数据库专区
02/05 10:30

openLooKeng Release V1.1.0关键特性

自openLooKeng V1.1.0 上线以来 不少小伙伴反应,新版本变化很大 不仅性能上得到大幅度提升 而且新增了数据源和Connector等等 …… 辣么,openLooKeng V1.1.0带来哪些新特性? 今儿个,咱们就来详细捋捋 openLooKeng 新版本 V1.1.0 关 键 特 性 咳咳,敲黑板了喂! openLooKeng Release V1.1.0 - 关 键 特 性 - 启发式索引 » Btree索引-BTree索用于Split过滤,并且只能使用在Coordinator节点上,如果对作为查询谓词一部分的某一...

0
0
2020/10/22 15:04

数据湖探索DLI新功能:基于openLooKeng的交互式分析

摘要:基于华为开源openLooKeng引擎的交互式分析功能,将重磅发布便于用户构建轻量级流、批、交互式全场景数据湖。 在这个“信息爆炸”的时代,大数据已经成为这个时代的关键词之一!随着云计算、物联网、移动计算、智慧城市、人工智能等领域日新月异的发展,人类社会已经步入了“信息高速路”的行驶轨道,数据量增长迅速,各类应用对大数据处理的需求也发生着变化。 与此同时,“久经沙场”的数据仓库不再一统江湖,而以实时分...

0
0
发表于数据库专区
2020/10/15 14:02

数据库管理越来越复杂,更简洁统一的解决方案在哪里?

现在有各种各样的数据管理系统来存储与管理数据:关系型数据库、NoSQL数据库,文档数据库、Key-value数据库,对象存储系统等等。形态多样的数据管理系统为企业组织在管理数据上带来便利的同时,随之而来的是管理与充分利用这些数据系统存储的数据的难题。 数据分析师想要分析某一种数据管理系统的数据,为了对不同数据源进行联合查询,那么就得在应用程序逻辑中使用不同的客户端去连接不同的数据源,**整个分析过程架构复杂,编...

1
2
发表于行业趋势专区
2020/10/28 14:55

从鸿蒙到欧拉,你知道华为在 Gitee 还开源哪些项目吗?

提到华为的开源,很多开发者肯定会首先想到鸿蒙 OpenHarmony。鸿蒙操作系统自面世以来就备受关注,前段时间开源的鸿蒙 2.0 所受到的关注度更是史无前例,但与此同时,开发者们可能还忽视了华为除了 OpenHarmony 外,还有许多优秀的项目在 Gitee 开源,今天就为开发者们盘点一下华为在 Gitee 上的那些开源项目。 ### OpenHarmony ![](https://oscimg.oschina.net/oscnet/up-70f5052b9363ea61d269d38c06a3fba8516.png) 2020 年 9 ...

0
4
发表于鲲鹏专区专区
2020/09/27 18:00

华为四大开源基础软件,为每一行代码注入多样性算力!

华为计算产业基础软件战略进展与展望峰会在上海举行,向业界展示了全面启动基础软件开源项目后的成果,四大开源基础软件openEuler, openGauss, openLooKeng以及MindSpore生态初步建立。 华为鲲鹏计算领域副总裁江大勇在现场分享主题演讲 华为鲲鹏计算领域副总裁江大勇以“基础软件为多样性算力释放澎湃动力“为主题,就软硬件全栈创新,开源加速基础软件创新和发展等方向全面介绍了华为基础软件战略进展。 华为四大基础软件开源...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
暂无内容
1 评论
113 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部