DataSphere Studio 正在参加 2021 年度 OSC 中国开源项目评选,请投票支持!
DataSphere Studio 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
2021 年度 OSC 中国开源项目评选 正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>> 中场回顾
DataSphere Studio 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !
授权协议 Apache
开发语言 Java Scala
操作系统 跨平台
软件类型 开源软件
所属分类 大数据
开源组织 微众银行
地区 国产
投 递 者 微众开源
适用人群 未知
收录时间 2019-12-02

软件简介

DataSphere Studio(简称DSS)是微众银行大数据平台——WeDataSphere,自研的一站式数据应用开发管理门户。

基于 Linkis 计算中间件构建,可轻松整合上层各数据应用系统,让数据应用开发变得简洁又易用。

DataSphere Studio定位为数据应用开发门户,闭环涵盖数据应用开发全流程。在统一的UI下,以工作流式的图形化拖拽开发体验,满足从数据导入、脱敏清洗、分析挖掘、质量检测、可视化展现、定时调度到数据输出应用等,数据应用开发全流程场景需求。

借助于Linkis计算中间件的连接、复用与简化能力,DSS天生便具备了金融级高并发、高可用、多租户隔离和资源管控等执行与调度能力。

DSS主要特点:

一、一站式、全流程的应用开发管理界面

       DSS集成度极高,目前已集成的系统有:

       1、数据开发IDE工具——Scriptis

       2、数据可视化工具——Visualis(基于宜信Davinci二次开发)

       3、数据质量管理工具——Qualitis

       4、工作流调度工具——Azkaban

二、基于Linkis计算中间件,打造独有的AppJoint设计理念

       AppJoint——应用关节,定义了一套统一的前后台接入规范,可让外部数据应用系统快速简单地接入,成为DSS数据应用开发中的一环。

       DSS通过串联多个AppJoint,编排成一条支持实时执行和定时调度的工作流,用户只需简单拖拽即可完成数据应用的全流程开发。

       由于AppJoint对接了Linkis,外部数据应用系统因此具备了资源管控、并发限流、用户资源管理等能力,且允许上下文信息跨系统级共享,彻底告别应用孤岛。

三、Project级管理单元

       以Project为管理单元,组织和管理各数据应用系统的业务应用,定义了一套跨数据应用系统的项目协同开发通用标准。

四、已集成的数据应用组件

       1、DSS的调度能力——Azkaban AppJoint

           用户的很多数据应用,通常希望具备周期性的调度能力。

           目前市面上已有的开源调度系统,与上层的其他数据应用系统整合度低,且难以融通。

           DSS通过实现Azkaban AppJoint,允许用户将一个编排好的工作流,一键发布到Azkaban中进行定时调度。

           DSS还为调度系统定义了一套标准且通用的DSS工作流解析发布规范,让其他调度系统可以轻松与DSS实现低成本对接。

       2、数据开发——Scriptis AppJoint

           什么是Scriptis?

           Scriptis是一款支持在线写SQL、Pyspark、HiveQL等脚本,提交给Linkis执行的数据分析Web工具,且支持UDF、函数、资源管控和智能诊断等企业级特性。

           Scriptis AppJoint为DSS集成了Scriptis的数据开发能力,并允许Scriptis的各种脚本类型,作为DSS工作流的节点,参与到应用开发的流程中。

           目前已支持HiveSQL、SparkSQL、Pyspark、Scala等脚本节点类型。

       3、数据可视化——Visualis AppJoint

           什么是Visualis?

           Visualis是一个基于宜信开源项目Davinci二次开发的数据可视化BI工具,为用户在数据安全和权限方面,提供金融级数据可视化能力。

           Visualis AppJoint为DSS集成了Visualis的数据可视化能力,并允许数据大屏和仪表盘,作为DSS工作流的节点,与上游的数据集市关联起来。

       4、数据质量——Qualitis AppJoint

           Qualitis AppJoint 为DSS集成数据质量校验能力,将数据质量系统集成到DSS工作流开发中,对数据完整性、正确性等进行校验。

       5、数据发送——Sender AppJoint

           Sender AppJoint为DSS集成数据发送能力,目前支持SendEmail节点类型,所有其他节点的结果集,都可以通过邮件发送。

           例如:SendEmail节点可直接将Display数据大屏作为邮件发送出来。

       6、信号节点——Signal AppJoint

           EventChecker AppJoint用于强化业务与流程之间的解耦和相互关联。

           DataChecker节点:检查库表分区是否存在。

           EventSender: 跨工作流和工程的消息发送节点。

           EventReceiver: 跨工作流和工程的消息接收节点。

       7、功能节点

           空节点、子工作流节点。

与类似系统对比

       DSS是一个引领数据应用开发管理方向的开源项目,开源社区目前尚没有同类产品。

使用场景

       DataSphere Studio适用于以下场景:

       1. 正在筹建或初步具备大数据平台能力,但无任何数据应用工具的场景。

       2. 已具备大数据基础平台能力,且仅有少数数据应用工具的场景。

       3. 已具备大数据基础平台能力,且拥有全部数据应用工具,但工具间尚未打通,用户使用隔离感强、学习成本高的场景。

       4. 已具备大数据基础平台能力,且拥有全部数据应用工具,部分工具已实现对接,但尚未定义统一规范的场景。

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论

点击加入讨论🔥(5)
发表了资讯
03/01 18:46

版本动态 | DataSphere Studio 1.0.1 版本发布

DataSphere Studio简介 DataSphere Studio(简称 DSS)是微众银行自研的数据应用开发管理集成框架。 基于插拔式的集成框架设计,及计算中间件 Linkis ,可轻松接入上层各种数据应用系统,让数据开发变得简洁又易用。 在统一的 UI 下,DataSphere Studio 以工作流式的图形化拖拽开发体验,将满足从数据交换、脱敏清洗、分析挖掘、质量检测、可视化展现、定时调度到数据输出应用等,数据应用开发全流程场景需求。 DSS 通过插拔式的...

0
8
发表了资讯
2021/10/21 15:42

微众银行大数据开源项目 - 9 月进展合集

DataSphere Studio 数据应用开发门户 DSS1.0.0开源:DSS1.0.0全家桶包和Release版本已经发布完成,并在maven中央仓库完成jar包Deploy,上传了部分DSS开源指引文档到GitHub。 https://github.com/WeBankFinTech/DataSphereStudio https://gitee.com/WeBank/DataSphereStudio Linkis 金融级大数据平台中间件服务集合 1. Linkis1.0.3 版本进行中,完成了jersey的修改替换,jackson的替换升级,以及apache包名修改。 https://github...

0
4
发表了资讯
2021/09/23 11:05

数据应用开发管理框架 DataSphereStudio1.0.0 正式发版

【里程碑】DataSphereStudio1.0.0 正式发布 DataSphereStudio 1.0.0 是践行数据应用开发管理框架的里程碑,带来了一系列强大的全新特性和高可扩展、低耦合的数据应用开发集成架构设计和实现。 DSS1.0.0主要特性如下: 全新的UI界面。对DSS前端的UI交互进行大调整,并邀请了天翼云大数据平台王小刚团队的UI设计师周聪量身设计了全新UI视觉稿,极大提升了开发套件的用户产品化使用体验。 全新架构体系。第三方系统接入DSS的连接器...

0
10
发表了资讯
2021/09/09 09:57

微众银行大数据开源项目 - 8月进展合集

DataSphere Studio 数据应用开发门户 DSS1.0.0开源:优化了AppConn的加载方式,开源代码pr已经完成合入,DSS1.0.0全家桶包和Release版本已经准备完成。 https://github.com/WeBankFinTech/DataSphereStudio https://gitee.com/WeBank/DataSphereStudio Linkis 金融级大数据平台中间件服务集合 1. 发布了Linkis1.0.2版本,增加了Flink引擎支持实时作业,完成和DSS1.0的对接,并修复多个bug。 2. Linkis1.0.3版本正在准备当中,规...

0
7
发表了资讯
2021/06/08 17:21

微众银行大数据开源项目更新合集 5 月篇

DataSphere Studio 数据应用开发门户 DSS1.0.0 完成了 Linkis1.0.0 的对接和联调测试,包含数据服务、工作流编排、工程权限控制等功能。 https://github.com/WeBankFinTech/DataSphereStudio https://gitee.com/WeBank/DataSphereStudio Linkis 金融级大数据平台中间件服务集合 Linkis1.0.0 正式版本开发和测试完成、正在提交 PR 中,新增任务编排、一次性引擎支持、优化 EngineConn 启动链路等功能。 https://github.com/WeBan...

0
7
发表了资讯
2021/04/06 11:19

DataSphere Studio 0.9.1 版本发布

DataSphere Studio 0.9.1 是在微众银行的倾力帮助下,由 天翼云 大数据团队 主导完成的一个重要版本。 这是基于 DSS 0.9.0 的下一个发行版本。该版本旨在通过新增“新用户初始化”特性,为社区用户降低运维DSS、Linkis和Schedulis等WeDataSphere组件的运维成本,让DSS在新增新登录用户时,可以使用“新用户初始化”功能自动完成新用户的所有环境初始化操作。 DataSphere Studio(简称DSS)是什么?DSS是微众银行自研的一站式数据...

2
6
发表了资讯
2020/07/14 11:16

【重磅发布】DataSphere Studio 0.9.0 版本发布

大家期待已久的DataSphere Studio 0.9.0(简称:DSS)来啦! 0.9.0是在微众银行的倾力帮助下,由中国电信天翼云大数据团队主导完成的一个重要版本。 这是基于DataSphere Studio 0.8.0的下一个发行版本。该版本旨在通过引入“DSS应用接入规范”,“工作空间”等概念,构建一站式大数据应用开发与管理平台,极大提升了用户的大数据开发体验。 其中: DSS应用接入规范(DSS Integration Standard): 是从DSS的AppJoint规范中,抽出...

5
18
发表了资讯
2020/06/29 14:49

DataSphere Studio 0.8.0 版本发布

01 — DataSphere Studio是什么 DataSphere Studio(简称DSS)是微众银行自研的一站式数据应用开发管理门户,将满足从数据交换、脱敏清洗、分析挖掘、质量检测、可视化展现、定时调度到数据输出等数据应用开发全流程场景需求。 开源项目地址如下,欢迎大家提交issue及star: gitee地址:https://gitee.com/WeBank/DataSphereStudio github地址:https://github.com/WeBankFinTech/DataSphereStudio 02 — DataSphere Studio 0....

4
31
发表了资讯
2020/02/13 09:46

【重磅发布】DataSphere Studio 0.7.0 版本发布

01 — DataSphere Studio是什么 DataSphere Studio(简称DSS)是微众银行自研的一站式数据应用开发管理门户,将满足从数据交换、脱敏清洗、分析挖掘、质量检测、可视化展现、定时调度到数据输出等数据应用开发全流程场景需求。 开源地址:https://github.com/WeBankFinTech/DataSphereStudio。 DataSphere Studio详细介绍:DataSphere Studio,打造一站式数据应用开发管理门户 02 — DataSphere Studio 0.7.0新版本特性 DataSp...

3
26
发表了资讯
2019/12/11 09:21

DataSphere Studio 0.60 版本发布

什么是DataSphere Studio? DataSphere Studio(简称DSS)是微众银行自研的一站式数据应用开发管理门户,将满足从数据交换、脱敏清洗、分析挖掘、质量检测、可视化展现、定时调度到数据输出等数据应用开发全流程场景需求。 DataSphere Studio 0.6.0发布,优化一键部署以及Azkaban从必装插件优化为选装插件。 一键部署:安装目录与软件目录分离、简化Visualis的配置,以及优化DSS安装启动的服务状态判断方式; Azkaban插件优化:D...

3
13
发表了资讯
2019/12/02 17:49

DataSphere Studio 发布,一站式数据应用开发管理门户

“ DataSphere Studio(简称DSS)是微众银行自研的一站式数据应用开发管理门户。基于插拔式的集成框架设计,及计算中间件Linkis,可轻松接入上层各种Web系统,让数据开发变得简洁又易用。” 开源地址(github https://github.com/WeBankFinTech/DataSphereStudi gitee https://gitee.com/WeBank/DataSphereStudio) 01 — DSS是什么? DataSphere Studio(简称DSS)定位为数据应用开发门户,闭环涵盖数据应用开发全流程。在统一...

0
49
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
发表了问答
{{o.pubDate | formatDate}}

{{formatAllHtml(o.title)}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
5 评论
523 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部
返回顶部
顶部