WeBankBlockchain-Data 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
WeBankBlockchain-Data 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
WeBankBlockchain-Data 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」 !
WeBankBlockchain-Data 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」「最积极运营项目」 !
WeBankBlockchain-Data 获得 2020 年度 OSC 中国开源项目评选「最积极运营项目」 !
授权协议 Apache
开发语言 Java
操作系统 跨平台
软件类型 开源软件
所属分类 其他开源区块链
开源组织 微众银行
地区 国产
投 递 者 微众开源
适用人群 未知
收录时间 2020-12-10

软件简介

WeBankBlockchain-Data 是一套稳定、高效、安全的区块链数据治理组件解决方案,可无缝适配FISCO BCOS区块链底层平台。 它由数据导出组件(Data-Export)、数据仓库组件(Data-Stash)、数据对账组件(Data-Reconcile)这三款相互独立、可插拔、可灵活组装的组件所组成,开箱即用,灵活便捷,易于二次开发。

这三个组件分别从底层数据存储层、智能合约数据解析层和应用层三个方面,提供了区块链数据挖掘、裁剪、扩容、可信存储、抽取、分析、审计、对账、监管等数据治理方面的关键能力。 WeBankBlockchain-Data已在金融、公益、农牧产品溯源、司法存证、零售等多个行业落地和使用。

设计目标

在区块链底层和区块链生产应用之间,横亘着一条区块链技术、业务和产品的鸿沟。

区块链数据治理的成本较高。首先,区块链节点的数据一般以Key-Value的形式存储于文件数据库,通常只能通过智能合约的接口来获取和调用,较难抽取、分析和处理。 同时,区块链节点的数据还存在着扩容瓶颈,冷热数据切分困难。最后,区块链链上的数据需要经过多方共识,链上计算和处理的开销巨大。 而区块链生产应用的开发者从了解区块链到完成开发,需要经历陡峭的学习曲线,花费较多的时间和精力。

WeBankBlockchain-Data 定位为区块链数据治理组件,旨在通过关注区块链数据的计算和存储的不变,抓住数据治理的本质,使得区块链生产应用的开发者即便在不了解区块链的细节的场景下,也可以轻松、顺畅地管理、使用区块链数据,提供开箱即用和一站式的友好体验。

组件简介

  • WeBankBlockchain-Data-Export 数据导出组件

支持将链上数据导出到MySQL等结构化存储中,解决区块链数据复杂查询、分析和处理的问题。 只需简单配置、无需开发、即可实时导出个性化的业务数据,实现将裸数据转化为标准化、结构化、有序化、可视化的高价值数据。请参考 文档

  • WeBankBlockchain-Data-Stash 数据仓库组件

提供FISCO BCOS节点数据扩容、备份和裁剪的能力。 可基于binlog协议同步区块链底层节点数据,支持断点续传,数据可信验证,并提供快速同步机制。请参考 文档

  • WeBankBlockchain-Data-Reconcile 数据对账组件

提供区块链数据的对账解决方案。 灵活配置、无需开发,支持自定义对账数据和对账格式,支持定时对账和触发对账,对账处理模块可插拔可扩展。请参考 文档

总体设计

下图是数据治理组件使用的全景图。

_images/data-comp-design.png

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (0)

加载中
更多评论
发表于区块链专区
2020/12/10 15:22

微众银行区块链开源数据治理通用组件 WeBankBlockchain-Data

随着信息化、数字化、智能化的进程加速,特别是后疫情时代,数据在全球经济运转中的价值日益凸显。今年三月底,数据更是被作为一种新型的生产要素写入中央文件,与土地、劳动力、资本、技术等经典生产要素并列。 数据最终的价值来源于治理。只有经过采集、清洗、分析和处理后的数据,才能在流通中更顺畅地使用,其价值才能得到更充分地挖掘。同时,随着区块链技术的蓬勃发展,区块链渐趋规模化应用,链上数据总量呈指数级增长,...

0
8
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
2019/01/07 14:16

raw data/PF data/Q30 data/clean data的不同

测序数据拿回来之后,会给一些数据。那么这些数据代表什么呢? 1. 原始数据(Raw data):一次测序产生的全部原始数据。理论上,它们应该是没有经过任何过滤的,无论好坏。 2. PF数据(PF data):在测序过程中,Illumina内置软件根据每个测序片段(read,通常每个片段长100个碱基)前25个碱基的质量决定该read是保留还是抛弃。如果没有达到质控标准,则该read的全部碱基都被抛弃;达到标准、保留下来的数据叫做PF data。 PF代表...

0
0
发表了博客
2018/07/12 10:01

data-toggle data-target

data-toggle https://stackoverflow.com/questions/30629974/how-does-the-data-toggle-attribute-work-whats-its-api I think you are a bit confused on the purpose of custom data attributes. From the w3 spec Custom data attributes are intended to store custom data private to the page or application, for which there are no more appropriate attributes or elements. By itself an attribute of data-toggle=v...

0
0
发表了博客
2019/06/01 20:42

MS-data

1.从美国矿物数据库下载矿物CIF(有晶格) 2.晶胞CIF导入MS 3.选择display style中的ball and stick视图 4.手动指定每个原子力场类型 edit-atom selection-按元素选(比如选好H)——先选不用区分类型的元素,再逐一选其他元素 View-Explorers-Properties Explorer-Filter选atom-改Forcefield Type 对于要区分类型的,如ob与oh(与H连),atom selection时一个个按ctrl选择好,再设定forcefield type. 5.加键add bonds。高岭石只算...

0
0
2018/07/13 10:21

data :{}

data 对应一个直接的对象

0
0
发表于大前端专区
2018/11/05 17:13

关于eval(data)和eval("("+data+")")

个人觉得在 Java数据处理过程中 虽然用一些 工具类也是可以实现字符串 与 json 对象互相转换, 但是 还是觉得用下 JavaScript 来做处理的话 会显得更好,有时候 Java 处理一些排序、大小比较之类的操作 换做是后端的话会显得比较麻烦点 ,此时用下前端的 JavaScript 处理会使2者配合更好;更加突显各自的优势。 如果data是字符串,使用eval("("+data+")")可以将其转换为json对象,和JSON.parse的功能一样。 如果data是json对象,...

0
0
发表了博客
2018/05/17 15:02

Keil 中的Code,RO-data,RW-data,ZI-data

我们开发项目中,编译、链接完成后,都要看一下RAM和Flash的利用情况,尤其在有bootloader的情况下,确保自己的单片机选型能符合项目的要求。其中ARM程序的组成,是很容易混淆的。 此处所说的“ARM程序”是指在ARM系统中正在执行的程序,而非保存在Flash中的bin映像(image)文件,这一点清注意区别。 一、Code,RO-data,RW-data,ZI-data所代表的意思 下图是车检器项目的APP利用情况: 图1 Code = 10956 Code 表示 程序代码部分...

0
0
发表了博客
2015/08/12 18:57

Data truncation: Data too long for column '****'

今天写代码时发现中文存入mysql乱码了。 我的数据持久化框架用的Hibernate。首先我确认JSP页面传入后台的中文数据没有乱码,因此我确信是中文数据在存储时出了问题。网上查阅资料,许多人说可以在hibernate的配置文件中加入:  <property name="connection.characterEncoding">utf-8</property> 加了这句后还是不行。继续查资料....。然后,我突然想到可能是我建数据库时没有指定编码,数据使用的的是mysql的默认编码(而mys...

0
0
发表于大前端专区
2016/09/17 20:58

data-something

HTML 5 增加了一项新功能是 自定义数据属性 ,也就是 data-* 自定义属性。在HTML5中我们可以使用以 data- 为前缀来设置我们需要的自定义属性,来进行一些数据的存放。当然高级浏览器下可通过脚本进行定义和数据存取。在项目实践中非常有用。

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
暂无内容
0 评论
7 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部