raft-java 分布式一致性算法 Raft 的 Java 实现

Apache
Java
跨平台
2018-07-01
wenweihu86

raft-java

Raft implementation library for Java.
参考自Raft论文和Raft作者的开源实现LogCabin

支持的功能

  • leader选举

  • 日志复制

  • snapshot

  • 集群成员动态更变

Quick Start

在本地单机上部署一套3实例的raft集群,执行如下脚本:
cd raft-java-example && sh deploy.sh 
该脚本会在raft-java-example/env目录部署三个实例example1、example2、example3;
同时会创建一个client目录,用于测试raft集群读写功能。
部署成功后,测试写操作,通过如下脚本: cd env/client 
./bin/run_client.sh "127.0.0.1:8051,127.0.0.1:8052,127.0.0.1:8053" hello world 
测试读操作命令:
./bin/run_client.sh "127.0.0.1:8051,127.0.0.1:8052,127.0.0.1:8053" hello

使用方法

下面介绍如何在代码中使用raft-java依赖库来实现一套分布式存储系统。

配置依赖

<dependency>
    <groupId>com.github.wenweihu86.raft</groupId>
    <artifactId>raft-java-core</artifactId>
    <version>1.8.0</version>
</dependency>

定义数据写入和读取接口

message SetRequest {
    string key = 1;
    string value = 2;
}
message SetResponse {
    bool success = 1;
}
message GetRequest {
    string key = 1;
}
message GetResponse {
    string value = 1;
}
public interface ExampleService {
    Example.SetResponse set(Example.SetRequest request);
    Example.GetResponse get(Example.GetRequest request);
}

服务端使用方法

  1. 实现状态机StateMachine接口实现类

// 该接口三个方法主要是给Raft内部调用
public interface StateMachine {
    /**
     * 对状态机中数据进行snapshot,每个节点本地定时调用
     * @param snapshotDir snapshot数据输出目录
     */
    void writeSnapshot(String snapshotDir);
    /**
     * 读取snapshot到状态机,节点启动时调用
     * @param snapshotDir snapshot数据目录
     */
    void readSnapshot(String snapshotDir);
    /**
     * 将数据应用到状态机
     * @param dataBytes 数据二进制
     */
    void apply(byte[] dataBytes);
}
  1. 实现数据写入和读取接口

// ExampleService实现类中需要包含以下成员
private RaftNode raftNode;
private ExampleStateMachine stateMachine;
// 数据写入主要逻辑
byte[] data = request.toByteArray();
// 数据同步写入raft集群
boolean success = raftNode.replicate(data, Raft.EntryType.ENTRY_TYPE_DATA);
Example.SetResponse response = Example.SetResponse.newBuilder().setSuccess(success).build();
// 数据读取主要逻辑,由具体应用状态机实现
Example.GetResponse response = stateMachine.get(request);
  1. 服务端启动逻辑

// 初始化RPCServer
RPCServer server = new RPCServer(localServer.getEndPoint().getPort());
// 应用状态机
ExampleStateMachine stateMachine = new ExampleStateMachine();
// 设置Raft选项,比如:
RaftOptions.snapshotMinLogSize = 10 * 1024;
RaftOptions.snapshotPeriodSeconds = 30;
RaftOptions.maxSegmentFileSize = 1024 * 1024;
// 初始化RaftNode
RaftNode raftNode = new RaftNode(serverList, localServer, stateMachine);
// 注册Raft节点之间相互调用的服务
RaftConsensusService raftConsensusService = new RaftConsensusServiceImpl(raftNode);
server.registerService(raftConsensusService);
// 注册给Client调用的Raft服务
RaftClientService raftClientService = new RaftClientServiceImpl(raftNode);
server.registerService(raftClientService);
// 注册应用自己提供的服务
ExampleService exampleService = new ExampleServiceImpl(raftNode, stateMachine);
server.registerService(exampleService);
// 启动RPCServer,初始化Raft节点
server.start();
raftNode.init();
加载中

评论(1)

好刚
好刚
楼上的,既然已诚心诚意的召唤了,这个视频我来做吧。这是已经出的三分钟讲令牌桶的视频: https://www.bilibili.com/video/av26168532
w
weir2016
java 的空白,思想简单,实现困难,这么形容分布式一致性算法一点不为过。 如果有大神录制个代码实现视频那就完美了
故宫导览小程序
故宫导览小程序
#raft-java# 启动报错,作者看看
十一月不远
十一月不远
mark

暂无资讯

暂无问答

Atomix getting start 浓浓的机翻

英语不好,只能机翻

04/27 10:26
248
0
Java Done Right

* 表示难度较大或理论性较强。 ** 表示难度更大或理论性更强。 【Java语言本身】 基础语法,面向对象,顺序编程,并发编程,网络编程,泛型,注解,lambda(J...

06/20 23:43
8
0
阿里P7技术专家学习路线图

一、基础篇 JVM JVM内存结构 堆、栈、方法区、直接内存、堆和栈区别 Java内存模型 内存可见性、重排序、顺序一致性、volatile、锁、final 垃圾回收 内存分配策略、垃圾收集器(G1)、GC算法、...

09/11 22:52
33
0
Java工程师成神之路

Java工程师成神之路(2018修订版) 原创: Hollis Hollis 3月19日 全文字数: 5000 阅读时间: 10分钟 一、基础篇 JVM JVM内存结构 堆、栈、方法区、直接内存、堆和栈区别 Java内存模型 内存...

08/23 11:14
1
0
Java工程师成神之路(2018修订版)

主要版本更新时间备注 v1.02015-08-01首次发布 v1.12018-03-18增加新技术知识、完善知识体系 一、基础篇 JVM JVM内存结构 堆、栈、方法区、直接内存、堆和栈区别 Java内存模型 内存可见性、重...

07/25 14:40
9
0
PBFT共识算法详细分析及Java实现

# PBFT共识算法详细分析及Java实现 ## 为什么写这个 最近研究了区块链相关的一些东西,其实就三大块: 1. 分布式存储(去中心) 2. 共识机制 3. 安全加密 分布式存储,就是一个分布式数据库,...

06/15 16:46
431
0
你和阿里资深架构师之间,差的不仅仅是年龄(进阶必看)

一个资深架构师所要掌握的各类知识点汇总

04/12 21:36
803
1
日常个人觉得不错的文章

103、mavn依赖版本问题决绝办法 102、Svndiff has backwards-sliding source views svn更新异常 101、JAVA并发系列 100、华为开源ServiceComb 99、枚举 98、bootstrap 图标 97、window.open...

02/10 11:33
44
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部