服务持续高性能运行均衡工具 high-availability

Apache
Java 查看源码»
跨平台
2016-09-25
杨尚川

high-availability 保障服务的持续高可用、高性能及负载均衡。

高可用: 服务多副本 

高性能: 超时限制 

负载均衡: 环形队列 

已经实现的功能: 

  • 1. HTTP调用方式的搜索服务 

  • 2. REDIS访问 

一句话说明白这个项目的原理: 

后端有多个一模一样的搜索,还有多个一模一样的REDIS,中间层的业务逻辑不直接调用搜索和REDIS,而是通过这个组件来调用

在WEB项目中的使用方法

1. 编译依赖:    

git clone http://git.oschina.net/ysc/high-availability.git cd high-availability mvn install

2. 在 pom.xml 中指定以下依赖:    

<dependency>         
<groupId>org.apdplat.service</groupId>
        <artifactId>high-availability</artifactId>
        <version>1.0-SNAPSHOT</version>
</dependency>

3. 在 src/main/resources 目录下新建目录 conf, 然后在 conf 目录下新建文件 conf.txt, 加入如下配置项:  

#search api depends on these servers
search.api.server.urls=http://192.168.0.100:8080/search.jsp, http://192.168.0.101:8080/search.jsp 
 
#timeout config to guarantee response time
search.api.timeout.seconds=1 

#whether output status to log in every unavailable urls valid process
status.log.enabled=true

#unavailable schedule initial delay seconds
unavailable.schedule.initial.delay.seconds=60 

#unavailable schedule period seconds
unavailable.schedule.period.seconds=60 

#redis servers
redis.servers=192.168.0.102:6379:b01cbe1209a545a7cdb, 192.168.0.103:6379:b01cbe1209a545a7cdb

redis.pool.blockWhenExhausted=false 
redis.pool.jmxEnabled=false 
redis.pool.lifo=true 
redis.pool.maxIdle=500 
redis.pool.maxTotal=500 
redis.pool.maxWaitMillis=500 
redis.pool.minEvictableIdleTimeMillis=1800000 
redis.pool.minIdle=0 
redis.pool.numTestsPerEvictionRun=3 
redis.pool.softMinEvictableIdleTimeMillis=1800000 
redis.pool.testOnBorrow=true 
redis.pool.testWhileIdle=true 
redis.pool.timeBetweenEvictionRunsMillis=-1 
redis.pool.readTimeoutMillis=2000

4. 在 web.xml 中配置一个监听器:  

<listener>
        <listener-class>org.apdplat.data.visualization.container.HighAvailabilityListener
        </listener-class> 
</listener>

5. 监听器 HighAvailabilityListener.java 类的代码如下:

public class HighAvailabilityListener implements ServletContextListener { 
    private static final Logger LOGGER = LoggerFactory.getLogger(HighAvailabilityListener.class); 
    @Override public void contextInitialized(ServletContextEvent sce) {
            String conf = sce.getServletContext().getRealPath("/WEB-INF/classes/conf/");
            LOGGER.info("启动搜索服务, 监控配置目录: {}", conf);
            ConfWatcher.startWatch(conf);
            sce.getServletContext().setAttribute("SearchAPI", new SearchAPIImpl());
        } 
    @Override public void contextDestroyed(ServletContextEvent sce) {
            LOGGER.info("停止搜索服务");
            SearchAPI searchAPI = (SearchAPI)sce.getServletContext().getAttribute("SearchAPI");
            if(searchAPI != null){
                searchAPI.close();
            }
            LOGGER.info("停止监控配置目录");
            ConfWatcher.stopWatch();
        }
    }

6. 在 jsp 中调用搜索服务:    

SearchAPI searchAPI = (SearchAPI) application.getAttribute("SearchAPI"); 
if(searchAPI == null) {
    out.println("搜索服务未启动"); return;
}
String keyword = request.getParameter("kw") == null ? "CCTV-1" : request.getParameter("kw");
int topN = 5; 
    try{
        topN = Integer.parseInt(request.getParameter("topN"));
    }catch (Exception e){ // }
String result = null;
long start = System.currentTimeMillis();
result = searchAPI.search(keyword, topN);
String cost = Utils.getTimeDes(System.currentTimeMillis()-start); // 如果想知道搜索服务的状态 String status = searchAPI.getStatus().replace("\n", "<br/>").replace("\t", "&nbsp; &nbsp; &nbsp; &nbsp; ");

7. 获取REDIS连接:    

String DETECT_KEY = "redis_ha_detector";

Jedis jedis = null; try{
    jedis = JedisAPI.getInstance().getJedis(); // 如果所有REDIS服务都不可用, 则返回null
    if(jedis != null) {
        jedis.set(DETECT_KEY, String.valueOf(System.currentTimeMillis()));
        System.out.println(jedis.get(DETECT_KEY));
        System.out.println("REDIS服务状态:\n" + JedisAPI.getInstance().getStatus());
        }
     }
     finally { 
            if(jedis != null) { // 返回连接用完后必须要关闭, 调用close方法 jedis.close();}
     }

在非WEB项目中的使用方法

1. 编译依赖:    

git clone http://git.oschina.net/ysc/high-availability.git cd high-availability mvn install

2. 在 pom.xml 中指定以下依赖:  

<dependency>
        <groupId>org.apdplat.service</groupId>
        <artifactId>high-availability</artifactId>
        <version>1.0-SNAPSHOT</version>
</dependency>

3. 新建目录 conf, 然后在 conf 目录下新建文件 conf.txt, 加入如下配置项:

#search api depends on these servers 
search.api.server.urls=http://192.168.0.100:8080/search.jsp, http://192.168.0.101:8080/search.jsp 
 
#timeout config to guarantee response time 
search.api.timeout.seconds=1
 
#whether output status to log in every unavailable urls valid process 
status.log.enabled=true 
 
#unavailable schedule initial delay seconds 
unavailable.schedule.initial.delay.seconds=60 
 
#unavailable schedule period seconds 
unavailable.schedule.period.seconds=60
 
#redis servers 
redis.servers=192.168.0.102:6379:b01cbe1209a545a7cdb, 192.168.0.103:6379:b01cbe1209a545a7cdb
redis.pool.blockWhenExhausted=false 
redis.pool.jmxEnabled=false 
redis.pool.lifo=true 
redis.pool.maxIdle=500 
redis.pool.maxTotal=500 
redis.pool.maxWaitMillis=500 
redis.pool.minEvictableIdleTimeMillis=1800000 
redis.pool.minIdle=0 
redis.pool.numTestsPerEvictionRun=3 
redis.pool.softMinEvictableIdleTimeMillis=1800000 
redis.pool.testOnBorrow=true 
redis.pool.testWhileIdle=true 
redis.pool.timeBetweenEvictionRunsMillis=-1 
redis.pool.readTimeoutMillis=2000

4. 将conf目录加入classpath:    

java -cp conf:xxx-1.0-SNAPSHOT-jar-with-dependencies.jar

5. 启动搜索服务并监控配置目录的代码如下:    

Path conf = Paths.get(ConfWatcher.class.getResource("/conf/").getPath());
LOGGER.info("启动搜索服务, 监控配置目录: {}", conf);
ConfWatcher.startWatch(conf);
SearchAPI searchAPI = new SearchAPIImpl();

6. 调用搜索服务:  

String keyword = "CCTV-1"; int topN = 5;
String result = null; long start = System.currentTimeMillis();
result = searchAPI.search(keyword, topN);
String cost = Utils.getTimeDes(System.currentTimeMillis()-start); // 如果想知道搜索服务的状态 
String status = searchAPI.getStatus();

7. 获取REDIS连接:  

String DETECT_KEY = "redis_ha_detector";

Jedis jedis = null; 
try{
    jedis = JedisAPI.getInstance().getJedis(); // 如果所有REDIS服务都不可用, 则返回null 
    if(jedis != null) {
        jedis.set(DETECT_KEY, String.valueOf(System.currentTimeMillis()));
        System.out.println(jedis.get(DETECT_KEY));
        System.out.println("REDIS服务状态:\n" + JedisAPI.getInstance().getStatus());
    }
} finally { 
        if(jedis != null){ 
            // 返回连接用完后必须要关闭, 调用close方法 jedis.close();
        }
}
的码云指数为
超过 的项目
加载中

评论(0)

暂无评论

暂无资讯

暂无问答

组件的高可用性 High Availability

组件的高可用性

2016/04/19 13:17
38
1
Cloudifying High Availability

Posted By: Ali Hodroj on March 4, 2013 The following is Part 1 of 2 on architecting highly available cloud applications using Cloudify. The first part introduces the concepts, c...

2013/04/24 22:14
50
0
聊聊flink JobManager的High Availability

序 本文主要研究一下flink JobManager的High Availability 配置 flink-conf.yaml high-availability: zookeeper high-availability.zookeeper.quorum: zookeeper:2181 high-availability.zo...

02/16 12:13
30
0
rhel 7安装oracle 11gr2 rac 遇到的问题

rhel7 安装11g r2 rac的方法跟之前的还是有很大的区别,以至于遇到很多坑,这里汇总下: 1、共享磁盘udev 绑定方式 这个跟rhel7 之前的版本不一样,特别是磁盘uuid命令方式变化了很多,udev启...

01/30 14:52
33
0
Kafka技术资料总结(不断更新中)

1、Kafka实践:到底该不该把不同类型的消息放在同一个主题中 2、Kafka剖析系列: Kafka剖析(一):Kafka背景及架构介绍 Kafka设计解析(二):Kafka High Availability (上) Kafka设计解析...

2018/09/22 20:10
75
0
聊聊flink的AbstractNonHaServices

序 本文主要研究一下flink的AbstractNonHaServices HighAvailabilityServices flink-runtime_2.11-1.7.1-sources.jar!/org/apache/flink/runtime/highavailability/HighAvailabilityServices...

02/17 10:44
12
0
Flink

flink HA部署 flink搭建,采用分布式部署方式,分别为A,B,C三个节点。其中A为master;A,B,C为worker。 本文使用的用户是hadoop用户(自己新建) 先决条件 Java 1.8.x or higher scala 自己使用...

04/18 19:29
7
0
pacemaker

Pacemaker 集群管理器 Red Hat Enterprise Linux 7 使用 Pacemaker 替换 rgmanager 进行集群资源管理以及从节点失败中恢复。Pacemaker 的优点包括: • 资源配置的自动同步和版本管理。 • ...

2016/05/10 22:50
27
2
集群的分类

集群主要分成三大类:高可用集群(High Availability Cluster/HA), 负载均衡集群(Load Balance Cluster),高性能计算集群(High Performance Computing Cluster/HPC) (1) 高可用集群(High A...

2014/01/22 14:08
67
0
introduction to mongoDB(介绍 mongodb)

welcome to MongoDb,this document provides a brief introduction to mongoDb and some key concepts.See the installation guides for infomation on downloading and installing MongoDb....

2016/06/20 09:46
3
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部