Lars 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
Lars 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
Lars 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」 !
Lars 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」「最积极运营项目」 !
Lars 获得 2020 年度 OSC 中国开源项目评选「最积极运营项目」 !

软件简介

Lars 是一个简单、易用、高性能的服务间远程调用管理、调度、负载均衡系统。

(Load balance And Remote service schedule System)


一、系统开发环境:

Linux : Ubuntu18.04

protobuf : libprotoc 3.6.1版本及以上

mysql: mysql Ver 14.14 Distrib 5.7.27 版本及以上

g++: (Ubuntu 7.4.0-1ubuntu1~18.04.1) 7.4.0 版本及以上

二、开发技术文档及教程

Lars详细教程

PC端文档

《Lars-基于C++负载均衡远程服务器调度系统教程》

三、概述:

Lars 是一个简单、易用、高性能的服务间远程调用管理、调度、负载均衡系统。

1) 优势

  1. 性能强悍

    集群支持千万并发链接,满足用户的海量业务访问需求。

  2. 高可用

    采用集群化部署,支持多可用区的容灾,无缝实时切换。

  3. 灵活扩展

    自动分发,与弹性伸缩无缝集成,灵活扩展用户用于的对外服务能力。

  4. 简单易用

    快速部署、实时生效,支持多种协议,多种调度算法,用户可以高效的管理和调整服务分发策略等。

2) 应用场景

(1)、大型门户网站

​ 针对大型门户网站访问量高的特点,通过弹性负载均衡将用户的访问流量均匀的分发到多个后端云服务器上,确保业务快速平稳的运行

优势

  • 灵活扩展

    可根据实际的用户访问量,自动扩展负载分发能力

  • 高性能

    集群支持高并发连接,满足海量访问量诉求

Lars-1.png

(2)、跨可用区同城容灾

​ 弹性负载均衡可将流量跨可用区进行分发,建立实时的同城容灾机制,满足银行贸易等企业对系统的高可用性要求。

优势

  • 灵活扩展

    可根据实际的用户访问量,自动扩展负载分发能力

  • 同城容灾

    支持跨可用区的双活容灾,实现无缝实时切换

Lars-场景2.png

(3)、电商抢购

​ 电商业务呈现出较强的潮汐效应。Lars通过和弹性伸缩等服务的无缝集成,自动创建后端云服务器,将流量自动分发到新的云服务器,缓解了促销高峰时期的系统压力。

优势

  • 弹性伸缩

    根据业务流量实时创建或移除云服务器

  • 高可用

    通过健康检查快速屏蔽异常云服务器,确保业务高可用

  • 高性能

    集群支持高并发连接,满足海量访问量诉求

Lars-场景3.png

3) Lars系统总体架构

​ 对于一个部门的后台,为增强灵活性,一个服务可以被抽象为命令字:modid+cmdid的组合,称为一个模块,而这个服务往往有多个服务节点,其所有服务节点的地址集合被称为这个模块下的路由,节点地址简称为节点

  • modid:标识业务的大类,如:“直播列表相关”

  • cmdid:标识具体服务内容,如:“批量获取直播列表”

    ​ 业务代码利用modid,cmdid,就可以调用对应的远程服务一个Lars系统包含一个DNSService,一个Report Service,以及部署于每个服务器的LoadBalance Agent,业务代码通过API与Lars系统进行交互

API :根据自身需要的modid,cmdid,向Lars系统获取节点、汇报节点调用结果;提供C++Golang(开发中...)、Python(开发中...)接口

LoadBalance Agent:运行于每个服务器上,负责为此服务器上的业务提供节点获取、节点状态汇报、路由管理、负载调度等核心功能

DNSService : 运行于一台服务器上(也可以用LVS部署多实例防单点),负责modid,cmdid到节点路由的转换

Report Service : 运行于DNSService同机服务器上,负责收集各modid,cmdid下各节点调用状况,可用于观察、报警

modid,cmdid数据由Mysql管理,具体SQL脚本在common/sql路径下 至于modid,cmdid的注册、删除可以利用Web端操作MySQL。

1-Lars-总体架构设计.png

如图,每个服务器(虚线)部署了一台LoadBalance Agent,以及多个业务服务

  1. 开发者在Web端注册、删除、修改modid,cmdid的路由信息,信息被写入到MySQL数据库;
  2. 服务器上每个业务biz都把持着自己需要通信的远程服务标识modid+cmdid,每个biz都向本机LoadBalance Agent获取远程节点,进而可以和远程目标服务通信,此外业务模块会汇报本次的节点调用结果给LoadBalance Agent;
  3. LoadBalance Agent负责路由管理、负载均衡等核心任务,并周期性向DNSService获取最新的路由信息,周期性把各modid,cmdid的各节点一段时间内的调用结果传给Report Service
  4. DNSService监控MySQL,周期性将最新路由信息加载出来;
  5. Report Service将各modid,cmdid的各节点一段时间内的调用结果写回到MySQL,方便Web端查看、报警。

四、快速开始

(1) 编译及安装

代码下载

    git clone https://github.com/aceld/Lars.git

编译

    cd ./Lars
    make

(2) 数据库配置

创建表

    cd ./Lars/base/sql
进入`mysql`,导入表`lars_dns.sql`文件
    mysql -u root -p
    #输入密码
mysql> source ./lars_dns.sql

(3) 各子系统配置文档

lars reporter

./Lars/lars_reporter/conf/lars_reporter.conf

[reactor]
maxConn = 1024
threadNum = 5
ip = 127.0.0.1
port = 7779

[mysql]
db_host = 127.0.0.1
db_port = 3306
db_user = root
db_passwd = **Your PassWord**
db_name = lars_dns

[repoter]
db_thread_cnt = 3   

lars dns

./Lars/lars_dns/conf/lars_dns.conf

[reactor]
maxConn = 1024
threadNum = 5
ip = 127.0.0.1
port = 7778

[mysql]
db_host = 127.0.0.1
db_port = 3306
db_user = root
db_passwd = **Your PassWord**
db_name = lars_dns

lars LoadBalance Agent

./Lars/lars_loadbalance_agent/conf/lars_lb_agent.conf

[reporter]
ip = 127.0.0.1
port = 7779

[dnsserver]
ip = 127.0.0.1
port = 7778

[loadbalance]

;经过若干次获取请求host节点后,试探选择一次overload过载节点
probe_num=10

;初始化host_info主机信息访问成功的个数,防止刚启动时少量失败就认为过载
init_succ_cnt=180

;当idle节点切换至over_load时的初始化失败次数,主要为了累计一定成功次数才能切换会idle
init_err_cnt=5

;当idle节点失败率高于此值,节点变overload状态
err_rate=0.1

;当overload节点成功率高于此值,节点变成idle状态
succ_rate=0.5

;当idle节点连续失败次数超过此值,节点变成overload状态
contin_err_limit=15

;当overload节点连续成功次数超过此值, 节点变成idle状态
contin_succ_limit=15

;整个窗口的真实失败率阈值
window_err_rate=0.7

;对于某个modid/cmdid下的某个idle状态的host,需要清理一次负载信息的周期
idle_timeout=15

;对于某个modid/cmdid/下的某个overload状态的host,在过载队列等待的最大时间
overload_timeout=15

;对于每个NEW状态的modid/cmdid,多久更新一下本地路由,秒
update_timeout=15


(4)启动

启动 lars reporter serivce

    cd ./Lars
    ./run_lars reporter

启动 lars dns service

    cd ./Lars
    ./run_lars dns

启动 lars lbagent service

    cd ./Lars
    ./run_lars lbagent

启动 lars web service

    cd ./Lars
    ./run_lars web

(5) Web管理端操作

打开浏览器,输入web 服务的ip地址+端口号 lars_web_login.png

配置主机 lars_web_add_host.png

查看所有主机配置 lars_web_all_hosts.png

(6) 模拟效果测试

启动模拟器测试

    cd ./Lars
    ./run_lars test simulator 1 1

更多测试工具

    cd ./Lars
    ./run_lars help
=======启动子系统==========
Usage ./run_lars [reporter|dns|lbagent|web|test]

=======测试工具============
Usage ./run_lars test gethost ModID CmdID
Usage ./run_lars test getroute ModID CmdID
Usage ./run_lars test report ModID CmdID IP Port 0|1  --- 0:SUCC, 1:OVERLOAD
Usage ./run_lars test simulator ModID CmdID [errRate(0-10)] [queryCnt(0-999999)]
Usage ./run_lars test qps ThreadNum
Usage ./run_lars test example ModID CmdID

(7)Web查看主机调用状态

lars_web_status.png

五、Lars QPS性能测试

主机1

CPU个数:2个 , 内存: 2GB , 系统:Ubuntu18.04虚拟机

线程数 QPS
1 0.5w/s
2 2.2w/s
10 5.5w/s
100 5.3w/s

主机2

CPU个数: 24个 , 内存:128GB, 系统: 云主机

线程数 QPS
1 8.36w/s
3 28.06w/s
5 55.18w/s
8 56.74w/s

开发者

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (5)

加载中
你是不是用过cl5。。。
2019/12/12 11:46
回复
举报
你是不是腾讯的…
2019/12/16 09:38
回复
举报
哈哈哈哈。
2019/12/16 10:05
回复
举报
哈哈哈,是不是因为modid,cmdid
2020/04/10 21:56
回复
举报
是的。
2020/04/10 22:02
回复
举报
更多评论
暂无内容
发表了博客
2020/08/30 14:17

你会用Lars分析你的Web服务器日志文件吗?

导读 这个 Python 模块可以以多种格式收集网站使用日志并输出良好结构化数据以进行分析。是否想知道有多少访问者访问过你的网站?或哪个页面、文章或下载最受欢迎?如果你是自托管的博客或网站,那么无论你使用的是 Apache、Nginx 还是 Microsoft IIS(是的,没错),lars都可以为你提供帮助。 Lars 是 Python 写的 Web 服务器日志工具包。这意味着你可以使用 Python 通过简单的代码来回溯(或实时)解析日志,并对数据做任何你...

0
0
2020/12/22 17:55

ast2000tools-奥斯陆大学AST2000课程所需工具。-Lars Frogner

ast2000tools-奥斯陆大学AST2000课程所需工具。-Lars Frogner 发布:2020-12-22 17:55:15.771118 作者:Lars Frogner ### 作者邮箱:lars.frogner@astro.uio.no ### 首页:https://lars-frogner.github.io/ast2000tools/ ### 文档:None ### 下载链接 The ast2000tools package contains tools required for the course AST2000 at the University of Oslo. See the documentation [here](https://lars-frogner.github.io/ast20...

0
0
2020/12/22 16:50

apereocla-方便地访问已完成的论文目录-Lars Kiesow

apereocla-方便地访问已完成的论文目录-Lars Kiesow 发布:2020-12-22 16:50:28.995900 作者:Lars Kiesow ### 作者邮箱:lkiesow@uos.de ### 首页:https://github.com/lkiesow/python-apereocla ### 文档:None ### 下载链接 Copy from pypi.org 查询时间:10.601ms 渲染时间:10.75ms 本文同步分享在 博客“zhenruyan”(other)。 如有侵权,请联系 support@oschina.cn 删除。 本文参与“OSC源创计划”,欢迎正在阅读的...

0
0
发表于程序人生专区
2020/12/23 15:33

consoleLog-带有进度条和颜色的控制台记录器-Lars Yencken

consoleLog-带有进度条和颜色的控制台记录器-Lars Yencken 发布:2020-12-23 17:59:35.034511 作者:Lars Yencken 作者邮箱:lars@yencken.org 首页:http://bitbucket.org/larsyencken/consolelog/ 文档:None 下载链接 UNKNOWN A Hierarchical console logger which allows nested human-readable logging and display, with progress bars and color output. Copy from pypi.org 查询时间:788.259ms 渲染时间:788.438ms 本文同...

0
0
2020/12/22 16:33

ansible-toolbox-https//github.com/larsks/ansible-toolbox-Lars Kellogg-Stedman

ansible-toolbox-https//github.com/larsks/ansible-toolbox-Lars Kellogg-Stedman 发布:2020-12-22 16:33:33.010712 作者:Lars Kellogg-Stedman ### 作者邮箱:lars@oddbit.com ### 首页:https://github.com/larsks/ansible-toolbox ### 文档:None ### 下载链接 UNKNOWN Copy from pypi.org 查询时间:9.475ms 渲染时间:9.573ms 本文同步分享在 博客“zhenruyan”(other)。 如有侵权,请联系 support@oschina.cn...

0
0
2020/12/23 11:45

cjktools-data-EDRDG中日文数据文件的集合。-Lars Yencken

cjktools-data-EDRDG中日文数据文件的集合。-Lars Yencken 发布:2020-12-23 11:45:22.243376 作者:Lars Yencken 作者邮箱:lars@yencken.org 首页:http://bitbucket.org/larsyencken/cjktools-data/ 文档:None 下载链接 http://files.gakusha.info/index.html This package is a data bundle of common and popular data files compiled by the EDRDG, including EDICT, KANJIDIC and several others. Copy from pypi.org 查询...

0
0
2020/12/22 17:06

appliapps-应用节点-Lars Malmstroem Features Credits 0.1.0 (2019-02-10)

appliapps-应用节点-Lars Malmstroem 发布:2020-12-22 17:06:32.733291 作者:Lars Malmstroem ### 作者邮箱:lars@malmstroem.net ### 首页:https://github.com/malmstroem/appliapps ### 文档:None ### 下载链接 ========= appliapps .. image:: https://img.shields.io/pypi/v/appliapps.svg :target: https://pypi.python.org/pypi/appliapps .. image:: https://img.shields.io/travis/malmstroem/appliapps.svg :tar...

0
0
2020/12/23 17:55

configtype-Configtype将json配置桥接到python。-Lars van de Kerkhof

configtype-Configtype将json配置桥接到python。-Lars van de Kerkhof 发布:2020-12-23 17:55:51.665888 作者:Lars van de Kerkhof 作者邮箱:lars@permanentmarkers.nl 首页:https://github.com/specialunderwear/configtype 文档:None 下载链接 Configure your app with json, but import from python Copy from pypi.org 查询时间:1.64ms 渲染时间:1.76ms 本文同步分享在 博客“zhenruyan”(other)。 如有侵权,请联系 ...

0
0
发表于程序人生专区
2020/12/23 15:33

configtype-Configtype将json配置桥接到python。-Lars van de Kerkhof

configtype-Configtype将json配置桥接到python。-Lars van de Kerkhof 发布:2020-12-23 17:55:51.665888 作者:Lars van de Kerkhof 作者邮箱:lars@permanentmarkers.nl 首页:https://github.com/specialunderwear/configtype 文档:None 下载链接 Configure your app with json, but import from python Copy from pypi.org 查询时间:75.369ms 渲染时间:75.512ms 本文同步分享在 博客“zhenruyan”(other)。 如有侵权,请联...

0
0
2020/12/23 11:45

cjktools-一个用于基本CJK处理和词典编纂的库。-Lars Yencken

cjktools-一个用于基本CJK处理和词典编纂的库。-Lars Yencken 发布:2020-12-23 11:45:21.268158 作者:Lars Yencken 作者邮箱:lars@yencken.org 首页:https://github.com/larsyencken/cjktools/ 文档:None 下载链接 UNKNOWN Provides basic script detection, manipulation of kana and interfaces for the popular EDICT and KANJIDIC families of dictionaries. Copy from pypi.org 查询时间:5.949ms 渲染时间:6.135ms 本文...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
暂无内容
5 评论
80 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部