授权协议: Apache-2.0
开发语言: C/C++ 查看源码 »
操作系统: 跨平台
收录时间: 2020-09-03
提 交 者: h4cd

Sogou C++ Workflow 是搜狗公司的 C++ 服务器引擎,支撑搜狗几乎所有后端 C++ 在线服务,包括所有搜索服务、云输入法与在线广告等,每日处理超百亿请求。这是一个设计轻盈优雅的企业级程序引擎,可以满足大多数 C++ 后端开发需求。

可以使用该项目:

  • 快速搭建http服务器:
#include <stdio.h>
#include "workflow/WFHttpServer.h"

int main()
{
    WFHttpServer server([](WFHttpTask *task) {
        task->get_resp()->append_output_body("<html>Hello World!</html>");
    });

    if (server.start(8888) == 0) {  // start server on port 8888
        getchar(); // press "Enter" to end.
        server.stop();
    }

    return 0;
}
  • 作为万能异步客户端。目前支持httpredismysqlkafka协议。
  • 实现自定义协议client/server,构建自己的RPC系统。
    • 搜狗RPC就是以它为基础,作为独立项目开源。支持srpcbrpcthrift等协议(benchmark)。
  • 构建异步任务流,支持常用的串并联,也支持更加复杂的DAG结构。
  • 作为并行编程工具使用。除了网络任务,我们也包含计算任务的调度。所有类型的任务都可以放入同一个流中。
  • Linux系统下作为文件异步IO工具使用,性能超过任何标准调用。磁盘IO也是一种任务。
  • 实现任何计算与通讯关系非常复杂的高性能高并发的后端服务。
  • 构建服务网格(service mesh)系统。
    • 项目内置服务治理与负载均衡等功能。

编译和运行环境

  • 项目支持LinuxmacOSWindows等操作系统。
    • Windows版暂时以独立branch发布,使用iocp实现异步网络。用户接口与Linux版一致。
  • 支持所有CPU平台,包括32或64位x86处理器,大端或小端arm处理器。
  • 需要依赖于OpenSSL,推荐OpenSSL 1.1及以上版本。
  • 项目使用了C++11标准,需要用支持C++11的编译器编译。但不依赖boostasio
  • 项目无其它依赖,但是包含了lz4zstdsnappy几个压缩库的无改动源代码(kafka协议需要)。

系统设计特点

典型后端服务器由以下三个部分组成,并且完全独立开发。

  • 协议
    • 大多数情况下,用户使用的是内置的通用网络协议,例如http,redis或各种rpc。
    • 用户可以方便的自定义网络协议,只需提供序列化和反序列化函数,就可以定义出自己的client/server。
  • 算法
    • 在 Sogou C++ Workflow 的设计里,算法是与协议对称的概念。
      • 如果说协议的调用是rpc,算法的调用就是一次apc(Async Procedure Call)。
    • 提供了一些通用算法,例如sort,merge,psort,reduce,可以直接使用。
    • 与自定义协议相比,自定义算法的使用要常见得多。任何一次边界清晰的复杂计算,都应该包装成算法。
  • 任务流
    • 任务流就是实际的业务逻辑,就是把开发好的协议与算法放在流程图里使用起来。
    • 典型的任务流是一个闭合的串并联图。复杂的业务逻辑,可能是一个非闭合的DAG。
    • 任务流图可以直接构建,也可以根据每一步的结果动态生成。所有任务都是异步执行的。

基础任务,任务工厂与复合任务

  • 系统中包含六种基础任务:通讯,文件IO,CPU,GPU,定时器,计数器。
  • 一切任务都由任务工厂产生,并且在callback之后自动回收。
    • server任务是一种特殊的通讯任务,由框架调用任务工厂产生,通过process函数交给用户。
  • 大多数情况下,用户通过任务工厂产生的任务,都是一个复合任务,但用户并不感知。
    • 例如,一次http请求,可能包含许多次异步过程(DNS,重定向),但对用户来讲,就是一次通信任务。
    • 文件排序,看起来就是一个算法,但其实包括复杂的文件IO与CPU计算的交互过程。
    • 如果把业务逻辑想象成用设计好的电子元件搭建电路,那么每个电子元件内部可能又是一个复杂电路。

异步性和基于C++11 std::function的封装

  • 不是基于用户态协程。使用者需要知道自己在写异步程序。
  • 一切调用都是异步执行,几乎不存在占着线程等待的操作。
    • 虽然我们也提供一些便利的半同步接口,但并不是核心的功能。
  • 尽量避免派生,以std::function封装用户行为,包括:
    • 任何任务的callback。
    • 任何server的process。符合FaaS(Function as a Service)思想。
    • 一个算法的实现,简单来讲也是一个std::function。但算法也可以用派生实现。

内存回收机制

  • 任何任务都会在callback之后被自动内存回收。如果创建的任务不想运行,则需要通过dismiss方法释放。
  • 任务中的数据,例如网络请求的resp,也会随着任务被回收。此时用户可通过std::move()把需要的数据移走。
  • SeriesWork和ParallelWork是两种框架对象,同样在callback之后被回收。
  • 项目中不使用std::shared_ptr来管理内存。
展开阅读全文

代码

的 Gitee 指数为
超过 的项目

Sogou C++ Workflow 的相关博客

C++ mfc

以下是我从其他网站中学的内容,后有相应的网站学习链接地址,可供学习 1.选择菜单项File->New->Project,弹出“New Project...

CPP(c++) 原子操作

C++中对共享数据的存取在并发条件下可能会引起data race的undifined行为,需要限制并发程序以某种特定的顺序执行, 有两种方式...

c++ 面试题(C/C++/STL)

1,智能指针:auto_ptr(c++11 已经弃用),unique_ptr(用于取代 auto_ptr), shared_ptr, weak_ptr   http://www.cnblogs.co...

c++ STL

1)顺序表 vector 表示顺序表,其内元素以相邻的顺序存放。从存储结构上来说,vector 与数组相同,不同之处在于其长度可变。 ...

C++ STL之Set

set是关联容器,类似于集合。 特点是里面的元素不会重复,而且元素时有序的。 1.声明定义: #include<set> using namespa...

Clang

Clang(发音为/ˈklæŋ/类似英文单字clang[2]) 是一个C、C++、Objective-C和Objective-C++编程语言的编译器前端。...

C++ Modern C++

现代的C++,比较笼统。最近10多年的东西是否是现代的呢?我认为“时髦”这个词更准确一些。每个年代,时髦总是标新立异的,总...

[Cpp] 面向对象程序设计 C++

初始化列表(包括成员对象初始化) 初始化列表 ( 推荐 ) : 可以初始化任何类型的数据, 不管是不是普通类型还是对象,都建议用...

Sogou C++ Workflow 的相关问答

还没有任何问答,马上提问

评论 (3)

加载中
每次都是代码和文字,有没有新鲜的
前天 23:15
回复
举报
跟drogon比。性能怎么样呢?
09/10 08:40
回复
举报
可以可以,收藏
09/04 11:28
回复
举报
更多评论
3 评论
49 收藏
分享
在线直播报名
返回顶部
顶部