Mcrouter 介绍 —— 来自 Facebook 的 memcached 协议路由器

大多数Web服务开始于前端负载均衡、中间业务服务及后端数据库服务的架构。当业务发展到一定阶段,通常会引入一组缓存服务缓存数据库的数据,减少数据库的压力以提高性能。对一个提供Web服务的站点来说,通过引入缓存技术快速 访问数据的能力从最初的优化技能变成了一项必备技能。业界大型的Web服务站点,诸如:Facebook、Twitter、Instagram, Reddit等都经历了这样一种演变。

在去年的Data@Scale大会和USENIX的USENIX的NSDI(联网系统设计和实现座谈会)上我们就提过会将缓存换成我们自主开发的分布式软件系统,我们称之为mcrouter(发音“mick-router”)。Mcrouter是一个memcached协议的路由器,被facebook用于在他们遍布全球的数据中心中的数十个集群几千个服务器之间控制流量。它适用于大规模的级别中,在峰值的时候,mcrouter处理接近50亿的请求/秒。Mcrouter同样也可以作为独立的二进制包工作于AWS中,去年之前Instagram使用它来完全过渡到Facebook的基础设施。

今天,我们激动的宣布我们将发布mcrouter的源代码(开源BSD协议)。我们相信它可以帮助更多的网站通过Facebook的大规模系统的知识以一种更容易理解更容易发布的方式扩大其系统的规模。

特性

由于任何要接入memcached服务的客户端,都会使用标准ASCII编码的memcached协议,我们可以采用memcached的通用API作为通信方式(参看下图)。对于memcached客户端,mcrouter完全像一个memcached服务器。对于服务器,mcrouter完全像一个普通的memcached客户端。但mcrouter丰富的可配置性,使得它更像一个简化的proxy。

下面列举了一些mcrouter的特性。其中“destination”指memcached 主机(或者其他能兼容memcached协议的缓存服务实现)。“pool”指集群化的destinations,并能通过配置将负载均衡分配给不同的destination--例如,可通过hash方式均衡,亦可通过冗余数据均衡(读操作)。无论何种方式,pools最终都能以集群的方式进行管理。

实现

Mcrouter使用C++开发(使用了大量的C++ 11特性),其余用C开发了功能库部分,用Ragel开发了协议解析部分。并借用了Facebook的开源库Follyfbthrift(用于异步网络处理)。

一个Mcrouter的进程,会启动多个相互独立的线程,用于异步处理网络事件(基于libevent的实现)。当线程处理请求包/响应包时,它会使用内部的轻量级线程/或称"纤程(fiber)"。纤程的实现是基于boost::context

Mcrouter采用JSON格式的配置,支持通过任意方式的路由处理(route handle scheme),以适应各种路由需求。这里有一些常用的示例可供参考。

下一步是什么?

我们邀请软件工程师使用Memcached,在任何地方评估Mcrouter,看看它是否能帮助简化站点的管理。与此同时,它还提供了许多新功能,上面的列表列出的(诸如:shadow testing,cold cache warmup 等等)。在过渡到Facebook的基础架构之前,Instagram使用了一年多的Mcrouter,因此Mcrouter在Amazon Web Services上被证明是可行的。在(项目)开源之前,我们与Reddit合作,他们提供了一套限定的β测试(方案),现在他们还在许多生产环境的cache上运行Mcrouter。

我们乐于看到持续的改进,这将让Mcrouter更有助于在Memcached社区的你和其他人。

Mcrouter的源代码已经被开源,并放在了https://github.com/facebook/mcrouter。我们一直在寻求改进Mcrouter性能的方法(修复bugs,添加新特性)。我们将会持续不断更新外部的Github repo和我们内部的更改,因此,你将会受益于这项工作。我们会在Github wiki上维护Mcrouter的文档。我们还建立了一个Facebook讨论组