lighttpd 负载均衡-反向代理+cache浅谈

晨曦之光 发布于 2012/03/09 14:51
阅读 889
收藏 1

Lighttpd有硬盘级别的cache-(mod_cache)和内存级别的cache(mod_mem_cache),内存级别的cache是国人的产品,我喜欢用lighttpd就是因为它具有2种选择的cache,像我的实际需求,由于系统存在很多图片,但是容量不大,一般都少于40k,图片,js,CSS等我都喜欢放到内存里面,毕竟磁盘i/o是一个真正的计算机瓶颈制造者,而一些其他资源cache就放到硬盘级别的cache

1) squid和modcache的对比:squid是个功能全面的系统、但效率不高;modcache是功能不多,但效率高的缓存系统;请求数不多的情况下 (<100 req/s),两者差别不大;请求数超过100 req/s,modcache完胜
2) Linux系统的优化也很重要,比如打开最大文件数等等。不一定非要改linux kernel source,参数调优事半功倍
3)如何用尽多核CPU。首先要用多个进程(server.max-workers=4);用Linux的setaffinity系统调用把CPU0空闲出来,再根据服务情况选择是否把缓存加载到内存中;最后就是给足够大的负载了(大部分时候瓶颈在IO上,而不在CPU上)。
其实lighttpd在请求高(>1k req/s)的情况下,CPU也不忙,比Squid好太多;也就是说lighttpd不属于CPU计算量大的程序,而大部分时间在处理、等待网络IO,磁盘IO
4) keepalive 尽量关闭。lighttpd 1.4.23新加的server.defer-accept选项不错,可设置成server.defer-accept=30
5) 小文件缓存到内存;大文件放硬盘,硬盘没必要用raid
6) 加载 mod_status,设置 status.statistics-url = "/lighttpd_status"。然后访问http://ip/lighttpd_status 可看到modcache 的缓存命中率
7) modcache 使用两级hashmap管理内存缓存,效率不错,支持上千万的项目快速存取
8) 单进程和多线程。单进程适合现代的硬件和软件;多线程的弱势在于锁:一般多线程使用多个全局锁,当请求数量超过一定值后,全局锁会导致性能急剧下降;多线程的扩展性比单进程差不少。
多线程适合不同线程做不同工作,或者请求数量可控、且不高的情况

 

以下是关键配置

#模块的加载-------------------------------------------------------

server.modules              = (   

                              "mod_compress",
                                "mod_access",
                               "mod_status",
                               "mod_mem_cache",  #memcache 内存级的cache
                               "mod_cache",           #disk cache 硬盘级别的cache
                               "mod_proxy"

  #模块的排序是有规则的,如果不合理排序,容易产生问题

#硬盘级别cache的设置----------------------------------------

#模块参数说明:http://redmine.lighttpd.net/projects/lighttpd/wiki/Docs:ModCache

#mod_mem_cache作者的最新主页:http://code.google.com/p/lighttpd-improved/

######## disk cache #########
cache.support-queries = "enable" #cache允许查询 
cache.bases = ("/data/cache")   #cache存放的根目录
cache.refresh-pattern = ( #以下是允许cache的文件类型以及cache的有效期,单位:分)
        "/.(?i)(flv)$" => "0 fetchall-for-range-request flv-streaming",
        "/.(?i)(js|css|xml)$" => "240", # update js/css/xml every 4 hours
        "/.(?i)(htm|html|shtml)$" => "30 update-on-refresh", #update html/htm/shtml every 30 minutes and on refresh requests
        "/.(?i)(jpg|bmp|jpeg|gif|png)$" => "2880",
        "/.(?i)(rar|zip|wmv|avi|mp3|ape|rm|mpeg|mpg|wma|asf|rmvb|flv)$" => "0 fetchall-for-range-request",
        "." => "30 update-on-refresh"
)

#内存级别的cache设置-----------------------------------------------

#模块详细参数说明:http://redmine.lighttpd.net/wiki/1/Docs:ModMemCache
######## memory cache ###############
mem-cache.enable = "enable"
mem-cache.filetypes = ("application/x-javascript", "text/css","text/javascript","image/jpeg","image/gif","image/png")    #定义内存cache的文件类型
mem-cache.max-memory = 64                                      #允许使用的最大内存大少,单位:M
mem-cache.max-file-size = 1024                                   #单个文件大小 ,单位:KB
mem-cache.expire-time = 180                                       #过期时间,默认单位:分

#调度目标的web-server列表

proxy.server  = ( "/" =>
        (
                 ( "host" => "192.168.10.1","port" => 80)

                   ( "host" => "192.168.10.2","port" => 80)

                    ( "host" => "192.168.10.3","port" => 80)

)
)

 

结果测试:用iE装了httpwatch后抓包查看,首先第一次访问proxy_cache后,关掉,接着清空本地cookies,再次打开,速度是几何级别的提升,页面一下子刷出来了,查看http_header时,发现如下关键字:

#硬盘cache的命中

(Status-Line) HTTP/1.1 200 OK
Accept-Ranges bytes
Cache-Control max-age=13873
Content-Length 2974
Content-Type application/x-javascript
Date Thu, 22 Jul 2010 11:26:54 GMT
ETag "0f3b8da1939ca1:4aa7"
Expires Thu, 22 Jul 2010 15:18:07 GMT
Last-Modified Sat, 19 Sep 2009 11:10:54 GMT
Server lighttpd/1.4.26
X-Cache HIT        #命中缓存
X-Powered-By ASP.NET

#内存cache的命中

(Status-Line) HTTP/1.1 200 OK
Cache-Control max-age=172721
Content-Length 13952
Content-Location http://192.168.3.120/uploads/userup/2192/myface.jpg #我的proxy_cache地址
Content-Type image/jpeg
Date Thu, 22 Jul 2010 11:19:29 GMT
ETag "22bc68d74227cb1:4e86"
Expires Sat, 24 Jul 2010 11:18:10 GMT
Last-Modified Mon, 19 Jul 2010 13:03:54 GMT
Server lighttpd/1.4.26
X-Cache TO MEMCACHE   #命中内存
X-Powered-By ASP.NET

小结:这只是一般情况下的案例测试,具体需要涉及实际情况,例如php动态文件,媒体文件等的cache,还有图片网站或者视频网站等设置cache内容,过期时间等均要不同设置才能做到最大限度优化,不能一视同仁。


原文链接:http://blog.csdn.net/21aspnet/article/details/6570847
加载中
返回顶部
顶部