OSC 第 96 期高手问答 —— Linux 服务端开源运维技术

叶秀兰 发布于 2015/11/03 12:16
阅读 6K+
收藏 77

OSCHINA 本期高手问答( 11月3日- 11月10日) 我们请来了 @fei 为大家解答关于 中小互联网企业和创业团队 Linux 服务端开源运维技术 方面的问题。

邢飞@fei ,70后,1999 年大学毕业 一直从事 Unix/Linux 服务器端运维,开源爱好者。先后就职于中国联通,TOM 在线,Ku6,盛大创新院,大街网,第一视频,Ireader(掌阅) 等不同类型中级互联网及上市公司超过 15 年的时间,担任 高级运维经理及系统管理高级研究员。曾负责数百台服务器的运维,产品包括 PC 端及移动端应用,运维的产品(注册用户3亿,活跃用户每天过千万)。 目前全职为多家中小互联网公司和初创团队提供 Linux 服务器端运维一站式服务顾问及技术支持。

@fei 是开源爱好者,也是开源中国的活跃会员,一直持续关注开源运维的发展和技术改进,他的微博@开源新闻发布台会持续更新一些服务器端开源技术新闻。

中小互联网公司和初创团队 Linux 服务器端运维体系架构/技术/规范经验分享 PPT 下载 —— 邢飞

目前常用的开源服务器端技术

OS CentOS 6/7 最小安装 (3.10内核 Oracle/taobao) --- Debian
虚拟化 Xen Server ---KVM – Docker ?
www Nginx(Tengine 3.10内核)--  Apache Lighttpd
database- MySQL(Percona MariaDB) – MHA,Percona Xtrabackup
nosql – Redis Memcached – MongoDB Hbase
语言 Python (Tornado) PHP(Opcache) Java (Tomcat Resin Jetty) – Ruby Erlang Perl
版本控制—Git gitlab –Apache+Subversion
文件系统 ext4 xfs --Btrfs
负载均衡-LVS ---Haproxy
HA- keepalived --Heartbeat
Proxy-Squid Varnish--Apache Traffic Server  
监控--- Zabbix --nagios(centreon)  ganglia (cacti MRTG)
集中管理 –Ansible --- Saltstack Rundeck Puppet
实时日志采集 ELK ElasticSearch Logstash Kibana
消息队列 --- RabbitMQ – ActiveMQ Kafka
FTP Server – Proftpd – Pureftpd Vsftpd
项目管理 禅道    
分布式文件系统  GlusterFS MogileFS FastDFS  Ceph MooseFS (DRBD) HDFS           
其 他: OpenLDAP  OpenVPN NMAP  Zookeeper  OpenSWAN   Iptables    DNSMASQ  Rsync Rsyslogd Monit Postfix – Openstack(Cloudstack) hadoop

高手语录

1. 中小互联网公司和创业团队前期应该养成良好的服务器端运维规范。高可用可扩展的架构设计。同时注意成本。多采用开源技术选型。后期的发展上可以少走很多弯路。    
2. 让专业专注的人去做专业的事,做自己团队最擅长的事。
3. 运维的核心价值是长期一线的经验和对技术的不断深入了解跟踪并根据实际情况灵活最优运用。
4. 运维不是一成不变的,而是随着技术的发展和自身的提高来不断完善的。
5. 完全按照自己团队的实际情况和方向制定最可行的架构和解决方案。

OSChina 高手问答一贯的风格,不欢迎任何与主题无关的讨论和喷子。

下面欢迎大家就 中小互联网企业和创业团队 Linux 服务端开源运维技术 方面的问题向 @fei 提问,请直接回帖提问。

加载中
1
ajmdfeipan
ajmdfeipan
@fei :虚拟化方面,如果经历过的话:vmware 或者hyper-v这类商业平台运维注意的点是什么,同时运维openstack的坑如何避免?
fei
fei
回复 @ajmdfeipan : 您是指虚拟机备份还是所有的开源备份工具?目前最全面的是Amanda和Bacula.一个比较老牌。Bacula目前可以算开源界里最好用的备份工具,您可以关注下。不过一般场景下用shell+rsync.基本可以实现大多数的备份需求了。前提做好服务器的架构冗余设计。和硬件RAID及监控。避免单点的产生是第一前提。
ajmdfeipan
ajmdfeipan
回复 @fei : 开源的东东里面备份有好的推荐吗?
fei
fei
目前我主要使用的虚拟化平台是Xen Server 6.5SP1.(强烈推荐一下,非常好用)偶尔也会用KVM.建议中小互联网公司尽量使用开源的技术!出于成本等考虑。也不要使用破解的商业技术。Openstack目前只是技术储备。在实际中用的场景目前还不多。
0
noday
noday
@fei :centos6云服务器对外服务或者针对nginx、tomcat有什么通用的优化?
fei
fei
目前阿里云提供的CentOS镜像是6.5和7.0.建议yum update到6.7和7.1.并打好目前的最新版补丁。同时前端使用SLB做负载均衡。减少公网IP和带宽的使用(降低成本和增加安全)。内网可以构建VPN来访问。Nginx和Tomcat至少部署2台做集群轮询。Nginx可以考虑使用Tengine 2.1.1(基于1.6.2) 此外可以调整部分系统内核和参数来调优。谢谢你的支持。
0
疯狂的小企鹅
疯狂的小企鹅
一个以用户图片为主(上传下载,百kb 级别)的网站,服务器内存的容量与用户数之间有没有一个比例?
疯狂的小企鹅
疯狂的小企鹅
回复 @fei : 谢谢您的回答.
fei
fei
刚才说的是图片存储这块。前端肯定是Nginx+PHP后面MySQL,Redis这种。一般一定是不同技术放在不同的虚拟机上。针对不同的技术硬件选型不同。虚拟化的好处是硬件资源可以动态调整。同时你有2台以上的同类型节点。基本调整服务不会中断。同时用Zabbix做好监控。根据实际情况来调整。供参考
0
风情万种
风情万种
@fei 比如三台Linux 一台nginx做静态文件处理 另外两台apache做动态文件(如php)处理.那么怎么实现文件同步?或者文件放在其中一台服务器?这样是否能有效抗拒大概什么程度的ddos攻击?
0
whaon
whaon
@fei :对于docker在企业中的应用怎么看
fei
fei
Docker是最近很火的话题。也出现了大量的衍生技术。但是就我目前身边的中小公司和团队中来看。学习的较多。线上使用的还不多。基本虚拟机技术就足够了。可能大公司机器多的使用的会更多一些。建议保持关注学习的态度。看应用场景吧。
0
fei
fei

引用来自“疯狂的小企鹅”的评论

一个以用户图片为主(上传下载,百kb 级别)的网站,服务器内存的容量与用户数之间有没有一个比例?
一般不设计大概比例。在图片存储这块。可以考虑放在又拍 七牛之类的云存储上。或者自己用多台机器构建分布式文件系统。(各有利弊)我之前fastDFS用的比较多。现在给客户基本只用GlusterFS了(FUSE,可以看成NFS的加强版,解决NFS单点和容量不可动态扩展的问题)。量不大的话两台虚拟机做一个镜像卷。可能量级还没到。前面用Nginx代理(二级缓存) 再前面是CDN.这块对内存没有特别大的要求。GlusterFS 4G Nginx 8G左右。除非你把所有或大部分的图片放在内存里缓存。供参考。谢谢你的支持。
fei
fei
@javakf 主要是因为遇到一些Bug.没法解决。鱼大有没有太多时间。毕竟不是社区的产品。支持力度不够。而且基于API的文件系统有一些问题。后来量不大时基本还是用GlusterFS了。简单稳定快速方便。而且背后有Redhat支持。发展比较快。
javakf
javakf
@fei 为什么后边不用fastDFS了呢?基于什么考虑呢?
0
root2000xyz
root2000xyz
@fei : 感谢分享,其中大部分技术是目前所用的,虚拟化方面公司打算推广基于 docker  和kubernets 、openstack 打造的云计算平台架构 ,这算是追赶潮流吗?docker  和kubernets 的未来前景发展怎么样?
fei
fei
惭愧了。Docker这一块确实来说我没有太多发言权。一直在关注。但是在运维角度线上使用的不多。可能我的客户基本还都是中小互联网公司,也不是做云。规模不算太大。基本还是网站或app.平常并没有太多机会用到。基本虚拟机就够用了。还没有一定要用Docker的理由。所以不能帮上更多忙了。望谅解。
0
fei
fei

引用来自“风情万种”的评论

@fei 比如三台Linux 一台nginx做静态文件处理 另外两台apache做动态文件(如php)处理.那么怎么实现文件同步?或者文件放在其中一台服务器?这样是否能有效抗拒大概什么程度的ddos攻击?
一般来说架构设计我现在是前面一组LVS主备(4层转发)+多台Nginx(7层转发)。后面是多台Nginx+PHP-FPM.Session集中存储在后面多台Memcached Hash或Redis(集群或至少主从高可用)。文件存储建议使用分布式文件系统来做。我现在推荐GlusterFS 3.7.针对小文件做了大量优化。一般情况下足够了。至少2台做镜像卷。解决NFS的单点和容量不可动态扩展的问题。建议线上所有技术环节上没有单点。DDOS这块其实自己没什么太好的办法。建议还是使用第三方防攻击的服务(如加速乐等)及CDN。具体架构可以看我上面的ppt里面的内容。供参考。谢谢你的支持!
0
Injection
Injection
@fei :对于30M-200M左右的大量累计pdf文件该使用何种存储方案呢?
pdf会进行加密后提供下载
fei
fei
30-200M不算小文件了。我个人会推荐GlusterFS 3.7.简单易用 解决NFS的单点和不可动态扩展的问题。3.7的性能也改进了不少。而且基于FUSE的好处是可以直接按目录使用。一般情况下足够了。可以关注一下。
0
noday
noday
@fei :运维方面有什么工具推荐?
fei
fei
工具很多了。服务器端常用技术可以参考我上面的列表。还是要看您具体的需求和场景。用于哪块。
返回顶部
顶部