javaweb项目 文件上传 并发量一高 就会有人上传文件失败 那么大型网站 如何实现高并发下文件的上传下载呢?

Jordan裔 发布于 2018/01/18 11:44
阅读 4K+
收藏 0

javaweb项目 文件上传 电脑最大带宽为一百兆 , 服务器最大带宽为一千兆,那么并发量一高 ,就会有人上传文件失败 ,那么大型网站 如何实现高并发下文件的上传下载呢?  用集群?感觉集群也不靠谱啊 一台服务器只能实现十台电脑并发 那大型网站 几千几万并发量 那得多少台服务器啊。。。。感觉集群不靠谱。。。

加载中
2
光脚满地跑
光脚满地跑

并不是所有的文件都“真实的上传到了服务器”,比较通用的方法是在上传之前校验文件的MD5,这样如果侦测到相同MD5的文件,就做一个软指针,指向服务器端已存在的文件即可,实现“秒传”的效果。

至于用户文档之类比较定制化的文件,一般体积都不会很大,这种服务器会限制每个用户的上传带宽,比如100KB/S

或者也可以做动态负载均衡,入口带宽1000M,十个人使用每人100M,一百个人使用每人10M这种。

同时从业务角度来看,并发和并行量都是不同的概念

0
f
freezingsky

限制同一时间内的文件上传线程数,做多几个LB。

0
Kit_lee
Kit_lee

集群怎么不靠谱了?互联网应用不就是靠大量的低配服务器支撑起来的?不说以往的硬件服务器了,现在云计算时代开个服务器实例就难了?

0
开源中国首席弟子
开源中国首席弟子

直接用阿里云的文件存储得了,直接搞业务大肯定爆了

返回顶部
顶部