爬虫下来的图片、视频、大文本存储技术

zhangleijie 发布于 2016/05/05 22:48
阅读 695
收藏 0
有谁做过互联网爬虫, 请问有什么比较好的技术实现网页中图片和视频还有大文本的存储。   我的初步想法是针对标题做索引用mysql实现, 但是大的二进制数据不知道怎么处理,有那个大神给支个招!                                                                                                                       
加载中
1
晴风晓月
晴风晓月
试试NoSQL
晴风晓月
晴风晓月
回复 @zhangleijie : MongoDB完全可以满足要求
z
zhangleijie
你用过nosql?这些图片、视频、大文本我希望是永久存储的,不希望重启后就没有了!
0
c
cangbaotu
你可以试试神箭手云爬虫(http://www.shenjianshou.cn),里面自带图片云托管,可以将爬取的图片自动保存在云服务器上,类似七牛,而且现在流量和存储都是免费的。
返回顶部
顶部