首页
开源软件
问答
博客
翻译
资讯
Gitee
众包
活动
专区
源创会
高手问答
开源访谈
周刊
公司开源导航页
登录
注册
资讯
软件
博客
专区
问答
活动
工具
培训
众包
APP
Gitee
登录
注册
开源问答
技术问答
正文
爬虫下来的图片、视频、大文本存储技术
zhangleijie
发布于 2016/05/05 22:48
阅读 883
收藏
0
答案
2
Nutch
Heritrix
HttpClient
Java
【开源中国 APP 全新上线】“动弹” 回归、集成大模型对话、畅读技术报告”
有谁做过互联网爬虫, 请问有什么比较好的技术实现网页中图片和视频还有大文本的存储。 我的初步想法是针对标题做索引用mysql实现, 但是大的二进制数据不知道怎么处理,有那个大神给支个招!
收藏 (
0
)
分享
微博
QQ
微信
举报
加载中
最多投票
最新
1
晴风晓月
2016/05/05 23:10
试试NoSQL
评论 (
2
)
引用此答案
举报
晴风晓月
2016/05/06 09:43
回复
@zhangleijie
: MongoDB完全可以满足要求
回复
举报
z
zhangleijie
2016/05/06 09:24
你用过nosql?这些图片、视频、大文本我希望是永久存储的,不希望重启后就没有了!
回复
举报
0
c
cangbaotu
2016/05/13 16:14
该评论暂时无法显示,详情咨询 QQ 群:
点此入群
我要回答
热门内容
更多精彩内容
百度智能云发布 Baidu Comate 2.0,个人开发者可免费使用
:exclamation:️极速后台框架 FastAdmin V1.5.0 正式版(安全更新)
:tada:金合可视化平台 V1.0.2 发布,Java 后台推出
Ant Design Mobile v5.35.0 发布,AntD 移动端设计规范
iOS 版 Firefox 充斥着大量“屎山代码”
理想汽车多模态认知大模型 Mind GPT 正式上线
openKylin 社区生态委员会第五次会议圆满召开
微软工程师发布 Rust Linux 内核补丁,以进行就地模块初始化
清华博士带你掌握 Llama 大模型 40 节课助你涨薪 120%
usql v0.18.0 发布,SQL 数据库的通用命令行界面
SiC B2B2C Shop 开源平台型电商系统 v2.0 发布了
基于 Tailwind CSS + Shadcn 的 Vue3 后台管理模版 2024.0.2 发布
开放签电子签章 1.8 版本 API 接口集成方案概要说明
开源日报 | 构建一个类似英伟达CUDA的开源生态;“AI程序员”大杀四方,人类程序员开始反击;Podman 5.0发布
亚马逊完成对 Anthropic 的 40 亿美元投资
What's new in PikiwiDB (Pika) v3.5.3 (正式版)
netty 游戏服务器框架 ioGame 21.4,java 强悍的游戏服务器框架
Eclipse Vert.x 4.5.7 发布,Java 微服务开发框架
Databricks 推出开源大模型 DBRX:参数规模达 1320 亿、声称全球最强
TypeChat —— 基于 LLM 的自然语言构建 UI 库
YouTrack 2024.1:为帮助台项目增添更多灵活性
容器中域名解析流程以及不同dnsPolicy对域名解析影响
您知道CSO、CDO和CCO的含义吗?
代码+案例,实战解析BeautifulSoup4
TIKV 分布式事务--悲观锁
如何用CDH+Apache DolphinScheduler开启Kerberos
融云 CallPlus + X,通话场景一站式解决方案
开源 2 年、打磨 13 年、300 万行代码的开源项目
Pentaho 的迁移或升级
WhaleStudio 分钟级构建 AI 模型,强大 Ops 能力简化模型调度与部署
3天上手Ascend C编程丨带你认识Ascend C基本概念及常用接口
亚信安慧AntDB-M的扩展功能(三)
基于 Istio + Zadig,零负担实现云原生全链路灰度发布
TIDB数据库在某省妇幼业务系统应用
从策略和实践,带你掌握死锁检测
GreatSQL 2023 年报
大数据调度最佳实践 | 从Airflow迁移到Apache DolphinScheduler
Toolbox App 2.0 :重构安装布局、集成和迁移等多处改进
NocoBase 服务端接口初步优化的过程
聚焦热点|“2023全球工业互联网大会—工业互联网+区块链创新应用发展论坛”在沈举办
Kmesh v0.1.0 版本发布
一文详解应用安全防护ESAPI
自动化的力量:增强人工代码审查流程 | Qodana
KubeEdge Sedna v0.6 & Ianvs v0.2 重磅发布:边云协同终身学习全面升级
GaussDB技术解读系列:高级压缩之OLTP表压缩
工信部发布2023移动互联网应用服务能力优秀案例 爱奇艺两项目入选
助力应用出海掘金,融云IM限量五折
Flink Forward Asia 2023 主会场精彩回顾
前端monorepo大仓共享复杂业务组件最佳实践
解析 openGauss 的 AutoVacuum 机制及优化策略
CS.DEEP | 基于 openGauss 实现的计算机论坛项目
哪李贵?Cocos 全网最全学习资料在这里!评论送源码!
基于 Flink SQL 和 Paimon 构建流式湖仓新方案
2023 Apache APISIX 上海 Meetup:云原生 API 网关实战
万字长文教你实现华为云IoT+OpenHarmony智能家居开发
大模型下半场,未来发展将走向何方?
从0带你设计与实现基于STM32的智慧农业管理系统
openEuler 里的用户管理
AWS EC2 必知必会小技巧 | 机型特点解析和选型技巧分享
如何正确使用多线程和锁机制来构建可靠的程序
直播App遭疯狂录屏盗播,怎么用技术防范?
ArcNeural V2.1 版本正式发布,重要特性全面解析!
云原生微服务的下一站:Proxyless Service Mesh
解锁数据库运维秘籍:掌握AntDB-T动态共享内存,提升进程间通信效率
通过篡改cred结构体实现提权利用
华为云CCE集群健康中心:一个有专家运维经验的云原生可观测平台
多人联机对战游戏赛道,你准备好了吗?
【经验分享】openGauss 客户端(Data Studio / DBeaver)连接方式
11种编程语言中,返回多个不同类型的方法样例
《HelloGitHub》第 92 期
白鲸开源科技与瀚高基础软件完成产品兼容性认证,开启数据管理新篇章
谈谈中国第一款AI搜索产品——天工AI
Apache ActiveMQ 远程代码执行漏洞分析
CKAD考试实操指南(七)---网络纵横谋略:服务和网络实战要诀
美团 Flink 资源调度优化实践
SmartX 携手 openGauss 社区发布联合方案评测与性能最佳实践
荣耀上榜|溪塔科技入选第二届数贸会浙江省数字贸易百强榜
初识TiDB Data Migration迁移工具及实践
TiDB 社区第三届 1024 程序员心愿节|你的心愿,我来实现,人均带着一个礼物的时刻到啦!
Zadig 支持 Android、iOS App 自动化发布了
Apache Doris 2.0 如何实现导入性能提升 2-8 倍
深入浅出Apache SeaTunnel SQL Server Sink Connector
openGauss基于存储复制的资源池化安装部署流程
GaussDB(DWS)实践案例丨MERGE场景下语句不下推引起的性能瓶颈问题
Databend Cloud 如何助力 AIGC 初创公司成本下降百倍
详解CCE服务:一站式告警配置和云原生日志视图
openGauss亮相HC 2023 | 内核架构双引擎,全新打造数据底座
深度:数据驱动与治理模式变革
【经验分享】openGauss 5.0.0全密态数据库应用小试
MySQL 到 TiDB:vivo 的 Hive Metastore 横向扩展之路
Apache Doris 入门 10 问
简讯|拱墅区政协新闻文体界别组等相关领导莅临溪塔科技进行交流指导
亚信安慧AntDB:灵活处理数据典范
展会 | 探寻软件发展新动向 GreatSQL出席Qcon全球软件开发大会
黄东旭:2024 现代应用开发关键趋势——降低成本、简化架构
深入解析RealWorldCTF 2024体验赛PWN方向题目
初识TiDB的增量数据同步工具TiCDC
开源的 Sora 复现方案,成本降低近一半!
MySQL 8.0.26版本升级32版本查询数据为空的跟踪
TIKV 源码学习笔记--分布式事务接口 Commit/Rollback
全站热门评论
i
iVista
2024-03-07 13:04
张小龙没()
l
liaoxuewei
2024-03-02 12:58
你小心被咬😄
WalleWalle
2024-03-28 17:07
李一舟的课程?
dhssingle
2024-03-22 11:36
微软的 Garnet 据说已经在 Azure 上替代 Redis 跑了几个月了。
gowk
2024-03-28 14:40
放心,redis 在这里根本诞生不了
donnie4w
2024-03-28 11:05
docker与content-type分别在使用文档中有更具体的介绍 使用文档地址 https://tlnet.top/wfsdoc
我的ID是jmjoy
2024-03-07 17:45
让市场说了算明显不行,某些企业利用资本先发优势大搞垄断,霸占生态位不干人事,店大欺客,早就应该治治了。
却又让幽兰枯萎
2024-03-28 12:29
苹果已经堕落到这种地步了吗
shpodg
2024-03-28 10:52
默哀
我的ID是jmjoy
2024-03-21 17:54
云厂商是有些不道德,二次开发开源产品卖钱,既不投钱,又不回馈社区。
梅子酒好吃
2024-03-28 10:10
共生关系可能更真实。用户按需选择 :)
M
MDIngs
2024-03-15 15:35
离职后需要把发的工资还给公司吗?
luwenhua
2024-03-11 14:10
怎么感觉这人怎么一直在投机停不下来啊
M
MrChen89
2024-03-28 11:52
看来操作系统和CPU没啥卷的内容了,开始卷AI了
主编
2024-03-28 11:17
PC厂商:那就把win开始菜单按键换成Copilot按键🤭
剑神卓不凡
2024-03-28 10:25
为啥不用ext5?
代码之美
2024-03-28 17:16
骨干程序员都没了不会影响PG的发展吗,ReiserFS的作者进去后ReiserFS就不行了。
风
风一样的Man
2024-03-06 10:50
我还没开始用, 你就砍掉了
luwenhua
2024-03-05 18:18
其实用用惯了,比windows省心多了
陈钇蒙
2024-03-28 14:07
国外的私人飞机一般就是直升机, 真太不保险了, 死了多少名人了
lintghi
2024-03-21 16:36
为了避免云厂商白嫖吧
OSC 培训
2024-03-28 17:10
不是哦,是开源中国&Llama中文社区携手打造高品质大模型应用开发实践课。
z-zg
2024-03-24 19:19
在中国感觉殡葬与养老可能是朝阳产业
开源中国首席路人王
2024-03-28 14:59
你们开发C都用什么IDE什么框架?
c
cassan
2024-03-01 22:19
开源了,我们国内的公司又可以申请知识产权了
我的ID是jmjoy
2024-03-19 11:16
在交通上,如果不对驾驶员不带安全带和酒驾等行为进行扣分和罚款,那这类违规行为肯定会泛滥,在编程语言方面同理,通过“教育”和“规范”这些手段来让程序员遵守内存安全的想法很幼稚啊。
复二呆
2024-03-28 14:44
用过,不错
有害健康
2024-03-28 10:58
4.5.6好像也才刚发布没多久
CCCZZCCC
2024-03-07 08:46
每次看到你,就想着进来看看笑话,结果咱是首评...
donnie4w
2024-03-28 11:56
WFS更专注于解决海量小文件存储的性能问题,而MinIO虽也能处理小文件,但它的设计更倾向于通用对象存储服务,涵盖小文件至大文件的广泛范围。 如果业务核心是处理海量小文件且极度追求读写性能,那么WFS可能是一个很好的选择;而如果需要更加通用的对象存储方案,同时兼顾小文件和大文件存储,以及更广泛的生态系统支持,那么MinIO可能更适合。
当幸福来敲门ol
2024-03-28 18:17
这不是虚假消息造市,电影里面股票战争不都这样吗, 不管吗
Mark哥是我
2024-03-17 23:23
你看过多少java的源码以及netcore的源码?:joy::joy:
osc_91916845
2024-03-05 16:24
恭喜恭喜,想想如果 redis 是中国公司会怎么样,收购?我估计不会,大概率 fork 一份源码再自己包装一下,然后推出“官方Redis库”,一通运作,原作者的库被淹没,所有贡献被一脚踢开😂
M
MrChen89
2024-03-28 17:17
居然没人评论
angelshaka
2024-03-05 18:25
百乙己涨红了脸:怎么能这么卖了呢,一点文人风骨都没有,我的想卖都没人要啊
0day
2024-03-28 15:49
国产自主研发的数据库,不好升级了啊
M
MrChen89
2024-03-28 17:21
和百度合作就是堕落吗?单论苹果最近几年确实堕落了,干啥啥不行
t
troika
2024-03-08 14:54
外企:你继续说,我在走。
CheckStyle
2024-03-28 10:44
悼念。。。
抢小孩糖吃
2024-03-13 13:05
挺好的,更新一下旧的IT架构,创造一堆软件迁移需求,创造一堆硬件迁移需求,新增更多的IT岗位。
osc_94406955
2024-03-01 09:29
预计该问题会在 24 小时内彻底解决............. 今天3月1日了,bug神奇的消失
大后锋
2024-03-18 13:27
苹果是仇视一切可以跨平台运行的东西吧
gowk
2024-03-28 11:52
太不幸了,大神一路走好!
无
无库
2024-03-07 13:13
早该如此的,国家应该要求处于垄断地位的超级软件必须支持Linux,否则重罚
烈冰
2024-03-16 13:44
WPS这样重量级的软件,想不到这么快就交付了
漫步海边小路
2024-03-08 08:43
我猜你只知道这两个系统,多读正经书, 少看聊斋
yfwz100
2024-03-28 12:38
Edge 是不是早就支持了
开源中国-首席生育师
2024-03-28 16:45
VIM
zoujiaqing
2024-03-28 16:27
PG一直都有国际一线公司贡献,比如国际巨头微软、亚马逊,国内华为、浪潮等,所以是开源数据库中最有潜力的数据库,我们在2014年开始全面转到 PostgreSQL,体验非常好!
卡塌西瓦
2024-03-28 11:15
请问和minIO的应用场景有什么差别?
码农小胖哥
2024-03-21 17:05
云厂商一年卖云redis 赚疯了,远低于他们对社区的贡献
代码之美
2024-03-28 14:31
以后Postgresql还有前途吗
一介农夫
2024-03-28 11:38
那把 win 按键设置成多级的,比如按一下是开始菜单,按两下是 Copilot,按三下是... 提供无限可能🤗
Devlive开源社区
2024-03-10 14:32
只有缺心眼的人才能说出这种话来,ai的研发者不是程序员吗?说话不动脑子
不羁的醒与醉
2024-03-14 10:00
碰瓷营销差不多得了
wlly-lzh
2024-03-28 14:42
是韭菜还是未来,静观其变。
无
无库
2024-03-28 10:13
深切怀念Simon
太空中的小星星
2024-03-08 09:28
tx公司是霸权和垄断、资本等作怪。tx公司以前还专门试过阻止wine登录qq,不支持就算了。还阻止,这些公司毫无职业道德,早就该管了。
蓝色海洋之前
2024-03-26 13:02
没bug就没有必要改
roomsss
2024-03-05 09:48
小心我们僧哥自创个redis 中国. 然后自封为redis mvp. mpp,
z
zhangleijie
最近登录:03/22 13:03
热门资讯
1
尤雨溪宣布推出 VitePress 1.0
2
Angular 可能会与谷歌内部的 JS 框架 Wiz 合并
3
全职做开源出现资金压力,Volar 作者发起订阅计划 "Vue - Official Insiders"
4
美国大学培养了过多的计算机科学专业毕业生
5
开源日报 | 华为腾讯相爱相杀;Redis 不再 “开源”;黄仁勋集齐Transformer论文七大作者;京沪“中国大模型第一城”争夺战
6
微软改进 Chrome 在 Windows 11 和 10 上的字体渲染
7
AWS 祖传技能 —— 重生(创建 fork 分支)之“我是真开源”
8
苹果正在与百度就 iOS 18 集成生成式 AI 功能的合作进行谈判
9
Windows 格式化对话框是一个使用了 30 年的“临时解决方案”
10
Ubuntu LTS 支持延长至 12 年
热门软件
DevUI Design
- 中后台产品前端通用解决方案
Cascadia Code
- 配套 Windows Terminal 的等宽字体
WinterJS
- Rust 编写的 Service Worker
Luckysheet
- 在线电子表格
VirtScreen
- Linux 虚拟屏幕创建工具
Recoil
- React 状态管理库
catj
- 以简洁的格式显示 JSON 文件
ModernFlux
- 微服务负载保护系统
Fusion.js
- 基于插件架构的通用 Web 框架
Hexo-theme-Fluid
- Material Design 风格的 Hexo 主题
BibiGPT
- 音视频一键总结工具
GW-BASIC
- BASIC 的方言版本
Lexical
- Facebook 开源的文本编辑器框架
TKey
- 单点登录系统
OpenPLC
- 标准化开源 PLC
Pkl
- 配置编程语言
XVERSE-65B
- 650 亿参数高性能大模型
JD-hotkey
- 轻量级热 key 探测框架
Luau
- 基于 Lua 的脚本编程语言
L3AF
- 轻量级 eBPF 项目
登录后可查看更多优质内容
使用微信快捷登录
©OSCHINA(OSChina.NET)
工信部
开源软件推进联盟
指定官方社区
社区规范
深圳市奥思网络科技有限公司版权所有
粤ICP备12009483号
顶部