【开源中国 APP 全新上线】“动弹” 回归、集成大模型对话、畅读技术报告”
目前有个需求是按照规范把大数据生成XML数据量大概有10G左右,要高效率生成,有没有什么好的方案?后台开发语言是JAVA
大数据的核心思想分而治之,化大为小 ,并行处理,结果merge的思想。
1.多线程并行,每个线程处理1g(或者多少行)
2.java里面有个RandomAccessFile
不如整数据库里加个索引再做个查询接口。用sqlite都比XML强。
第一,数据源是什么?数据源读取速度?
第二,目标是一个10G大的文件还是很多文件只是总大小10G?
第三,你的高效率指标是什么?没有一个已经确定的参考指标,再高的效率,你也可以贬低是低效。
打开都慢吧
大数据的核心思想分而治之,化大为小 ,并行处理,结果merge的思想。
1.多线程并行,每个线程处理1g(或者多少行)
2.java里面有个RandomAccessFile
不如整数据库里加个索引再做个查询接口。用sqlite都比XML强。
第一,数据源是什么?数据源读取速度?
第二,目标是一个10G大的文件还是很多文件只是总大小10G?
第三,你的高效率指标是什么?没有一个已经确定的参考指标,再高的效率,你也可以贬低是低效。
打开都慢吧