JAVA大数据生成XML内容

郏高阳 发布于 2018/01/17 00:07
阅读 2K+
收藏 2

【开源中国 APP 全新上线】“动弹” 回归、集成大模型对话、畅读技术报告”

目前有个需求是按照规范把大数据生成XML数据量大概有10G左右,要高效率生成,有没有什么好的方案?后台开发语言是JAVA

加载中
0
Beyond-Bit
Beyond-Bit

大数据的核心思想分而治之,化大为小 ,并行处理,结果merge的思想。

1.多线程并行,每个线程处理1g(或者多少行)

2.java里面有个RandomAccessFile

0
红薯
红薯
生成一个 10g 的 xml 吗?
0
OSC_UHVtgo
OSC_UHVtgo
10g的xml 脑子瓦塌了?
0
醉虾
醉虾
l为什么需要xml
0
MaxBill
MaxBill
生成10g的xml怎么用,然后给程序解析,
0
梅开源
梅开源

不如整数据库里加个索引再做个查询接口。用sqlite都比XML强。

0
魔力猫
魔力猫

第一,数据源是什么?数据源读取速度?

第二,目标是一个10G大的文件还是很多文件只是总大小10G?

第三,你的高效率指标是什么?没有一个已经确定的参考指标,再高的效率,你也可以贬低是低效。

魔力猫
魔力猫
回复 @郏高阳 : 你还是没回答我的问题,效率指标是什么?怎么算高怎么算低。
郏高阳
郏高阳
每一百万数据分隔一个xml文件,要按照顺序输出
0
空指针
空指针
XML,JSON这样的数据主要是用来做交互的,不知道你生成这么大的XML数据做什么?也许可以从需求上解决问题。
0
A_NOOB
A_NOOB

打开都慢吧

0
kakai
kakai
这需求有毛病,得治。提出此等需求的人肯定不是技术人员
小明kiss
小明kiss
确实
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部