3

java大数据量对比

 2 years ago
source link: https://www.jdon.com/43908
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.

java大数据量对比

12-04-23 zouyi
现有一个号码文件,里面有十万个号码,有另外一个文件里面有几亿数据,是号码+UR-RTTP这种类型的是适配类型,通过第一个文件的中的号码,在第二个文件里面找到对应的适配类型,然后写成一个文件,请问如何处理,需要考虑性能,且不能一次性加载到内存中,因为系统会崩掉!谢谢了!
2012-04-24 10:05
Hadoop使用的分布式文件系统,采取类似Sql的pig操作界面,能够象数据库很容易进行对比。

About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK