4

批量读取小文件问题

 3 years ago
source link: https://www.oschina.net/question/3249679_2320719
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.

批量读取小文件问题

coderLuo 发布于 昨天 21:57

windows机器上存储了大概2亿张小图片，每张170字节。

怎么才能高效的转移这批图片呢？

试过打压缩包，一次打包2000万张图要花5天，如果打包全部图片会直接报错内存不足。

也试着用java读取后图片转成base64，做成大文件再拷贝，但是每次都是大概前3w张图速度很快，1000张图只用100ms不到，3万张图之后任务管理里的磁盘io直接100%，效率直线下降，每1000张图要差不多10秒以上。

大神们有没有什么好办法？求赐教


report

Recommend

About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK