起因
女朋友用matlab跑出来256个大文件，每个文件300M,每次做数据处理的时候需要读取每个文件的指定行，作为一个数据，也就是说，第一份数据就是这256个文件中的第一行，每行读取出来之后进行一定的格式改变，然后写入到文件中。
思考
- 为了先让她可以跑测试数据，我就需要先提取出一条数据来让她测试，简单用
BufferedReader来实现一个版本 - 循环读取文件，每次读取完之后
close,想着这样虽然慢一点，但是只读一条数据，应该还是可以的。
结果
- 跑起来之后三分钟只读取了
6条，太慢了 - cpu 60%, 内存 80%，磁盘100%（瓶颈在磁盘）
- 马上准备改用
MappedByteBuffer来读取
内存映射文件
- 内存映射文件与虚拟内存有些类似，通过内存映射文件可以保留一个地址空间的区域，同时将物理存储器提交给此区域，内存文件映射的物理存储器来自一个已经存在于磁盘上的文件，而且在对该文件进行操作之前必须首先对文件进行映射。使用内存映射文件处理存储于磁盘上的文件时，将不必再对文件执行I/O操作，使得内存映射文件在处理大数据量的文件时能起到相当重要的作用。
- 文件有很多，并且每个都很大，现在我的内存是固定的且和文件比是很小的。内存映射文件也就是，先把文件地址先读取到内存，然后这个就直接映射成整个文件。也就是当我新建了一个
MappedByteBuffer[]数组，每个对象映射到每个文件，就相当于我现在把所有的文件都加载到了内存 - 读取的时候当一部分内容已经加载进内存了，就直接从内存读取，当读取的指针发现数据在内存中没有加载的时候，就会触发去磁盘读取这部分数据，加载到内存，之前已经加载的内存数据就作废处理。这样相当于我们已经在内存里加载了全部的数据
private void map() throws Exception {
for (int i = 1; i <= 256; i++) {
File channel = new File( i + " ChannelMatricesPerRay.txt");
FileInputStream channelInputStream = new FileInputStream(channel);
channelMappedBuffer[i - 1] = channelInputStream.getChannel().map(FileChannel.MapMode.READ_ONLY, 0, channel.length());
File delay = new File( i + " Rays.txt");
FileInputStream delayInputStream = new FileInputStream(delay);
delayMappedBuffer[i - 1] = delayInputStream.getChannel().map(FileChannel.MapMode.READ_ONLY, 0, delay.length());
}
}
按行读取数据
private String getNextLine(String fileType, Integer fileNumber) {
byte aByte = new Byte("0");
List<Byte> bytes= new ArrayList<>();
// byte == 10 的话就是 \n
while(aByte != 10) {
if("channel".equals(fileType)) {
aByte = channelMappedBuffer[fileNumber].get();
}else {
aByte = delayMappedBuffer[fileNumber].get();
}
bytes.add(aByte);
}
byte[] resultBytes = new byte[chars.size()];
for (int j = 0; j < chars.size(); j++) {
resultBytes [j] = chars.get(j);
}
return new String(resultBytes);
}
现象
- cpu 80%, 磁盘 80%, 内存90%
- 当生成 5000 个文件之后，速度明显下降，生成1000文件花销时间是5000的两到三倍
开始以为是程序写炸了，观察监控，发现在写入5000个文件之后突然磁盘上升到100%，开启debug模式再次重跑，一样的问题，开始调试业务代码，发现没有错误。再次观察监控，发现磁盘又降下去了，这时候就明白了。应该是一开始加载到内存的数据差不多读完了，开始从磁盘读取下一份数据。然后机械硬盘读取速度又很慢，所以导致看到的现象是卡住了一样。
改变
性能瓶颈是磁盘读取原数据速度，这边直接将原始文件拷贝至C盘（固态硬盘），这时候读写速度应该就解决了，果不其然，当源文件和写出的文件全部放到固态硬盘之后，磁盘最高也就50%，读取数据100M/S,写入速度也上升了一个档次30M/S,最后这个任务被完美解决了。
总结
- 这次学习到了内存映射（MappedByteBuffer）的用法和对它有一点认知。
- 还是有需要改进的地方，这次所有的代码都是用单线程的，可以在改进成每条数据处理和写出作为一个任务，开多线程去跑，让磁盘写出不成为瓶颈
- 不支持断点续跑的功能，这个还需要想一下怎么实现
网友评论