Stack overflow地址：linux - Efficiently reading a very large text file in C++ - Stack Overflow
翻译：
我有一个非常大的文本文件（45GB）。每一行包含两个由空格分隔的64位无符号整型像下面展示的这样：
4624996948753406865 10214715013130414417
4305027007407867230 4569406367070518418
10817905656952544704 3697712211731468838 ... ...
我想要读取这个文件并执行一些操作在这些数字上。
我得C++代码：
void process_data(string str)
{
vector arr;
boost::split(arr, str, boost::is_any_of(" \n"));
do_some_operation(arr);
}
int main()
{
unsigned long long int read_bytes = 45 * 1024 *1024;
const char* fname = "input.txt";
ifstream fin(fname, ios::in);
char* memblock;
while(!fin.eof())
{
memblock = new char[read_bytes];
fin.read(memblock, read_bytes);
string str(memblock);
process_data(str);
delete [] memblock;
}
return 0;
}
我是一个C++的新手。当我运行这个代码的时候，我面临这些问题：
1.因为读取文件使用字节，有时候最后一行会出现未完成的数据（“4624996948753406865 10214”，而不是文件中真正的数据“4624996948753406865 10214715013130414417”）。
2.这个代码运行的非常慢。它花费6秒来执行一整个操作，在64bit的intel Core i7 920带有 6G内存的系统上。这里有任何的优化技术我可以提升运行速度的。
3.是否有必要包含“\n”在boost的分隔函数中。
我阅读了C++中的mmap文件，但是我不确定这是不是正确的方式。如果是，请贴上一些链接。
Answers1：
我会重新实现这个为流式传输，而不是块式传输。
一个可能正确的代码是这样：
std::ifstream ifs("input.txt");
std::vector parsed(std::istream_iterator(ifs), {});
如果你知道期望有多少个值，在最开始使用 std::vector::reserve可以进一步提高速度。
或者你可以使用内存映射文件的方法并且使用迭代器遍历字符序列。
How to parse space-separated floats in C++ quickly? 展示了如果正确处理float的标准。
Update：
我修改了上面的程序来解析 uint32_t到一个 vector中。
当使用4.5Gb的示例输入文件时，程序使用了9s的时间。
sehe@desktop:/tmp$ make -B && sudo chrt -f 99 /usr/bin/time -f "%E elapsed, %c context switches" ./test smaller.txt
g++ -std=c++0x -Wall -pedantic -g -O2 -march=native test.cpp -o test -lboost_system -lboost_iostreams -ltcmalloc
parse success
trailing unparsed: '
'
data.size(): 402653184
0:08.96 elapsed, 6 context switches
当然它至少分配了 402653184 * 4 * byte = 1.5 gibibytes的数据。所以当你读取 45Gb的文件时，你可能需要 15Gb的 RAM来存储 vector（假设没有分片在从新分配时）。45Gb完全解析需要 10分钟45秒：
make && sudo chrt -f 99 /usr/bin/time -f "%E elapsed, %c context switches" ./test 45gib_uint32s.txt
make: Nothing to be done for `all'.
tcmalloc: large alloc 17570324480 bytes == 0x2cb6000 @ 0x7ffe6b81dd9c 0x7ffe6b83dae9 0x401320 0x7ffe6af4cec5 0x40176f (nil)
Parse success
Trailing unparsed: 1 characters
Data.size(): 4026531840
Time taken by parsing: 644.64s
10:45.96 elapsed, 42 context switches
相比之下，只是运行 wc -l 45gib_uint32s.txt花费了12分钟（尽管没有实时优先级调度）。wc是非常快的。
完整的代码使用标准：
#include
#include
#include
namespace qi = boost::spirit::qi;
typedef std::vector data_t;
using hrclock = std::chrono::high_resolution_clock;
int main(int argc, char** argv) {
if (argc<2) return 255;
data_t data;
data.reserve(4392580288); // for the 45 GiB file benchmark
// data.reserve(402653284); // for the 4.5 GiB file benchmark
boost::iostreams::mapped_file mmap(argv[1], boost::iostreams::mapped_file::readonly);
auto f = mmap.const_data();
auto l = f + mmap.size();
using namespace qi;
auto start_parse = hrclock::now();
bool ok = phrase_parse(f,l,int_parser() % eol, blank, data);
auto stop_time = hrclock::now();
if (ok)
std::cout << "Parse success\n";
else
std::cerr << "Parse failed at #" << std::distance(mmap.const_data(), f) << " around '" << std::string(f,f+50) << "'\n";
if (f!=l)
std::cerr << "Trailing unparsed: " << std::distance(f,l) << " characters\n";
std::cout << "Data.size(): " << data.size() << "\n";
std::cout << "Time taken by parsing: " << std::chrono::duration_cast(stop_time-start_parse).count() / 1000.0 << "s\n";
}
1.生成使用 od -t u4 /dev/urandom -A none -v -w4 | pv | dd bs=1M count=$((9*1024/2)) iflag=fullblock > smaller.txt。
2.很显然的，它在Linux中文件缓存中进行了缓存，但是大文件没有这个好处。
Answers2：
我只能猜测瓶颈在这：
string str(memblock);
因为你分配了45Mb大小的段在内存中。
你需要一行一行的读取文件，就像这里描述的：
为了对你的程序进行分析，你可以打印 clock()在每一行之间，像下面描述的这样：
Answers3：
你可以将文件映射到内存中去，但是这将取决于平台（在unix上可能是mmap，在windows上是CreateFileMapping / MapViewIntoFile）；即使在32位系统中，如果没有足够大的虚拟内存块可能会出现问题（64位系统不会有这个问题）。
内存映射应该比从磁盘上读取数据块有更快的速度。
Answers4：
在Linux上，使用C语言的 <stdio.h>代替 C++的流式处理可能会有更好的性能（因为C++流式处理是基于 FILE-S）。你可以使用 readline(3) 或者fgets(3) 或者 fscanf(3)。你也可以设置更大的缓存（比如64kb或者256kb）使用setbuffer(3) 等等。但是我猜你的程序应该是 I/O限制而不是CPU限制。你可以玩一下posix_fadvise(2)。
你可以考虑使用内存映射 mmap(2) & madvise(2) （也看看 fopen(3)的m模式），也看看readahead(2)。
最后，如果你得算法允许的话，你可以使用 csplit分隔文件为更小的片，然后并行对每个分片进行处理。
网友评论