Nodejs下实现邮件的同步读取 1

项目需求

之前两篇文章风别对codeceptjs框架进行了基本的介绍【1】，并用codecept搭建了第一个测试框架【2】。Codeceptjs有许多优点，其中一条就是将许多异步调用包装成了同步调用。文档【3】中有一段描述:“ Tests are written in a synchronous way. This improves the readability and maintainability of tests. While writing tests you should not think about promises. You should focus on the test scenario.”意思是说，测试case是以同步的方式写成的。这一方式提高了测试case的可读性和可维护性。所以，在开发测试case的时候，你可以专注于测试scenario，而不用考虑promise。我想，作者写这段话的意思是突出I对象的特性，而不是说在codeceptjs中完全不需要为异步操作采取额外的步骤。例如，在我们当前的项目中，就需要到制定邮箱内读取邮件的内容，标准的codeceptjs的I对象并没有提供现成的方法，也就是说我们需要自己扩展codeceptjs实现这一功能。很高兴的是网上已经有很多牛人提供了现成的解决方案，尽管都不能完全满足我们的需求。站在巨人的肩膀上，我们提出了一个难称完美却差强人意的方案，谨在此分享，请大家斧正。

工具库选择imap

对于从邮箱中读取邮件，node-imap是较为常用的IMAP客户端模块【4】。和大多数nodejs核心API一样， node-imap构建于异步事件驱动模式。在这种模式下，一种被称为emitter的对象会发出event，event会引起一些被称作listener的function调用【5】。

stream.on('data', function(chunk) {
    buffer += chunk.toString('utf8');
});

类似的代码可能会引起java程序员（比方说我）的不适，因为这里的一切都是异步调用。而java提供的同步顺序调用【6】可能会更加适合java程序员的胃口。

    String emailHost = "email.box";
    String userEmail = "username";
    String password = "password";
    props.setProperty("mail.store.protocol", "imaps");
    props.setProperty("mail.imap.starttls.enable", "true");
    props.setProperty("mail.imap.ssl.enable", "true");

    // Get a Session object
    Session session = Session.getInstance(props, null);
    session.setDebug(true);
    Store store = session.getStore("imaps");
    store.connect(emailHost, userEmail, password);
    
    // Open the Folder
    String mailBox = "inbox";
    Folder folder = store.getDefaultFolder();
    ...
    // term for search
    String subject = "XXXX";

    SearchTerm term = new SubjectTerm(subject);

    // get msgs
    Message[] msgs = folder.search(term);
            ...

如果是javascript，要想实现同步的效果，必须将一切操作放入promise中。首先创建imap连接：

const imap = new Imap({
    user: '$user',
    password: '$password',
    port: 993,
    host: '$host',
    tls: true
});

其次，将打开imap连接的操作用promise包起来。打开连接后的操作将作为‘ready’事件的callback函数被调用：

function connectAsync() {
    return new Promise(function (resolve, nay) {
        imap.on('ready', resolve);
        imap.connect();
    });
}

再其次，将打开mailbox的操作用promise包起来。打开mailbox后的操作将作为打开事件的callback函数被调用：

function openBoxAsync(name, readOnly) {
    return new Promise(function (resolve, nay) {
        imap.openBox(name, readOnly, function (err, mailbox) {
            if (err) nay(err); else resolve(mailbox);
        });
    });
}

打开mailbox之后，调用imap提供的api，按照查询条件获得目标message集合。同样将这一步操作放入promise：

function searchForMessages(startData) {
    return new Promise(function (resolve, nay) {
        imap.seq.search([['SINCE', startData], ['SUBJECT', '$My_subject']], function (err, result) {
            if (err) nay(err); else resolve(result);
        });
    });
}

对于按照查询条件获得的目标message集合中的每一封邮件，只选取我们需要的信息：

function getMailAsync(request, process) {
    return collect_events(request, 'message', 'error', 'end', process || collectEmailAsync, true);
}

这里collect_events是一个公用函数，用于等待一系列由相同类型event触发的并行处理的callback函数全部执行完毕，并将结果以集合的形式返回：

function collect_events(thing, good, bad, end, munch, isFetch = false) { // Collect a sequence of events, munching them as you go if you wish.
    return new Promise(function (yay, nay) {
        const ans = [];
        thing.on(good, function () {
            const args = [].slice.call(arguments);
            ans.push(munch ? munch.apply(null, args) : args);
        });
        if (bad) thing.on(bad, nay);
        thing.on(end, function () {
            Promise.all(ans).then(yay);
            if (isFetch) {
                imap.end();
            }
        });
    });
}

对于每封邮件，仅处理其body事件：

function collectEmailAsync(msg, seq) {
    return new Promise(
        function (resolve, nav) {
            const rel = collect_events(msg, 'body', 'error', 'end', collectBody)
                .then(function (x) {
                    return (x && x.length) ? x : null;
                })
            resolve(rel);
        });

}

每封邮件body事件会返回一个stream，处理其‘data’事件，并将data事件中获得的数据拼接起来，组成字符串：

function collectBody(stream, info) {
    return new Promise(
        function (resolve, nay) {
            const body = collect_events(stream, 'data', 'error', 'end')
                .then(function (bits) {
                    return bits.map(function (c) {
                        return c.toString('utf8');
                    }).join('');
                })
            ;
            resolve(body);
        }
    );
}

最终将各个方法以promise chain的形式串起来，就能以同步的方式得到想要的结果，详细代码请参照github【8】：

async function f(startData = '$start_date') {
    let emailBody = await connectAsync().then(function () {
        console.log('connected');
    }).then(
        function () {
            return openBoxAsync('INBOX', true);
        }
    ).then(function () {
        return searchForMessages(startData);
    }).then(
        function (result) {
            return getMailAsync(
                imap.seq.fetch(result, {bodies: ['HEADER.FIELDS (FROM)', 'TEXT']})
                ,
                function (message) {
                    // For each e-mail:
                    return collectEmailAsync(message);
                }
            );
        }
    ).then(function (messages) {
        console.log(JSON.stringify(messages, null, 2));
        return messages[messages.length-1][1];
    })
        .catch(function (error) {
            console.error("Oops:", error.message);
            imap.end();
        })
    console.log(emailBody);
}

问题1

上面的imap能很好的同邮箱建立连接，并通过回调函数读取符合查询条件的邮件。但是有一个致命的问题，它是异步的，也就是说，不能直接用于codeceptjs的scenario中。做了一些调查，有一个叫做imap-promise的模块【8】，实现了打开邮箱和读取邮件的同步调用。但是仍然存在两个问题。第一，该模块是一个大而全的通用方案，能读取邮件的所有内容，包括header，body，以及各个属性和附件（很牛！），因此使用起来比较复杂。而第二个问题就比较致命了，它通过关闭进程的方式保障邮箱连接的关闭，难以置信！因此，需要进一步的完善。首先，简化对邮件内容的读取，其次，提供同步的方法关闭连接。

问题2

修改后的代码仍然不能满足需求，至少在两个方面需要改进。首先是实现同步关闭连接的方法必须和读取邮件的“配对使用”。 其次，当多次调用读取邮件的方法时候，会引起emitter MaxListeners error。将在下一篇文章中继续讨论。

【1】浅析 codeceptjs
【2】第一个codeceptjs测试框架
【3】How it works
【4】imap
【5】events_emitter_once_eventname_listener
【6】java mail
【7】test_imap_sample.js
【8】imap-promise