PullWord和C++ REST SDK分词示例

目标

对锤子有所了解的应该知道3.0系统出了个叫“大爆炸”的功能，会将一段文本炸开成一个个词，用来快速地“提取”信息，这个功能有个关键技术就是分词。

以下将介绍如何使用PullWord和C++ REST SDK来完成分词功能。

PullWord

一个基于深度学习的中文在线抽词服务，可以将文本抽取出相应的词汇。

我们可以使用HTTP的GET或者POST方法向PullWord发出请求，如果一切正常，PullWord会返回对应的结果；

• 查询请求(request)的构造方法为:

source=要抽词的文本&param1=阈值&param2=调试

• 如果使用GET方法，HTTP请求的URL为：

http://api.pullword.com/get.php?request

• 如果使用POST方法，则HTTP请求的URL为：

http://api.pullword.com/post.php

并且在HTTP请求体中存放request字符串。

• 在调试关闭(为0)的情况下，返回的结果是以\r\n分隔开的一个个词汇：

word1\r\n
word2\r\n
...
wordn\r\n

• 在调试开启(为1)的情况下，返回的结果包含了其概率:

word1:probability(word1)\r\n
word2:probability(word2)\r\n
...
word:probability(wordn)n\r\n

• 阈值是用来过滤词汇结果的，取值范围为[0,1]，小于该阈值的在返回结果中不会出现；
• 输入输出编码必须为UTF8；
• 如果使用IP形式访问,则对应的http://www.pullword.com/要替换成http://43.241.223.121/或者http://120.26.6.172/

C++ REST SDK

微软开源的云通信库，该项目旨在帮助C++开发者与在线服务进行交互；其使用了异步的C++ API设计，将微软的PPL库中task部分抽取出来支持异步。

安装方式有两种：

• NuGet
• Vcpkg

支持以下特性：

• 基于Task编程
• JSON
• 异步流
• URI操作
• HTTP客户端
• HTTP监听器
• WebSocket客户端
• OAuth验证

如何实现

1. 构造URL
2. [可选]构造HTTP请求体
3. 发起HTTP请求
4. 解析HTTP响应

对应源代码如下：

#include <cpprest\http_client.h>
#include <cpprest\filestream.h>
 
utility::string_t RequestPullword(utility::string_t source, double threshold, bool debug)
{
    using namespace utility;
    using namespace web;
    using namespace web::http;
    using namespace web::http::client;
 
    static const wchar_t* base_url = L"http://api.pullword.com/";
    static bool  get_or_post = true;
 
    utility::string_t result;
    try
    {
        [=]()->pplx::task<http_response> {
            uri_builder builder(U("/get.php"));
            //1.构造请求
            builder.append_query(U("source"), source);
            builder.append_query(U("param1"), threshold);
            builder.append_query(U("param2"), debug ? 1 : 0);
            //3.发起HTTP请求
            http_client client(base_url);
            if (get_or_post)
                return client.request(methods::GET, builder.to_string());
            return client.request(methods::POST, U("/post.php"), builder.query());
        }().then([=](http_response response) {
            //4.解析HTTP响应
            if (response.status_code() == 200)
                return response.extract_string();
            return pplx::task_from_result(utility::string_t());
        }).then([&](utility::string_t body){
            result = body;
        }).wait();
    }
    catch (const std::exception &e)
    {
        (e);//handle exception
    }
    return result;
}

测试如下：

int main(int argc, char** argv)
{
    auto result = RequestPullword(L"李彦宏是马云最大威胁嘛？",0,true);
 
    return 0;
}

结果如下：

分词测试结果