在rasa对话系统踩坑记（二）中我自定义过两个component组件。也好久没更新采坑系列了，随着项目的进展迭代最近又新增了两个component组件，所以更新下系列文章。

rasa_nlu_gao自定义component

entity_edit_intent

entity_edit_intent这个组件比较简单，写它的目的是因为碰到了这样一个问题。就是在nlu过程中，slot filling倒是很准确，但是intent一直识别不出来都是None.所以起初第一个想到的方案就是根据entity来修改intent。代码大概的思路就是在最后，在entity识别的情况下，如果intent没有识别出来就强制修改意图。

    defaults = {
        "entity": ["nr"],
        "intent": ["enter_data"],
        "min_confidence": 0
    }

    def __init__(self, component_config=None):
        super(EntityEditIntent, self).__init__(component_config)

    def process(self, message, **kwargs):
        # type: (Message, **Any) -> None

        last_entities = message.get("entities", [])
        last_intent = message.get("intent", {})
    
        if last_intent["confidence"] <= self.component_config["min_confidence"]:
            for item in last_entities:
                if item["entity"] in self.component_config["entity"]:
                    entity_index = self.component_config["entity"].index(item["entity"])
                    intent_name = self.component_config["intent"][entity_index]

                    intent = {"name": intent_name, "confidence": 1.0}

                    message.set("intent", intent, add_to_output=True)

上面就是代码实现，很简单，主要配置文件就是entity、intent和min_confidence，如果confidence <= min_confidence就会根据entity来修改intent，一一对应的关系，具体的yml配置示例如下：

- name: "entity_edit_intent"
  entity: ["nr", "phone_number"]
  intent: ["enter_data", "enter_data"]
  min_confidence: 0

intent_featurizer_wordvector

正如上面说的，entity_edit_intent这个组件是强制修改intent，所以慎用。后面我就在思考如何更好的改善intent的识别问题。翻看rasa-nlu的源码，从中找到了intent为什么不是很理想的原因。在官方的component和例子中，在做intent_classifier_tensorflow_embedding识别前的word featurizer的时候，官方用的是word-of-bag做的词嵌入，只是单纯的考虑了词频，没有考虑到词义而且还有one-hot的通病稀疏矩阵的问题。所以很快想到了词向量来替换词袋法做词嵌入。
所以在intent_featurizer_wordvector这个组件中，我尝试并实现了2种词向量的方法（准确的说是两类），既可以做word2vec、glove、fasttext这一类pre-trained的词向量，也可以实现现阶段比较火的elmo词向量，具体的区别这里不详细讲了，就是elmo会根据双向神经网络模型动态计算词向量，而原始的是已经训练好的词向量直接lookup。然后这里我单纯展示具体的配置和用法。word2vec的yml配置如下：

- name: "intent_featurizer_wordvector"
  vector: "data/2000000-small.txt"
  limit: 50000

需要有已经训练好的word2vec或者glove格式的提前训练好的词向量文本，这里的limit是限制词向量的大小的，词向量是从高频到低频排序，如果词向量太大比如腾讯开源的有14G，我们就很难使用，所以这里会限制只取前面一定数量的高频词汇。elmo的yml配置如下：

- name: "intent_featurizer_wordvector"
  elmo: "data/xinhua_elmo_trained_model/"

elmo的配置需要pre_trained的网络模型，这里用的是哈工大预训练的ELMoForManyLangs模型，elmo的训练也是十分消耗硬件的，我还没有自己训练。

总结

随着项目的不断改善，需要不断地自定义一些项目需要的rasa-nlu component组件。其实rasa-nlu更多地我看成是一个框架，至于里面的模型我们可以自己填充。所以欢迎大家使用rasa-nlu-gao，直接pip install rasa-nlu-gao现在已经更新到0.1.5版本，也希望大家能够往里贡献自定义组件。原创文章，转载请说明出处