在rasa对话系统踩坑记（二）中我自定义过两个component组件。也好久没更新采坑系列了，随着项目的进展迭代最近又新增了两个component组件，所以更新下系列文章。
rasa_nlu_gao自定义component
entity_edit_intent
entity_edit_intent这个组件比较简单，写它的目的是因为碰到了这样一个问题。就是在nlu过程中，slot filling倒是很准确，但是intent一直识别不出来都是None.所以起初第一个想到的方案就是根据entity来修改intent。代码大概的思路就是在最后，在entity识别的情况下，如果intent没有识别出来就强制修改意图。
defaults = {
"entity": ["nr"],
"intent": ["enter_data"],
"min_confidence": 0
}
def __init__(self, component_config=None):
super(EntityEditIntent, self).__init__(component_config)
def process(self, message, **kwargs):
# type: (Message, **Any) -> None
last_entities = message.get("entities", [])
last_intent = message.get("intent", {})
if last_intent["confidence"] <= self.component_config["min_confidence"]:
for item in last_entities:
if item["entity"] in self.component_config["entity"]:
entity_index = self.component_config["entity"].index(item["entity"])
intent_name = self.component_config["intent"][entity_index]
intent = {"name": intent_name, "confidence": 1.0}
message.set("intent", intent, add_to_output=True)
上面就是代码实现，很简单，主要配置文件就是entity、intent和min_confidence，如果confidence <= min_confidence就会根据entity来修改intent，一一对应的关系，具体的yml配置示例如下：
- name: "entity_edit_intent"
entity: ["nr", "phone_number"]
intent: ["enter_data", "enter_data"]
min_confidence: 0
intent_featurizer_wordvector
正如上面说的，entity_edit_intent这个组件是强制修改intent，所以慎用。后面我就在思考如何更好的改善intent的识别问题。翻看rasa-nlu的源码，从中找到了intent为什么不是很理想的原因。在官方的component和例子中，在做intent_classifier_tensorflow_embedding识别前的word featurizer的时候，官方用的是word-of-bag做的词嵌入，只是单纯的考虑了词频，没有考虑到词义而且还有one-hot的通病稀疏矩阵的问题。所以很快想到了词向量来替换词袋法做词嵌入。
所以在intent_featurizer_wordvector这个组件中，我尝试并实现了2种词向量的方法（准确的说是两类），既可以做word2vec、glove、fasttext这一类pre-trained的词向量，也可以实现现阶段比较火的elmo词向量，具体的区别这里不详细讲了，就是elmo会根据双向神经网络模型动态计算词向量，而原始的是已经训练好的词向量直接lookup。然后这里我单纯展示具体的配置和用法。word2vec的yml配置如下：
- name: "intent_featurizer_wordvector"
vector: "data/2000000-small.txt"
limit: 50000
需要有已经训练好的word2vec或者glove格式的提前训练好的词向量文本，这里的limit是限制词向量的大小的，词向量是从高频到低频排序，如果词向量太大比如腾讯开源的有14G，我们就很难使用，所以这里会限制只取前面一定数量的高频词汇。elmo的yml配置如下：
- name: "intent_featurizer_wordvector"
elmo: "data/xinhua_elmo_trained_model/"
elmo的配置需要pre_trained的网络模型，这里用的是哈工大预训练的ELMoForManyLangs模型，elmo的训练也是十分消耗硬件的，我还没有自己训练。
总结
随着项目的不断改善，需要不断地自定义一些项目需要的rasa-nlu component组件。其实rasa-nlu更多地我看成是一个框架，至于里面的模型我们可以自己填充。所以欢迎大家使用rasa-nlu-gao，直接pip install rasa-nlu-gao现在已经更新到0.1.5版本，也希望大家能够往里贡献自定义组件。原创文章，转载请说明出处
