语言是一种符号，符号承载着信息。谈到信息学，虽然没来得及将香农的理论都过一遍，但是我知道熵是其中很重要的概念，描述一个随机变量不确定性大小，熵越大则不确定性越大，这种不确定信是需要消除的。可能类似于数据的去噪。后现代时期，信息呈现大面极的碎片化，有太多重复和无意义的数据样本。熵有联合熵、条件熵和互信息。
联合熵是描述两个随机变量所需要的信息量，大于等于其任一。互信息描述两个随机变量的相关性，已知其中一个后一个的不确定性就会减少。条件熵是已知其中一个变量后另一个变量的不确定性。相对熵，涉及随机分布（）有些不理解。交叉熵是很重要的概念，和损失函数有关，用来评估model和real distribution之间的差异，交叉熵越小model越有效。
(关于乔姆基斯的语法理论，已买书，之后记录读后感。)
语言是否可以用状态机来模型化，可以的，不过基于统计的模型是很肤浅的，因为仅仅将语言视为一种符号，语言可以视化一种符号，但这只是一个视角。如果从人工智能的角度来说，状态就应该是一个人的状态，比如状态中就有这个人的潜意识、知觉、感觉、知识量、表达欲以及真实表达等属性吧。仅仅依靠语法和语义来定义语言我认为是及其肤浅的。所以关于语言的本质，还要再了解（《A Introduction To Language》一定要看起来）。
语料库的建立，我还是认为，和对数学的理解有关，数字，以及关系。数学某种意义上可以理解为对……万事万物（?）关系的一种抽象吧。
Chatbot 4:Viv还蛮有趣的。http://breezedeus.github.io/2016/09/01/breezedeus-viv-ai-chatbots-generator.html
可作了解。
关于已有算法的重点学习，还是在于已有的语言模型。
这个需要逐一了解概念、推演、以及实现代码。对语言模型的理解，就是对于现有的语料库训练，以做出一些类AI的程序吧。还是实践出真知……就是从现有的数据中去提炼，看最终能搞出一个什么来。这也是现在AI领域云遮雾绕的原因之一。AI领域会在这个过程不断和其余的领域结合在一起的。不过这离自然语言就扯远了。
……
每个模型我还是动手理理关系图，先理出结构来，然后演算，代码实现。注意自己的目标，是自然语言处理，计算语言学，语言学，围绕的关键词始终要是对语言的思考。
网友评论