建模举例

1、高斯混合模型
用于处理任意的连续节点。
2、PCA ICA模型
英语学习：
scalar：纯量
be clamped：被夹住
spherical：球形
eigenvalues：特征值
identity matrix：单位矩阵
piecewise：分段
scalars：标量

集中表示方法一览.png

最讨好的模型时输入少，输出非常的多。
利用少量的特征就可以预测到很多结果。
创建一个连续模型的程序：

ns=[k D];
dag=zeros(2,2);
dag(1,2)=1;
bnet=mk_bnet(dag,ns,'discrete',[]);
bnet.CPD{1}=gaussian_CPD(bnet,1,'mean',zeros(k,1),'cov',eye(k)...'cov_type','diag','clamp_mean',1,'clamp_cov',1);
bnet.CPD{2}=gaussian_CPD(bnet,2,'mean',zeros(D,1),'cov',diag(Psi0),'weights',W0,...'cov_type','diag','clamp_mean',1);
         
mu_ML=mean(data);
Psi_ML=diag(cov(data));

给连续的模型加一个隐式的离散随机变量的程序：

ns=[M k D];
dag=zeros(3);
dag(1,3)=1;
dag(2,3)=1;
bnet=mk_bnet(dag,ns,'discrete',1);
bnet_CPD{1}=tabular_CPD(bnet,1,Pi0);
bnet.CPD{2}=gaussian_CPD(bnet,2,'mean',zeros(k,1),'cov',eye(k),'cov_type','diag',...'clamp_mean',1,'clamp_cov',1);
bnet.CPD{3}=gaussian_CPD(bnet,3,'mean',Mu0,'cov',repmat(diag(Psi0),[1 1 M]),...'weights',W0,'cov_type','diag','tied_cov',1);

3、专家混合模型
英语学习：
convergence tolerance：收敛容忍度
fractional：部分的
likelihood：可能性
iteration：迭代
专家混合模型的程序：

X=1;
Q=2;
Y=3;
dag=zeros(3,3);
dag(X,[Q Y])=1;
dag(Q,Y)=1;
ns=[1 2 1];
onodes=[1 3];
bnet=mk_bnet(dag,ns,'discrete',2,'observed',onodes);

rand('state',0);
randn('state',0);
bnet.CPD{1}=root_CPD(bnet,1);
bnet.CPD{2}=softmax_CPD(bnet,2);
bnet.CPD{3}=gaussian_CPD(bnet,3);

data=load('/examples/static/Misc/mixexp_data.txt','-ascii');
plot(data(:,1),data(:,2),'.');

ncases=size(data,1);    %return the first line size
cases=cell(3,ncases);
cases([1 3],:)=num2cell(data');
engine=jtree_inf_engine(bnet);
max_iter=20;
[bnet2,LLtrace]=learn_params_em(engine,cases,max_iter);

SoftmaxModel.png

如果Y是离散的就是Softmax模型
如果Y是连续的就是Linear_Gaussian模型
假定X Y 是多值，Q是2值。
4、分级混合专家系统
英语学习：
hierarchical：分级
extensive：扩展
routine：常规
bundled：捆绑
ternary：三元
混合是指连续节点和离散节点混合。
分级是指隐藏节点超过一层。

5、QER（快速专家推理模型）
英语学习：
inhabition：抑制
arc：弧
bipartite：二部

6、条件高斯模型
英语学习：
multivariate：多元
propagation：传播
incinerator：焚化炉
scalar：标量
方形代表离散节点，圆形代表高斯节点，灰色代表观测节点，白色代表隐藏节点。