模式识别fisher线性判别作业

实验内容使用FISHER线性判别来对树叶进行分类指导老师_王旭初_____一．实验目的利用FISHER线性判别函数来对桃树叶子和芒果树叶子进行分类，将这两者若干片树叶进行一定特点分类，做出函数图，使得我们容易分析这两者之间的异同。二．数据获取方式实验过程中将会使用到FISHER线性判别函数法，MATLAB实验仿真程序。通过实验MATLAB程序来设计一个FISHER线性判别分类器，将实验前收集到的两种树叶的若干片叶子的数据输入分类器，运行后得出一个分类仿真图形，从而可以得出其叶子间的异同点。三．实验原理Fisher线性判别分析的基本思想：通过寻找一个投影方向（线性变换，线性组合），将高维问题降低到一维问题来解决，并且要求变换后的一维数据具有如下性质：同类样本尽可能聚集在一起，不同类的样本尽可能地远。Fisher线性判别分析，就是通过给定的训练数据，确定投影方向W和阈值y0，即确定线性判别函数，然后根据这个线性判别函数，对测试数据进行测试，得到测试数据的类别。线性判别函数的一般形式可表示成0)(wXWXgT其中dxxX1d21根据Fisher选择投影方向W的原则，即使原样本向量在该方向上的投影能兼顾类间分布尽可能分开，类内样本投影尽可能密集的要求，用以评价投影方向W的函数为：2221221~~)~~()(SSmmWJF)(211*mmSWW上面的公式是使用Fisher准则求最佳法线向量的解，该式比较重要。另外，该式这种形式的运算，我们称为线性变换，其中21mm式一个向量，1WS是WS的逆矩阵，如21mm是d维，WS和1WS都是d×d维，得到的*W也是一个d维的向量。向量*W就是使Fisher准则函数)(WJF达极大值的解，也就是按Fisher准则将d维X空间投影到一维Y空间的最佳投影方向，该向量*W的各分量值是对原d维特征向量求加权和的权值。以上讨论了线性判别函数加权向量W的确定方法，并讨论了使Fisher准则函数极大的d维向量*W的计算方法，但是判别函数中的另一项0W尚未确定，一般可采用以下几种方法确定0W如2~~210mmW或者mNNmNmNW~~~2122110或当1)(p与2)(p已知时可用2)(/)(ln2~~2121210NNppmmW……当W0确定之后，则可按以下规则分类，2010XwXWXwXWTT使用Fisher准则方法确定最佳线性分界面的方法是一个著名的方法，尽管提出该方法的时间比较早，仍见有人使用。（1）W的确定各类样本均值向量mi样本类内离散度矩阵iS和总类内离散度矩阵wSx1mx,1,2iiXiiNTxS(xm)(xm),1,2iiiiXi12wSSS样本类间离散度矩阵bS在投影后的一维空间中，各类样本均值Tiim'=Wm。样本类内离散度和总类内离散度TTiiwwS'=WSWS'=WSW。样本类间离散度TbbS'=WSW。Fisher准则函数满足两个性质：·投影后，各类样本内部尽可能密集，即总类内离散度越小越好。·投影后，各类样本尽可能离得远，即样本类间离散度越大越好。根据这个性质确定准则函数，根据使准则函数取得最大值，可求出W：-1w12W=S(m-m)。（2）阈值的确定实验中采取的方法：012y=(m'+m')/2。（3）Fisher线性判别的决策规则对于某一个未知类别的样本向量x，如果y=WT·xy0，则x∈w1；否则x∈w2。四．实验步骤（1）采集桃树叶子150片，采集芒果树叶子150片。测量这些叶子的长度，宽度，T1212S(mm)(mm)b以及周长。（2）将上述叶子的数据记录下来。（3）使用matlab仿真实验工具设计一个fisher线性判别分类器。（4）将记录下来的树叶的数据输入分类器，创建一个二维的分类参数，使用分类器对其进行特征分类。（5）利用matlab仿真程序将分类的结果画出仿真图形，并做记录分析。五.实验代码六．实验结果七.心得体会这次实验加深了我对课上学习到的模式识别原理与应用的知识的理解，提高了动手实践能力。的确上课时听过的内容当时明白了但是却是一闪即过的，只有通过亲自动手实践才能够对于知识有真正深刻而完整的理解.由于专业课程设计的问题，从前一点都没有接触过MATLAB这个工具，但在这次实验中，我通过自己学习、查找资料、与同学讨论交流的一系列过程最终也使用MATLAB完成了实验。在这个过程中，我不仅发现MATLAB是一个很便捷并且功能强大的工具，同时也锻炼了自己学习与实践、发现问题、分析问题、解决问题的能力。另外，我认为相比其他的同学我收获的更多--面对任何新鲜事物不应当有畏难情绪，虽然开始时候学习很困难，实验过程中也出现了不少比较“低级”的错误，但只要踏下心来一步步的学习并且不断实验，无知不可怕，出现错误也不可怕，只要努力的通过各种途径尝试最终是完全可以完成任务的。总而言之，这次实验让我们收获了知识、提高了实践能力也让我们对于科学研究产生了更深的兴趣，希望通过进一步学习逐步提高自己。