第３５卷第１期 ２０１７年３月 Ｖｏ１．３５ ＮＯ．１ 太原学院学报 Ｍａｒ．２Ｏ１７ 一种基于决策树的ＳＶＭ算法 程凤伟 （太原学院，山西太原０３００３２） 摘 要：随着现实生活中数据集规模的不断增大，提出一个有效的分类算法势在必行。现今 很多已有的算法是针对减少支持向量的数目来提高分类的效率，文章提出了一个基于决策树的支 持向量机算法，旨在通过减少测试集的数目来提高支持向量机在测试阶段的分类速度。基于决策 树的支持向量机算法的思想是利用决策树算出支持向量机的大致决策边界，决策树上含有单变量 节点和ＳＶＭ节点，支持向量机用来对靠近决策边界的重要的数据点进行分类，剩下的相对不重要 的数据，点用决策树对其进行快速分类。 关键词：支持向量机；决策树；决策世界 中图分类号：ＴＰ３ 文献标识码：Ａ 文章编号：２０９６－１９１Ｘ（２０１７）０１—００３３—０４ Ｄ０Ｉ：１０．１４１５２／ｉ．ｃｎｋｉ．２０９６—１９１Ｘ ２０１７．０１．０１０ 引言 支持向量机（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ，ＳＶＭ） 是监督学习的一个有力工具，广泛应用于分类和回 归问题。支持向量机分类器的中心思想是找到最优 Ｌｉ ｅｔ ａｌＬ６ 提出了一种基于向量相关性的自适应算 法。可以看出，几乎所有的方法旨在减少支持向量 的数量来减少测试时间。本文提出一种新的算法， 用决策树口 支持向量机的模糊决策边界来提高 ＳＶＭ在测试阶段的速度，基于决策树的支持向量机 算法（ＤＴ—ＳＶＭ）。ＤＴ的几个节点是二进制 ＳＶＭ。在ＳＶＭＤＴ一个二进制ＳＶＭ训练一次，定 位的（多个）ＤＴ的树叶。ＤＴ～ＳＶＭ算法不同于上 分类超平面之间的正类样本和负面样本。最优超平 面是能够给予两类训练样本之间最大间隔的超平 面。支持向量机已成功应用于各种现实问题，如手 写数字识别、人脸图像识别、文本分类和生物信息 学口］。支持向量机与其他分类方法相比拥有更好的 泛化能力，但也造成一定的损失，支持向量机在测试 阶段的速度减慢。这是因为ＳＶＭ计算复杂度决定 于支持向量的个数，因此如果支持向量的数目非常 大，支持向量机就需要更多时间对数据进行分类。 加快ＳＶＭ在测试阶段的速率是近十年研究的 一面几种算法，它不试图减少支持向量的数量，而是减 少需要用ＳＶＭ分类的样本数目，它是用ＳＶＭ和决 策树（ＤＴ）共同来实现快速分类。只有靠近ＳＶＭ 的决定边界的样本需要使用ＳＶＭ分类，剩下的样 本使用快速的决策树进行分类。 １ 对ＤＴ和ＳＶＭ算法的研究 为了了解ＤＴ—ｓＶＭ算法的分类过程，本文在６ 个ＵＣＩ ａｄｕｌｔ数据集上（见表１）进行了实验，本文使 用Ｊｏａｃｈｉｍ的ＳＶＭ算法训练ＳＶＭ二元分类器。其 中惩罚参数Ｃ取５．４，高斯核参数ｄ取１．０。图１给 个热门领域，现已有许多可用的方法。Ｂｕｒｇｅｓ 一Ｊ ］ 提出了简ＳＶＭ算法；Ｏｓｕｎａ和ＧｉｒｏｓｉＬ３ 提出了两种 减少支持向量的方法：一种方法利用回归来近似支 持向量机决定函数；另一个是解决了ＳＶＭ优化中 的一个原始重组问题。Ｄｏｗｎｓ ｅｔ ａｌＬ４ 提出了一个方 法是使用线性相关丢弃一些不必要的支持向量。李 和张＿５ 提出了一种利用迭代学习支持向量机算法。 出了ＳＶＭ和ＤＴ在六个数据集上的测试精度，图１ 还给出了ＳＶＭ和ＤＴ在六个数据集上的测试速率， 图２和图３分别给出了ＳＶＭ和ＤＴ的测试时间。 收稿日期：２０１６一ｌ１～Ｏ９ 基金项目：山西高等学校科技创新项目（２０１５１１０） 作者简介：程凤伟（１９８８一），女，河南周口人，太原学院，硕士，研究方向：人工智能和机器学习。 程风伟：一种基于决策树的ｓＶＭ算法 第１期 表ｌ实验采用的数据集 Ｔａｂｌｅ ｌ Ｄａｔａｓｅｔｓ ｕｓｅｄ ｉｎ ｔｈｅ ｅｘｐｅｒｉｍｅｎｔ Ｏ Ｏ ０ Ｏ 加 ¨ ∞ ｇ！ Ｏ 此，支持向量数目也在增加，而支持向量的增加的数 维数 １２３ １２３ １２３ ｌ２３ Ｏ 数据集 ａｄｕｌｔ１ ａｄｕｌｔ２ ａｄｕｌｔ３ ａｄｕｌｔ４ 训练规模 １６Ｏ５ ２２６５ ３１８５ ４７８１ 测试规模 ３Ｏ９６５ ３Ｏ２９６ ２９３７６ ２７７８０ 目要大于测试集减少的数目。相反，随着测试集 ａｄｕｌｔ１到ａｄｕｌｔ６规模的减小，ＤＴ的测试时间也在减 小，这是因为从数据集ａｄｕｌｔ１到ａｄｕｌｔ６，训练集规模 在变大，同样的，决策树（ＤＴ）的规模（决策节点、Ｉ１－ｆ‘ 子）也在不断变大，而决策树变大的规模要小于测试 ａｄｕｌｔ５ ６４１４ ２６１４７ １２３ ａｄｕｌｔ６ ｌ１２２０ ２１３４１ １２３ 圆 图１ ＳＶＭ和ＤＴ测试正确率的比较 图２ ＤＴ的测试时间 图３ ＳＶＭ的测试时间 从图１可以看出，在六个数据集上，ＳＶＭ的测 试正确率都要高于ＤＴ，从图２、图３可以看出ＤＴ 在测试阶段的速率要远远快于ＳＶＭ。从图３还可 以看出，从数据集ａｄｕｌｔｌ到ａｄｕｌｔ６，测试集的规模逐 渐减小，而ｓＶＭ的测试时间却在逐渐增加，这是因 为从数据集ａｄｕｌｔ１到ａｄｕｌｔ６，训练集规模在变大，因 ３４一一 集增加的规模。 从这些实验结果可以得出： １）决策树比ＳＶＭ分类速度更快； ２）ＳＶＭ比决策树的分类精度更高。 基于这两个结果，本文结合ＳＶＭ和ＤＴ的优 点，对ＳＶＭ和ＤＴ进行有效地组合，提出了基于决 策树的ＳＶＭ算法。 ２ 基于决策树的ＳＶＭ模型 基于前面的讨论，我们将ＳＶＭ和ＤＴ进行有 效地结合。因为ＳＶＭ的决策边界与真正的决策边 界非常接近，分类较精确，速度慢；而ＤＴ的决策边 界是一个近似的决策边界，分类相对不那么精确，速 度较快。靠近决策边界的样本至关重要，我们不期 待对他们进行快速分类，希望得到一个准确的分类 结果。另外，远离决策边界的样本相对不那么重要， 这种情况，我们希望能对他们进行快速分类。采用 ＤＴ～ＳＶＭ算法，使用精确ＳＶＭ对靠近决策边界 的样本进行分类，使用快速的ＤＴ对远离决策边界 的样本进行分类。 ＳＶＭ分类函数： ／（ ）＝ｓｇ ｛∑ Ｈ 。 ｝ （１） ＳＶＭ的决策边界是当／（ｚ）一０，决策边界把样本空 间分为两部分，正类区域（．厂（ｚ）＞０），负类区域（，、 （ ）＜０）。并且定义一个距离参数Ｓ（ ），用Ｓ（ ）给 出样本点到决策边界的远近程度，并选择一个闽值 参数￡，当Ｓ（－ｚ）＜ 的区域为靠近决策边界的区 域，称为￡一区域。 在本文中，将样本空间分为三个区域：至关重要 的￡一区域、正类区域、负类区域。 ￡一区域：这个区域含有的样本是靠近决策边 界的样本，称为￡类，我们认为测试集中落在这个区 域的样本是重要的样本，因此采用ＤＴ—ＳＶＭ模型 中的ＳＶＭ节点对这类样本进行分类。 正类区域：这类区域包含的训练样本在决策边 界的一侧．厂（ ）＞０，并且满足距离参数Ｓ（ ）＞￡， 落在这个区域的测试样本，相对不是特别重要，这部 分区域的测试样本采用ＤＴ—ＳＶＭ模型中的ＤＴ节 第３５卷 大原学院学报 总第１２２期 点进行分类。 阈值￡的确定非常重要，它的取值在０到０．５ 负类区域：这类区域包含的训练样本在决策边 之间。当￡一０时，就不存在￡一区域，因此ＤＴ— ＳＶＭ决策树模型中只有单变量节点，所有的测试样 本都会用单变量节点进行分类，这时的ＤＴ—ＳＶＭ 界的另一侧．厂（ ）＜０，并且满足距离参数Ｓ（ｚ）：＞ 落在这个区域的测试样本，相对不是特别重要， ，这部分区域的测试样本采用ＤＴ—ＳＶＭ模型中的 ＤＴ节点进行分类。 训练样本空间被分为三个区域，通过这三类区 的分类速度比￡取任何值的时候都快；当￡一０．５ 时，￡一区域将包含整个样本空间，因此ＤＴ—ＳＶＭ 模型将变成只有一个ＳＶＭ节点和两个叶子，所有 的测试样本都会用ＳＶＭ节点进行分类，这时的ＤＴ —域的数据集训练出一棵近似的决策树（ＤＴ），然后用 分类器ＳＶＭ和正、负类叶子节点代替每一个落在 ￡一区域的叶子节点（如图４所示）。最终的ＤＴ— ＳＶＭ的分类速度比￡取任何值的时候都慢。当 ｓＶＭ模型已经建立（如图５所示）。在ＤＴ—ｓＶＭ ￡一０．２３１时，可以发现当厂（ ）一±１１时，Ｓ（ｚ）一 决策树模型中，包含两类节点：单元节点和多元节点 ０．２３１，因此选择￡＝０．２３１，将使￡一区域的决策边 （ＳＶＭｓ）。单元节点负责对相对不重要的测试样本 界和ＳＶＭ的决策边界吻合。因此ＤＴ—ＳＶＭ模型 进行快速分类，多元节点采用ＳＶＭ分类器负责对 将使用ＳＶＭ节点对边界内的样本进行分类，采用 重要的测试样本进行精确地分类（如图６所示）。因 此，只有一小部分的测试样本采用ＳＶＭ进行分类， 快速的单变量节点对边界外的节点进行分类。 其余样本采用快速的单元决策节点进行分类从而降 ３ 实验结果 低了整体的测试时间。 为了测试ＤＴ—ｓＶＭ的性能，我们在６个ａｄｕｌｔ 冈Ｉ数据集（见表１）上进行了实验，并与ＳＶＭ和ＤＴ进 ＿＿Ｊ ．．．．．．．．．．．．． ．行了比较，实验中采用高斯核函数，其中正则参数Ｃ 图４ ￡类节点用ＳＶＭ分类器和两个叶子节点代替 取１０００，核参数ｄ取１．０，参数￡取０．２４。实验结 建立ＤＴ—ＳＶＭ模型的主要步骤总结如下： 果如表２所示，其中Ｔｒａｉｎ（ ）为训练精度，Ｔｅｓｔ Ｓｔｅｐｌ：用训练集样本训练ＳＶＭ分类器获得分 （％）为测试精度，（＃ＳＶ）为支持向量的数目，＃ｔｓ． 类函数ｆ（ｘ）。 ｓｖｍ表示参加ＳＶＭ训练的测试样本的数目，ｒ．ｔｉｍｅ Ｓｔｅｐ２：用决策函数厂（ ）把训练集分为正类和 表示测试时间减少的程度。 负类。 从实验结果可以看出，ＤＴ—ＳＶＭ算法与ＳＶＭ Ｓｔｅｐ３：选择一个在０到０．５之间的阈值￡。 算法相比，由于支持向量数目相同，因此，两种算法 Ｓｔｅｐ４：计算机每个训练集中数据点的ｓ（ｚ），并 测试的正确率几乎没有太大变化，但由于参与ＳＶＭ 把ｓ（ ）＜一￡的训练样本归到￡类。 训练的测试样本数目减少，ＤＴ～ＳＶＭ算法测试速 Ｓｔｅｐ５：用划分了正类、负类和￡类的训练样本 率有很大提高，与ＤＴ算法相比，测试速率虽有所下 ｛Ｊ『Ｊ练ＤＴ。 降，ＤＴ－－ＳＶＭ算法的测试正确率却有很大提高。 Ｓｔｅｐ６：用ＳＶＭ和两个叶子组成的子树代替 ＤＴ树中的￡类节点，算法结束。 ４ 结束语 本文提出了一种基于决策树的支持向量机算 法，旨在提高ＳＶＭ在测试阶段的分类速率，现有的 很多方法是靠减少支持向量的数目来提高测试阶段 的分类速率；ＤＴ—ＳＶＭ是一棵包含单变量节点和 ＳＶＭ节点的决策树，重要的样本用精确的ＳＶＭ进 行分类，相对不重要的样本用快速单变量节点进行 分类。与ＳＶＭ算法相比，在精度毫无损失的情况 下，速率有大幅度提高，在未来工作中，考虑将ＤＴ 图５ ＤＴ—ＳＶＭ模型 ～ｓＶＭ模型应用到多分类问题中。 ３５— ２Ｏ１７年 程凤伟：一种基于决策树的ＳＶＭ算法 表２三种方法实验结果的 较 Ｔａｂｌｅ ２ Ｃｏｍｐａｒｉｓｏｎ ｏｆ ｔｈｒｅｅｌ ｋｉｎｄｓ ｏｆ ｔｅｓｔ ｒｅｓｕｌｔｓ 第１期 数据集 Ｔｒａｉｎ（ ） ＤＴ ９Ｏ．９ ＳＶＭ ８５．３Ｏ ＤＴ—ＳＶＭ ８５．２１ 数据集 ＤＴ ８７．９４ ＳＶＭ ８５．１７ ＤＴ—ＳＶＭ ８５．１７ Ｔｅｓｔ（ ） ８１．３３ ａｄｕｌｔｌ ８４．４０ ８４．５９ ８３．Ｏ６ ａｄｕｌｔ４ ８４．４６ ８４．４６ ＃ＳＶ ＃ｔｓ．ｓｖｍ ｔｓ．ｔｉｍｅ ０．９９ ６４８ ３０９５５ ４．８７ ６４８ ７５３６ １．１６ ０．０５９ ２３７５ ２６１４６ １４．７１ ２３７５ ｌ０３５６ ５．５７ ｒ．ｒａｔｅ Ｏ ７６．５ Ｏ ６２．０３ Ｔｒａｉｎ（ ） ９０．４８ ８５．７３ ８５．６７ ８９．１８ ８４．７９ ８４．７３ Ｔｅｓｔ（％） ＃ＳＶ ＃ｔｓ．ｓｖｍ ｔｓ．ｔｌｍｅ ｒ．ｒａｔｅ ８１．７６ ａｄｕｈ２ Ｏ．Ｏ６９ ８４．５１ １２１９ ２９３７７ ８．４７ Ｏ ８４．５２ １２１９ １１０００ ３．２１ ６２．Ｏ２ ８２．５２ ａｄｕｈ５ ０．０６１ ８４．６９ ４１３０ ２１３４１ ２Ｏ．７９ Ｏ ８４．６９ ４１３０ ３４９２ ３．６６ ８２．４４ Ｔｒａｉｎ（ ） ８９．２３ ８５．４７ ８５．４７ ８７．８５ ８４．８３ ８４．８３ ＶＴｅｓｔ（ ） ８２．８２ ａｄｕｈ３ Ｏ．Ｏ６９ ８４．５４ ８４．５４ ８４．０６ Ａｄｕｈ６ ０．０３ ８５．Ｏ９ ８４．９１ ＃ＳＶ ＃ｔｓ．ｓｖｍ ｔｓ．ｔｉｍｅ ｒ．ｒａｔｅ １７８５ ２７７８ｌ １１．６ Ｏ １７８５ ９６８Ｏ ４．０４ ６５．３７ ８１７１ ９８６６ ｌ９．２９ Ｏ ８１７１ １０６６ ２．Ｏ９ ８９．１６ 参考文献： ［１］Ｃ．ｊ．Ｂｕｒｇｅｓ．Ａｔｕｔｏｒｉａｌｏｎ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅｓ ｆｏｒ ｓｕｐｐｏｒ ｔｖｅｃｔｏｒ ｓｏｌｕｔｉｏｎｓ［Ｊ］．Ｊｏｕｒｎａｌ ｏｆ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ Ｒｅｓｅａｒｃｈ，２００１，（２）：２９３—２９７． ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ［Ｊ］．Ｄａｔａ Ｍｉｎｉｎｇａｎｄ Ｋｎｏｗｌｅｄｇｅ Ｄｉｓ— ｃｏｖｅｒｙ，１９９８（２）：１－４３． ［５３Ｙ．Ｌｉ，Ｗ．Ｚｈａｎｇ．Ｓｉｍｐｌｉｆｙ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅｓ ｂｙ ｉｔ— ｅｒａｔｉｖｅ ｌｅａｒｎｉｎｇ［Ｊ］．Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｌｅｔｔｅｒｓ ａｎｄ Ｒｅｖｉｅｗｓ，２００６，１０（１）：１ｌ一１７． Ｅ２］Ｃ．Ｊ．Ｂｕｒｇｅｓ．Ｓｉｍｐｌｉｆｉｅｄ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｄｅｃｉｓｉｏｎ ｒｕｌｅｓ．Ｉｎ： Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １ ３ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｅｅｏｎ Ｍａ— １－６３Ｑ．Ｌｉ，Ｉ ．Ｊｉａｏ，Ｙ．Ｈａｏ．Ａｄａｐｔｉｖｅ ｓｉｍｐｌｉｆｉｃａｔｉｏｎ ｏｆ ｓｏｌｕｔｉｏｎ ｃｈｉｎｅ Ｌｅａｒｎｉｎｇ［Ｃ］．Ｉｔａｌｙ，１９９６：７１—７４． ｆｏｒ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅｓ［Ｊ］．Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ２００７，４Ｏ：９７２－９８０． Ｅ３３ Ｅ．Ｏｓｕｎａ，Ｆ．Ｇｉｒｏｓｉ．Ｒｅｄｕｃｉｎｇ ｔｈｅ ｒｕｎ－ｔｉｍｅ ｃｏｍｐｌｅｘｉｔｙ ｏｆ ｓｕｐ－一 ｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅｓ［Ｍ］．Ａｄｖａｎｃｅｓｉｎ Ｋｅｒｎｅｌ Ｍｅｔｈｏｄｓ－一一 Ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｌｅａｒｎｉｎｇ，ＭＩＴＰｒｅｓｓ，１９９９：２７１—２８３． ［７］Ｍ．Ａｒｕｎ Ｋｕｍａｒ，Ｍ．Ｇｏｐａ１．Ａ ｈｙｂｒｉｄ ＳＶＭ ｂａｓｅｄ ｄｅｃｉｓｉｏｎ ｔｒｅｅ［Ｊ］．Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，２０１０，（４３）：３９７７—３９８７． ［４３ Ｔ．Ｄｏｗｎｓ，Ｋ．Ｇａｔｅｓ，Ａ．Ｍａｓｔｅｒｓ．Ｅｘａｃｔ ｓｉｍｐｌｉｆｉｃａｔｉｏｎ ｏｆ Ａ Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ Ａｌｇｏｒｉｔｈｍ Ｂａｓｅｄ ｏｎ Ｄｅｃｉｓｉｏｎ Ｔｒｅｅ ＣＨＥＮＧ Ｆｅｎｇｗｅｉ （Ｔａｉｙｕａｎ Ｕｎｉｖｅｒｓｉｔｙ，Ｔａｉｙｕａｎ ０３００３２，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｈｅ ｉｎｃｒｅａｓｉｎｇ ｓｉｚｅ ａｎｄ ｄｉｍｅｎｓｉｏｎａｌｉｔｙ ｏｆ ｒｅａｌ—ｗｏｒｌｄ ｄａｔａ ｓｅｔｓ ｍａｋｅ ｉｔ ｎｅｃｅｓｓａｒｙ ｔｏ ｄｅｓｉｇｎ ｅｆｆｉｃｉｅｎｔ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｌｇｏｒｉｔｈｍ．Ｗｅ ｐｒｏｐｏｓｅｄ ａ ｎｅｗ ＳＶＭ ａｌｇｏｒｉｔｈｍ ｂａｓｅｄ ｄｅｃｉｓｉｏｎ ｔｒｅｅ ｔｏ ｓｐｅｅｄｕｐ ＳＶＭｓ ｉｎ ｉｔｓ ｔｅｓｔｉｎｇ ｐｈａｓｅ．Ｗｈｉｌｅ ｍｏｓｔ ｅｘｉｓｔｉｎｇ ｍｅｔｈｏｄｓ ａｄｄｒｅｓｓｅｄ ｔｏｗａｒｄｓ ｔｈｉｓ ｔａｓｋ ａｉｍ ａｔ ｒｅｄｕｃｉｎｇ ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒｓ，ｗｅ ｈａｖｅ ｆｏｃｕｓｅｄ ｏｎ ｒｅｄｕｃｉｎｇ ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｔｅｓｔ ｄａｔａ— ｐｏｉｎｔｓ ｔｈａｔ ｎｅｅｄ ＳＶＭ’ｓ ｈｅｌｐ ｉｎ ｇｅｔｔｉｎｇ ｃｌａｓｓｉｆｉｅｄ．Ｔｈｅ ｐｒｏｐｏｓｅｄ ａｌｇｏｒｉｔｈｍ ｕｓｅｓ ｄｅｃｉｓｉｏｎ ｔｒｅｅｓ ｔｏ ｃａｌｃｕｌａｔｅ ｔｈｅ ｄｅｃｉｓｉｏｎ ｂｏｕｎｄａｒｙ ｏｆ ＳＶＭ．Ｔｈｅ ｈｙｂｒｉｄ ｔｒｅｅ ｈａｓ ｂｏｔｈ ｕｎｉｖａｒｉａｔｅ ａｎｄ ＳＶＭ ｎｏｄｅｓ． Ｔｈｅ ｈｙｂｒｉｄ ｔｒｅｅ ｔａｋｅｓ ＳＶＭ’ｓ ｈｅｌｐ ｏｎｌｙ ｉｎ ｃｌａｓｓｉｆｙｉｎｇ ｃｒｕｃｉａｌ ｄａｔａ ｐｏｉｎｔｓ ｌｙｉｎｇ ｎｅａｒ ｄｅｃｉｓｉｏｎ ｂｏｕｎｄａｒｙ；ｔｈｅ ｏｔｈｅｒ ｄａｔａ ｐｏｉｎｔｓ ａｒｅ ｃｌａｓｓｉｆｉｅｄ ｂｙ ｑｕｉｃｋｌｙ ｕｎｉｖａｒｉａｔｅ ｎｏｄｅｓ． Ｋｅｙ ｗｏｒｄｓ：Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ；ｄｅｃｉｓｉｏｎ ｔｒｅｅ；ｄｅｃｉｓｉｏｎ ｂｏｕｎｄａｒｙ 一３６～
