第２７卷第１期 中文信息学报 Ｖｏ１．２７，ＮＯ．１ ２０１３年１月 ＪＯＵＲＮＡＬ ｏＦ ＣＨＩＮＥＳＥ ＩＮＦｏＲＭＡＴＩＯＮ ＰＲＯＣＥＳＳＩＮＧ Ｊａｎ．，２０１３ 文章编号：１００３—００７７（２０１３）０１—０００７—０８ 一种基于搭配的中文词汇语义相似度计算方法 王石 ，曹存根 ，裴亚军。，夏飞 （１．中国科学院计算技术研究所智能信息处理重点实验室，北京１００１９０； ２．中国科学院大学，北京１０００４９；３．全国科学技术名词审定委员会，北京１００７１７） 摘 要：词汇间的语义相似度计算在自然语言处理相关的许多应用中有基础作用。该文提出了一种新的计算方 法，具有高效实用、准确率较高的特点。该方法从传统的分布相似度假设“相似的词汇出现在相似的上下文中”出 发，提出不再采用词汇在句子中的邻接词，而是采用词汇在二词名词短语中的搭配词作为其上下文，将更能体现词 汇的语义特征，可取得更好的计算结果。在自动构建大规模二词名词短语的基础上，首先基于ｔｆ ｉｄｆ构造直接和间 接搭配词向量，然后通过计算搭配词向量间的余弦距离得到词汇间的语义相似度。为了便于与相关方法比较，构 建了基于人工评分的中文词汇语义相似度基准测试集，在该测试集中的名、动、形容词中，方法分别得到了０．７０３、 ０．５０９，０．７００的相关系数，及１００ 的覆盖率。 关键词：语义相似度；词汇搭配；相似度基准测试集 中图分类号：ＴＰ３９１ 文献标识码：Ａ Ａ Ｃｏｌｌｏｃａｔｉｏｎ—ｂａｓｅｄ Ｍｅｔｈｏｄ ｆｏｒ Ｓｅｍａｎｔｉｃ Ｓｉｍｉｌａｒｉｔｙ Ｍｅａｓｕｒｅ ｆｏｒ Ｃｈｉｎｅｓｅ Ｗｏｒｄｓ ＷＡＮＧ Ｓｈｉ ，ＣＡＯ Ｃｕｎｇｅｎ ，ＰＥＩ Ｙａｊｕｎ。，ＸＩＡ Ｆｅｉ ’ （１．Ｋｅｙ Ｌａｂｏｒａｔｏｒｙ ｏｆ Ｉｎｔｅｌｌｉｇｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ，Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｃｏｍｐｕｔｉｎｇ Ｔｅｃｈｎｏｌｏｇｙ， Ｃｈｉｎｅｓｅ Ａｃａｄｅｍｙ ｏｆ Ｓｃｉｅｎｃｅｓ，Ｂｅｉｊｉｎｇ １００１９０，Ｃｈｉｎａ； ２．Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｃｈｉｎｅｓｅ Ａｃａｄｅｍｙ ｏｆ Ｓｃｉｅｎｃｅｓ，Ｂｅｉｊｉｎｇ １０００４９，Ｃｈｉｎａ； ３．Ｃｈｉｎａ Ｎａｔｉｏｎａｌ Ｃｏｍｍｉｔｔｅｅ ｆｏｒ Ｔｅｒｍｓ ｉｎ Ｓｃｉｅｎｃｅｓ ａｎｄ Ｔｅｃｈｎｏｌｏｇｉｅｓ，Ｂｅｉｊｉｎｇ １００７１７，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｈｅ ｗｏｒｄ ｓｉｍｉｌａｒｉｔｙ ｍｅａｓｕｒｅ ｐｌａｙｓ ａ ｂａｓｉｃ ｒｏｌｅ ｉｎ ｍａｎｙ ＮＩ Ｐ ｒｅｌａｔｅｄ ａｐｐｌｉｃａｔｉｏｎｓ．Ｉｎ ｔｈｉｓ ｐａｐｅｒ，ｗｅ ｐｒｏｐｏｓｅ ａ ｎｏｖｅｌ ａｎｄ ｐｒａｃｔｉｃａｌ ｍｅｔｈｏｄ ｆｏｒ ｔｈｉｓ ｐｕｒｐｏｓｅ ｗｉｔｈ ａｃｃｅｐｔａｂｌｅ ｐｒｅｃｉｓｉｏｎ．Ｇｕｉｄｅｄ ｂｙ ｔｈｅ ｃｌａｓｓｉｃ ｄｉｓｔｒｉｂｕｔｉｏｎ ｈｙｐｏｔｈｅｓｉｓ ｔｈａｔ“ｓｉｍｉｌａｒ ｗｏｒｄｓ ｏｃｃｕｒ ｉｎ ｓｉｍｉｌａｒ ｃｏｎｔｅｘｔｓ”．ｗｅ ｓｕｇｇｅｓｔ ｔｈｅ ｃｏｌｌｏｃａｔｉｏｎｓ ｉｎ ｔＷＯ—ｗｏｒｄ ｎｏｕｎ ｐｈｒａｓｅｓ ｃａｎ ｓｅｒｖｅ ａｓ ｂｅｔｔｅｒ ｃｏｎｔｅｘｔｓ ｔｈａｎ ｔｈｅ ａｄｊａｃｅｎｔ ｗｏｒｄｓ ｂｅｃａｕｓｅ ｔｈｅ ｆｏｒｍｅｒ ａｒｅ ｍｏｒｅ ｓｅｍａｎｔｉｃ ｒｅｌａｔｅｄ．Ｂｙ ｕｓｉｎｇ ａｕｔｏｍａｔｉｃ ｂｕｉｌｔ ｌａｒｇｅ—ｓｃａｌｅ ｎｏｕｎ ｐｈｒａｓｅｓ，ｗｅ ｆｉｒｓｔｌｙ ｃｏｎｓｔｒｕｃｔ ｔｆ—ｉｄｆ ｗｅｉｇｈｔｅｄ ｗｏｒｄｓ ｖｅｃｔｏｒｓ ｃｏｎｔａｉｎｉｎｇ ｄｉｒｅｃｔ ａｎｄ ｉｎｄｉｒｅｃｔ ｃｏｌｌｏｃａ— ｔｉｏｎｓ，ａｎｄ ｔｈｅｎ ｔａｋｅ ｔｈｅｉｒ ｃｏｓｉｎｅ ｄｉｓｔａｎｃｅｓ ａｓ ｄｅｓｉｒｅｄ ｓｅｍａｎｔｉｃ ｓｉｍｉｌａｒｉｔｉｅｓ．Ｉｎ ｏｒｄｅｒ ｔｏ ｃｏｍｐａｒｅ ｗｉｔｈ ｒｅｌａｔｅｄ ａｐｐｒｏａ ｃｈｅｓ。ｗｅ ｍａｎｕａｌｌｙ ｄｅｓｉｇｎ ａ ｂｅｎｃｈｍａｒｋ ｔｅｓｔ ｓｅｔ．Ｏｎ ｔｈｅ ｂｅｎｃｈｍａｒｋ ｔｅｓｔ ｓｅｔ，ｔｈｅ ｐｒｏｐｏｓｅｄ ｍｅｔｈｏｄ ａｃｈｉｅｖｅｓ ｔｈｅ ｅｏｒｒｅ— ｌａｔｉｏｎ ｃｏｅｆｆｉｃｉｅｎｔｓ ｏｆ ０．７０３，０．５０９，ａｎｄ ０．７００ ｏｎ ｎｏｕｎｓ，ｖｅｒｂｓ，ａｎｄ ａｄｊｅｃｔｉｖｅｓ，ｒｅｓｐｅｃｔｉｖｅｌｙ，ａｔ ａ ｃｏｖｅｒａｇｅ １００ ． Ｋｅｙ ｗｏｒｄｓ：ｓｅｍａｎｔｉｃ ｓｉｍｉｌａｒｉｔｙ，ｗｏｒｄ ｃｏｌｌｏｃａｔｉｏｎ，ｓｉｍｉｌａｒｉｔｙ ｂｅｎｃｈｍａｒｋ ｓｅｔ 度，前者是基于认知分类学的相似度，后者是基于主 １ 引言 题的相似度 。例如，“网球”与“排球”具有较高的 语义相似度，因为两者具有相近的认知属性；而“网 词汇间的相似度分为语义相似度和分布相似 球”与“网球拍”的语义相似度较低，但具有较高的分 收稿日期：２０１１－０５—０３定稿日期：２０１１－０８—１６ 基金项目：国家自然科学基金资助项目（６０５７３０６３，６０５７３０６４，６０７７３０５９，６１０３５０Ｏ４）；国家８６３计划资助项目（２０¨。７ＡＡ０１ｚ３２５）； 国家社科基金重点资助项目（１０ＡＹＹ００３）。 作者简介：王石（１９８１一），男，博士，助理研究员，主要研究方向为知识获取，中文信息处理；曹存根（１９６４一），研究员，博 士生导师，主要研究方向为大规模知识获取与管理；裴亚军（１９７６－－），男，博士，副编审，主要研究方向为语言学和术语学。 ８ 中文信息学报 布相似度，因为两者较多地共现在相同文档中。 本文仅专注于词汇问的语义相似度计算。词汇 问的语义相似是词汇间的一种基本的语义关系，但 很难明确定义。文献［２］中给出的一个典型示例是， 与“方法（ｍｅｔｈｏｄ）”有较高语义相似度的词包括“技 术（ｔｅｃｈｎｉｑｕｅ，０．１６９）”、“步骤（ｐｒｏｃｅｄｕｒｅ，０．０９５）”、 “手段（ｍｅａｎｓ，０．０８６）”、“策略（ｓｔｒａｔｅｇｙ，０．０７４）” 等（对原文示例进行了翻译，括号中的第一个值为英 文原词，第二个值为相似度）。词汇间的语义相似度 计算是很多应用的基础。以信息检索为例，如果一 个用户通过关键字“知识获取＋方法”进行检索，那 么结果也应当包含“知识获取＋技术”的文档，这可 以通过利用语义相似的词汇实现。另外，词汇的语 义相似度计算还对机器翻译 、本体学习 】、浅层语 义分析 等产生积极作用。 本文提 了一种基于二词名词短语的中文词汇 语义相似度计算方法，该方法对传统分布相似度假 设“相似的词汇出现在相似的上下文环境中”进行了 扩展，提出利用词汇在二词名词短语中的搭配词，而 非传统的句子中的邻接词作为词汇的上下文的方 法。其动机在于，相较于邻接词，搭配词更能体现词 汇的语义特征。方法采用了基于ｔｆ—ｉｄｆ的权重计算 方法构建搭配词向量，然后通过计算向量问的余弦 距离来获得语义相似度。由于目前汉语中没有比较 词汇相似度效果的基准测试集，本文借鉴英文基准 测试集［＿６ 类似的方法，给出了基于人丁评分的中文 基准测试集。在该测试集中的名、动、形容词中，本 文提出的方法分别达到了０．７０３、０．５０９、０．７００的相 关系数，且覆盖率均达１．（）（］。 ２ 相关工作 目前存在两种词汇相似度计算方法，即基于语 义词典的方法和基于语料库的方法。前者往往依赖 于已有的语义分类词典，而后者基于分布假设“相似 的词汇 现在相似的上下文环境中”。 基于语义词典的方法通常依赖语义词典。一般 来说，语义词典将词汇按照语义类别组织在树状层 次结构中。在英语中，许多学者基于ＷｏｒｄＮｅｔ【＿７ 做 了大量的丁作，基本思想是利用树中两个词间基于 上下位的路径长度作为这两者相似度的一种度量。 文献［８］提出，在类似于ＷｏｒｄＮｅｔ的语义词典中，两 个词汇间的语义距离正比于两者问的上下位路径长 度。文献［９］在此基础上定义了一种词汇相似度计 算方法。 文献［１Ｏ ｌ１］除ｒ考虑路径长度之外，还考虑＿， 路径上词汇的特异性，若一个词的深度越低，那么其 特异性越大，权重越高。文献［１２］基于相似的思想 提出了新的计算方法。文献［１３］除去考虑Ｌ下位父 系之外，还考虑部分整体关系和同义 反义关系。 在汉语中，文献［３］提出了基于《知网》（Ｈｏｗ Ｎｅｔ）的词汇相似度计算方法。与ＷｏｒｄＮｅｔ不同，知 网采用了１ ５００多个义原，通过一种知识描述语言来 对每个概念进行描述。方法将两个词汇的整体相似 度分解成多个义原对相似度的组合，对于义原对的 相似度计算，采用根据ＨｏｗＮｅｔ中上下位关系得到 的语义距离的方法。 语义词典的构造耗时费力，基于语义词典的｝亩Ｊ 汇相似度汁算方法受限于收词规模，冈此近年来研 究者们关注基于语料库的方法。分布假设“相似的 词汇 现在相似的上下文环境中”是该类方法的基 础。词汇的上下文中并不直接包含词、『厂的语义信 息，而是仅仅体现ｒ词汇间的分布规律，［大１此该类 法面临的主要问题是如何跨越从分布相似到语义棚 似的差距［１ ２］。文献［２］系统介绍了从利用分布卡¨ 似假设计算词汇间语义相似度的理论和方法。丈献 ［１４１则采用了一种利用语义受限的上下文矩阵，ｉ１ 算词汇相似度的方法。 两种方法均有不足之处，基于语义词典的词 相似度计算方法受限于词典的规模；而对于基于 料库的方法而言，一方面因上下文中含大量与词汇 语义无关的噪声词汇，影响准确率；另一方面需要人 规模的语料及全文匹配算法，算法效率较低。 ３ 方法 ３．１ 基本思想 本文提出＿『利刚一种新的基于｝面］汇 二词名例 短语ｌ｝】的搭配词来计算词汇的语义相似度的方法． 方法基于下面直观似设。 假设１（相似词汇的相似搭配假设） 语义相似 的同汇在二词名词短语中有相似的搭配词。 之所以利用二词名词短语中的搭配词作为上Ｆ 文，而不是用词汇在大规模语料中的邻接词，是 丁 以下两点考虑。 １）词汇在二词名词短语中的搭配同能反映其 某方面的语义性质。例如，“塑料 ｎ杯子 ｎ”、“砖／ｎ １期 王石等：一种基于搭配的中文词汇语义相似度计算方法 ９ 房子／ｎ”、“木头／ｎ桌子／ｎ”等体现了人造物的材质 信息，“沉稳／ａ青年／ｎ”、“残暴／ａ杀手／ｎ”、“聪明／ａ 宝宝／ｎ”等体现了人物的性格特征，“安置／ｖ场所／ ｎ”、素，即存在＜叫 ，Ｗ ＞∈Ｓ，＜ １，，叫 ＞ＥＳ，＜Ｗ ， Ｗ ＞一＜叫１，，叫２ ＞八 ≠ ＜Ｗ，＊＞一｛＜Ｗ，Ｗ ＞ ｌ＜叫，Ｗ ＞Ｅ Ｓ），＜＊，叫＞一｛＜Ｗ ，叫＞Ｊ＜Ｗ ， “搬运／ｖ系统／ｎ”、“美容／ｖ中 ｔ￣，／ｎ”等体现了场 ２）较之基于语料库的词汇上下文，从二词名词 叫＞ＥＳ｝分别是Ｓ中以Ｗ为前缀和后缀的名词短 语。记ｌ＜Ｗ，＊＞ｌ和Ｉ＜＊，Ｗ＞１分别为Ｓ中以Ｗ 为首／尾的名词短语数量，ｌ Ｗ ，Ｗ：ｌ为Ｓ中＜Ｗ ， Ｗ ＞的数量。 基于假设１和以上定义，下面给出基于词汇在 二词名词短语中的直接搭配的词汇相似度算法。算 法的基本思想是首先将词汇的搭配词构造成中文实 所的功能，等等。 短语集合中构造词汇上下文具有更高的抽取和计算 效率。 ３．２ 算法描述 算法的关键在于如何量化词汇的搭配词向量， 词空间中的向量，然后通过计算向量间的余弦距离 来计算相似度。算法首先构造了词汇的搭配词向量 （步骤１、２），该向量是一个实数向量，元素值表示搭 配词的重要程度。借鉴信息检索中的思想，用ｔｆ＿ 以及如何计算搭配词向量间的相似度。从构建搭配 词向量的角度，算法分为利用直接搭配词和利用间 接搭配词的方法。 ３．２．１基于直接搭配词的方法 记二词名词短语有重集Ｓ一｛＜叫 ，７３） ＞Ｉ １≤ｉ ｉｄｆ＿１ 值作为其量化指标。然后通过计算搭配向量 的余弦距离作为词汇的相似度，并需要两个词汇的公 共搭配词达到一定规模，以消除偶然性（步骤３、４）。 ≤ ｝，其中Ｗ ，Ｗ 为中文词汇。Ｓ可含有重复元 算法１ 基于二词名词短语互接捂配的词汇语义相似度度量算法 输入：Ｓ，词对＜ ， ＞ 输出：ｚ， 基于二词名词短语集中直接搭配的相似度ｓｉｍ （ｚ， ） 步骤： １．给定中文实词向量＜ ，Ｗ ，…，Ｗ ＞，词 在Ｓ中的左直接搭配向量Ｌ（ｗ）＝＜∞ｇｆｊ＿，ｗｇｔＬ２，…，ｗｇｔＬ＂＞是一个 维 实数向量，元素ｗｇｔＬ为词Ｗ 在Ｗ的所有左搭配词中的重要程度：＇ ｒ０ ｉｆ＜Ｗ ，Ｗ＞ ＜ ， ＞ 弋 ２．同步骤１，Ｗ在Ｓ中的右直接搭配向量Ｒ（ ）一ｒ０ ｇ（ ×如ｇ（ ｓｉ毗ｃ 一 ） ｅ ｉｆ＜Ｗ，Ｗ ｚ＞∈＜Ｗ， ＞ ’ ｗｇｔＲ，ｗｇｔ￣Ｒ，Ｚ…，ｗｇｔｎ＂＞ １ 两者左直接搭配向量的余弦距离，即 ） ｅ ㈤ ３．记ｓｉｍ （ ， ）为ｚ， 基于左直接搭配词的相似度，若３５＂，Ｙ共同的左搭配词数小于阈值０，则ｓｉｅｒ （ｚ， ）一一１；否则为 ４．同步骤３，计算ｚ， 基于右直接搭配词的相似度ｓｉｅｒ （ｚ， ）。若ｚ，．ｙ共同右搭配词数目小于参数０，则ｓｉｅｒ （ｚ， ）一 １；否则， ｓｉ‰ｃ 一 ㈩ ５． ｉｍ （ ， ）一 （４） 在实验中，我们取最小公共搭配词数量阈值 一的交集只有“时间”，但实际上“快餐／餐／茶”，和“阳 光／日光／时光”分别非常相似。现在重新审视假设 １００，这可以减小因搭配词过少带来的偶然性错 误，但也导致很多词对因公共搭配词较少而没有办 法计算相似度。以“正午／中午”为例，其右搭配词为 ＜正午｛快餐，烈日，时光，时间，阳光，…）＞、 ＜中午｛茶，日光，餐，时间，班机，…）＞。搭配词 １，如果首先计算得到“快餐／餐／茶”，和“阳光／日光／ 时光”分别是相似的，那么就可以将它们看作是相似 的公共搭配词，进而得到“正午／中午”是相似的。基 于这个想法，我们进一步提出了基于词汇间接搭配 １０ 中文信息学报 的词汇语义相似度算法，以解决因公共搭配词较少 所带来的部分词汇无法计算的问题。 ３．２．２基于间接搭配词的方法 先计算搭配词间的相似度，这显然是一个递归的过 程，需要多次的迭代。 对任意两个词 ，Ｗ，，记两者基于是次迭代搭 配词的相似度为ｓｉｅｒ （叫 ，叫 ），下面给 的算法计 基于间接搭配词的相似度度量算法是基于直接 搭配词方法的改进，区别在于在构造词汇的搭配词 向量时，向量元素不是搭配词，而是一组彼此相似的 词所组成的词簇。因此，在构造搭配词向量时，要首 算两者第ｋ十１次迭代的相似度。算法２基本思路 与算法ｌ类似。 算法２基于二词名词短语间接搭配词的词汇语义相似度度量算法 输入：Ｓ，ＳＩＭ 一｛ｓｉｍ （ ，ｗｊ）），词对＜ｚ， ＞ 输出：ｓｉｅｒ女十１（ ， ） 步骤： １．记ｓｉｅｒ々（ｚ）一｛ Ｉ ｓｉｍ （ｚ，ｚ ）＞ ）为与 基于ｋ次迭代搭配相似的词集； ２．给定词簇向量＜￣ｓｉｍｋ（ｗ ），ｓｉｍ （ｗ２），…，ｓｉｍ （ ）＞，词 在Ｓ中的 ＋１次左搭配词簇向量 （ｎｔ）一 ， ｗｇｔ｝．，…， ｇ瑾＞是一个１ｌ＂维实数向量，元素ｗｇｔ｝．为词簇ｓｉｍ （ｕ， ）在 的所有左搭配词簇中的重要程度，取值为 ｒ０ ｉｆ（Ｖ ∈ｓｉｍ （ＺＵ ），＜ ，Ｗ ＞ ，＊。） ｗｇ＆一 ｌ＜ｓｉｍ （ ）， ＞ｉ ｌ ＜＊， ＞ｌ ＜【Ｓ ｓｉｍ （ ），＊＞ ）ｅｌｓｅ 、 （６） ￡ ＞，其中 ＜＊ ３．同步骤２，得到 在Ｓ中的右搭配词向量Ｒ （ｓｉｍ （∞））一＜ｗｇｔ￣，ｗｇｔｎ，…，ｅ ｆ ０ ｉｆ（Ｖ ７．Ｕ ∈ｓｉｍ （ｗ ），＜ｗ ，ｕ－ １ ×ｌｏｇ（ ） ｅ 用这两个模型从生语料中识别名词短语。 ４．２基准测试集构建 ４．ｓｉｍ ｃ… （ｎ ）计算与算法１第３／４／５步相同。 算法２在一定程度上解决了算法１中因公共搭 配词较少带来的问题，缺点在于迭代中ｍ现的错误 会在下一次迭代中扩散。如在前面“正午／中午”的 例子中，若错误得到“快餐”和“班机”有较高相似度， 那么在下一次迭代中，“正午”和“中午”的公共搭配 英语的语义相似度度量常用的基准测试集勾 Ｍｉｌｌｅｒ Ｃｈａｒｌｅｓ测试集。１９８７年，文献［１ ７］挑选ｒ ６５对英语词汇并进行了人Ｔ打分作为相似度计算 词中将包含两者的公共搭配词簇，引起错误。一方 面，随着迭代的进行，这些错误将逐步积累，影响准 确率；另一方面，随着迭代的进行，越来越多的搭配 的测试集，后来文献［６］从这６５对词中选 ３（）对重 新进行相似度评分，此后研究英语词汇相似度计算 词将会减少搭配词较少带来的偶然性，这将有助于 提高相似度度量准确率。在下面的实验中将可以看 到，当迭代次数达到一定值时，方法将在准确率上达 方法大都以这３０对词语作为标准测试用例，称为 Ｍｉｌｌｅｒ Ｃｈａｒｌｅｓ测试集。汉语中还没有类似的基准 测试集，为了便于评价词汇相似度汁算方法存『１１义 中的效果，我们借鉴Ｍｉｌｌｅｒ—Ｃｈａｒｌｅｓ测试集的构造 方法，手Ｔ构建了一个基准测试集。 到一个峰值，过多或过少均会导致准确率的下降。 ４ 试验 ４．１ 基于大规模生语料的二词名词短语集构建 ４．２．１ 测试同对选择 我们精心地挑选名词对３０对，动词、形容｝亩］各 ２（）对，在挑选的过程中考虑到两个挑选标准。 １）分布均匀性：挑选的词对应该尽可能地均 我们利用文献［１６］中的方法，从大规模生语料 匀的分布于多个认知领域； 中抽取二词名词短语集合。文献［１ ６］所提方法是完 全自动的，首先利用词汇 句法模式（如“＜ＮＰ＞ ２）相似均匀性：挑选的词对应该在相似程度 上均匀分布。 ‘ ＜是＞［一］＜个１种＞＜ＮＰ＞”），从生语料中抽取 大量的名词短语作为训练集，然后用该训练集训练 名词短语的概率句法模型和语义构造模型，并先后 以动词为例，从认知上动词可分为状态动词、变 化动词、感知动词等１５类 Ｊ，对每一类，我们精心 挑选１～３个词，总共得到２Ｏ对。这２Ｏ埘词语义按 ｌ期 王石等：一种基于搭配的中文词汇语义相似度计算方法 相似度大小分为３组，第一组相似度很大，共７对， 主要是同义、近义词，例如，“抚摸”与“触摸”，“发明” 与“创造”；第二组相似度一般，也有７对，由同属一 类的动词构成，例如，“刮风”与“下雨”均属气象动 词，“担心”与“放心”均属情感心理动词；第三组相似 度较小，共６对，由分属两个不同类的动词构成，例 表１ 基于搭配的词汇语义相似度度量实验结果 （ｓｉｍ 表示人工评分值） （ａ）名词 议Ｊｌ Ｗ２ Ｓｌｍ Ｓｌｍ１ Ｓｌｍｚ ｓｌｍ３ Ｓ１ｍ４ 宝石 珠宝 珠宝 珠宝 玻璃 正午 ８．９２ Ｏ．１５５ Ｏ．３６７ ０．３５３ Ｏ．４２１ ４．８５ ０．０７６ Ｏ．１３７ Ｏ．１８８ Ｏ．２３２ Ｏ．１５ ０．００４ ０．Ｏ０７ ０．０１１ ０．０１４ 如，“衰老”和“告诉”分属变化动词和通信动词，“鞠 躬”与“听见”分属身体动作动词和感知动词。 在名词词对的挑选中，在保证上述两个标准外， 我们还参考了Ｍｉｌｌｅｒ—Ｃｈａｒｌｅｓ测试集的构成。 ４．２．２相似度人工评分 正午 猫 猫 墓地 墓地 土丘 中午 狗 苹果 坟场 土丘 海岸 ９．６２ ５．８５ —１ Ｏ．２３ Ｏ．３Ｏ１ Ｏ．３８３ Ｏ．３９８ ０．３７１ ０．４６７ ｏ．５３８ Ｏ．４６ Ｏ．Ｏ６９ Ｏ．１２９ ０．１８１ Ｏ．２２８ ９．６５ ５．ＯＯ ２．４６ 一ｌ 一１ Ｏ．２４４ Ｏ．２５７ Ｏ．５１ Ｏ．Ｏ５２ ０．１９ Ｏ．２Ｏ１ 借鉴文献［１７］的方法，我们设计了如下的人工 评分方法。 １）评分采用１Ｏ分制，０分表示完全不相似，ｌＯ 分表示完全相似； ０．０３４ Ｏ．Ｏ６２ Ｏ．Ｏ８６ Ｏ．１Ｏ６ ２）寻找一组评分者；我们借助于中国科学院计 算技术研究所大规模知识获取课题组的１５个硕士 研究生和１Ｏ个博士研究生； 男孩 小伙 男人 母亲 ８．１５ ０．０５６ Ｏ．１ ２．６２ ０．０９ ０．１３６ Ｏ．１６７ Ｏ．１６５ ０．２２８ Ｏ．２８２ ３）评分者分两次进行评分，两次评分间隔 １５天； 男人 工作 森林 林地 苹果 香蕉 森林 手机 １．３１ Ｏ．Ｏ１６ Ｏ．Ｏ３１ ０．０４３ ０．０５５ ８．１９ Ｏ．１Ｏ３ Ｏ．１７７ Ｏ．２３６ Ｏ．２８５ ５．６９ ０．１４８ Ｏ．２５５ ０．３３６ ０．４０１ Ｏ．Ｏ８ ０．０５６ Ｏ．１Ｏ５ ０．１５１ Ｏ．１９ ４）从评分者中，去掉两次评分的一致性小于 ０．８的评分者。文献［１７］发现同一评分者在两周前 后对同一组词对进行评分时，相关系数在０．８５左 右。因此若某评分者在两次评分中的相关系数过多 医院 诊所 中国 中国 ８．５８ Ｏ．１１５ Ｏ．１９１ Ｏ．２４７ Ｏ．２９３ 地小于该值，则可认为其是无效评分者； ５）取所有评分者两次评分的均值，作为最终人 工相似度评分。 联合国 ４．９２ Ｏ．０６４ Ｏ．１０９ ０．１４５ Ｏ．１７４ 公鸡 １．１５ ０．０１９ Ｏ．Ｏ３５ ０．０４９ Ｏ．Ｏ６１ ８．ＯＯ Ｏ．２５３ Ｏ．３８３ ０．４６９ ０．５３１ ５．２３ Ｏ．１８４ Ｏ．２Ｏ５ ０．３９２ ０．４５９ ０．１５ ０．１０９ Ｏ．１９５ Ｏ．２６５ Ｏ．３２３ ８．２３ ０．０９８ Ｏ．１６９ ０．２２５ Ｏ．２７ 汽车 轿车 汽车 飞机 汽车 医院 绳 线 基于以上步骤得到最终的中文词汇语义相似度 基准测试集，具体见表１。 ４．３试验结果 基于本文提出方法的词汇相似度实验中， ＩＳｌ一２ １８４ ６３５，ｅ一１００，Ｔ）一０．９，表１（ａ）／（ｂ）／（ｃ）分 别给出了我们的方法在基准测试集名词、动词、形容 词上的结果。评测指标包括：（１）相关系数：算法 结果与人工评测结果的相关系数；（２）覆盖率：即能 处理的词汇比例。 教师 科学家 ５．３１ ０．１１８ Ｏ．２Ｏ５ ０．２７３ Ｏ．３２９ 胳膊 绳 手机 电话 Ｏ．２３ ０．００９ Ｏ．Ｏ１７ ０．０２５ ０．０３３ ８．０４ ０．２２９ Ｏ．３７ ０．４６６ Ｏ．５３６ 电话 电视 风 椅子 ４．８５ Ｏ．１５５ Ｏ．１６７ ０．３５３ Ｏ．４２１ Ｏ．Ｏ８ ０．０３５ Ｏ．Ｏ６５ ０．０９１ Ｏ．１１４ 图１给出了基于实体搭配方法的词汇相似度计 算方法结果与搭配迭代次数的关系。 椅子 凳子 ７．６９ —１ Ｏ．２９８ ０．４５３ Ｏ．４４６ 房子 桌子 电影 邮票 ３．５４ ０．０７１ Ｏ．１３ ０．１７９ Ｏ．２２２ Ｏ．７７ Ｏ．Ｏ９６ Ｏ．Ｏ７２ ０．２３４ Ｏ．２８６ 从实验结果中发现，相关系数在第２次迭代时 达到最高值，然后出现下降，这是因为在每次迭代中 错误的相似词汇不断累加造成的。另外，名词和形 容词的相关系数较高，动词较低，这是因为在名词短 相关系数 覆盖率 １ １ ０．６３６ ０，７０３ ０．６４１ ０．６６５ ０．９ １ １ １ ｌ２ 中文信息学报 ２０１ ３ １ （ｂ）动词 ＺＵＩ ＺＵ２ Ｓ１１ＴＩ， Ｓ１ｍ ｉｓｉＮ２ ｓ１ｍ：ｉ ｓｉｎ１矗 Ｌ ７＂６＇２ （ｃ）形容浏 Ｓ１ｍ Ｓｌｍｌ Ｓ１ｍ９ ｓ１ｍ Ｓ１１Ｔ１ 抚摸 鞠躬 抚摸 忧虑 触摸 微笑 担心 担心 ８．６２ ４．３１ １．４６ ９．８１ ｌ 一ｌ 一ｌ 一】 一１ 一１ ｌ —１ —１ 一１ —１ ｌ —１ 高尚 高尚 聪明 聪明 老 高兴 红 红 崇高 寒冷 机智 年轻 粉红 粉红 绿 ９．１２ Ｏ．１１９ ０．１ ９２ ０．２４２ ０．２７８ ３．８５ ０．１５ ９．０４ ０．０ｌ ９ ０．０３６ ０．０５２ ０．０６７ ０．００６ ０．０ｌ２ ０．（）ｌ ７ ０．０２３ ０．０２５ ０．１４６ ０．０６３ ０．０７８ Ｏ．１７２ ０．０９９ ０．１ ２３ Ｏ Ｏ （） ０．２３３ Ｏ．２７１ ０．２９９ 担心 鞠躬 放心 听见 ４．８５ Ｏ．３１ —１ —１ Ｏ．１７９ Ｏ．２１ ２ ０．２３８ —１ 一ｌ ｌ ７．５４ ０．０４ ０．９２ Ｏ 体会 感觉 购买 购买 ８．６２ Ｏ ５．３１ ０．１５ Ｏ．２１ ５ ０．２５６ ０．３０１ ０．１６２ Ｏ．１９３ ０．２１７ —１ ０．０５ ０．０７ｌ ８．４６ ０．０４３ ０．０７３ ０．０９６ ０．１ １ｊ ７．９２ ０．１１ ９ ０．１ ９ ０．２３８ ０．２７２ 销售 刮风 Ｏ —１ 高尚 高兴 蓖 陡峭 外心 厚 ０．１５ ９．６２ ５．６２ ０．０（）４ （）．００９ ０．０１３ ０．０１ ７ ０．０２ ０．０３８ ０．０５５ ０．０７ 考虑 刮风 思考 下雨 ９．（）０ ５．７７ —１ —１ ０．２８５ Ｏ．３２３ ０．３５ —１ １ ０．１ ５ ０．０２５ ０．０４７ ０．０６７ ０．０８５ 思考 ｆａ】候 １．２３ —１ Ｏ Ｏ Ｏ 年轻 冷 炎热 炎热 初级 重 凉 下燥 好 基础 ０．５４ ８．４２ ５．６９ ０．３８ ８．６９ ０．０２７ ０．０５１ ０．０７２ ０．０９１ ０．０５５ ０．０９７ ０．１ ３ ０．１ ５８ 发明 停留 创造 运动 ８．９６ ０．０１７ ０．１３２ Ｏ．Ｏ４６ ０．０５８ ３．５４ ０ Ｏ Ｏ ０ ０．００７ ０．１１４ ０．０２１ ０．０２７ ０．０１ ０．０ｌ ７ ０．（）２２ ０．０２６ ０．１ ４８ ０．１７９ 衰老 跑 跑 竞争 通知 告诉 走 跳 创造 告诉 Ｏ．２３ （） ７．５４ ６．４６ ２．ＯＯ ８．１５ —１ 一ｌ Ｏ ０ Ｏ Ｏ Ｏ．２４５ ０．１６３ Ｏ．２１ ０．０６２ ０．１１ ０．２２７ ０．２７４ ０．３０７ Ｏ．２８ ０．３１９ ０．３４５ 仞级 巨大 陡峭 崎岖 高级 新 崎岖 平坦 ７．２３ ０．３】 ８．１９ ６．Ｏ８ ０．Ｏ８２ Ｏ．１３５ ０．１ ７４ ０．２０５ ０．０４３ ０．０７５ ０．１ １ —１ ０．１ ２２ ０．Ｏ０４ Ｏ．Ｏ２８ Ｏ．Ｏｌｌ ０．０ｌ４ ０．１Ｏ５ ０．１３６ ０．１ ８９ ０．１１ ９ ０．１ ５８ ０．２【）ｌ 属于 存在 相关系数 覆盖率 ３．３８ ｌ ｌ ｌ ０．０６３ Ｏ．Ｏ１３ ０．３４５ ０．５６３ ０．５０９ ０．４６７ ０．３７６ ０．３５ ０．７ ０．７ ０．８ 相关系数 覆盖率 ｌ ｌ ０．５６８ ０．７００ ０．６０６ ０．６１７ ０．９ ｌ ｌ １ ０．４ ——－’、 ： ／ ， 一 一—— ｌ： 一一 一 二 —，一 ０．３ ０．２ 。 １ ２ ３ ４ ｒ Ｉ ２ ３ ４ ＋名词 ０．６３６ ０ ７０３ ０ ６４ｌ ０．６６５ ＋钇词 ＋动词 ＋形容词 ０．９ Ｏ＿３５ ０．９ ｌ ０ ０．７ １．０ ｌ ０ ０ ７ １．０ ｌ ０ ０ ８ ｌ ０ 一动词 ０．５６３ ０．５０９ ０．７００ ０．４６７ ０．６０６ ０．３７６ ０ ６１ ７ ＋形容词 ０．５６８ （ａ）搭配迭代次数ｖ ｓ相关系数 （ａ）搭配迭代次数Ｖ Ｓ．覆盖率 图１ 基于实体搭配的问汇相似度度量方法性能与迭代次数的关系 语中，形容词和名词的 现频率较高，且往往搭配比 较固定语义的词汇；而动词一方面出现频率较低，另 一面，名词和形容词的覆盖率较高，在第２次迭代时即 可达到１；而动词由于出现频率较低的原［六Ｊ，覆盖率 相对较低。 方面其搭配词比较灵活，语义更分散。覆盖率方 １期 王石等：一种基于搭配的中文词汇语义相似度计算方法 １３ ４．４错误分析 模范，年轻，漂亮，普通，日本，上班族，上海，，完 美，伟大，，伊拉克，意大利，印第安，印度，英格 错误原因仍然主要集中于从分布相似性到语义 兰，英雄，犹太，…｝，右搭配词包括｛本能，房间，怀 相似性的差距。一方面，某些语义相似的词汇不一 抱，灵魂，名字，年纪，年龄，情结，社会，身份，身体， 定具有相似的搭配词。以名词测试集中的“土丘／海 声音，双手，素质，相貌，心灵，信心，形象，性格，眼 岸”为例，两者都是地理实体，具有较高的语义相似 睛，职业，周，…）。因为共同搭配词的很多，因此得 度，然而两者的搭配情况却差异较大。两者ｔｆ－ｉｄｆ 到了较高的相似度。 值较大的部分搭配词如下， 基于以上分析，下一步工作将集中于进一步限 ＜｛人工，人造，大，高，小）土丘＞ 制词汇的搭配词，及采用更好的重要性量化指标，减 ＜土丘｛冢，一角，下面，坟，传说）＞ 小分布相似到语义相似的差距。 ＜｛大西洋，阳光，河口，阿拉伯，太平洋｝ 海岸＞ ４．５与相关方法的比较 ＜海岸｛城市，地区，地形，警卫队，巡逻艇｝＞ 表２给出了本方法与相关方法在名词相似度度 两者没有一个共同的搭配词，究其原因在于相 量上的比较。文献［３］是基于中文语义资源Ｈｏｗ— 同语义分类的词汇，可能具有不同的组词用法。动 Ｎｅｔ的方法；文献［８，１０—１３］是基于ＷｏｒｄＮｅｔ的方 词中的“通知／告诉”同样具有相同的问题。 法，我们在中文ＷｏｒｄＮｅｔｌ１ 的基础上进行了实现。 另一方面，某些具有相似搭配词的词不一定是 这些方法基于人工编撰的知识库，可以得到比较高 语义相似的。以名词测试集中的“男人／母亲”为例， 的相关系数。但是，受限于词典规模，这些方法的覆 两者分属不同的语义类别，语义相似度较低，然而搭 盖率都不是很高。对于基于语料库的方法，我们与 配情况却比较一致。两者共同出现的左搭配词包括 文献［１４］方法在基准集上进行了比较。 ｛白领，单身，德国，俄罗斯，非洲，健康，快乐，美国， 表２基于实体搭配的名词语义相似度度量方法比较 人工评分 文献［３］ 文献Ｅ８］ 文献Ｅｌｏ］ 文献Ｅ１１］ 文献［１２］ 文献［１３］ 文献［１４］ 本方法 相关系数 Ｏ．８５Ｏ ０．６７０ Ｏ．７７６ ｏ．８２７ ０．８４４ Ｏ．８６２ Ｏ．８２３ Ｏ．７０Ｏ ０．７０３ 覆盖率 １ ｏ．８６ Ｏ．７２ ｏ．７２ Ｏ．７２ Ｏ．７２ Ｏ．７２ １ １ 表３与传统计算方法的特点比较 效率，且准确率也略高。在以上比较的基础上，我们 基于语义 基于语料 本方法 总结了与传统方法相比，本方法所具有的特点，如 词典方法 库方法 表３所示。 最好相关系数 ～Ｏ．８６ ～ｏ．８０ ～０．７０ 所需资源 语义词典 大规模语 大规模二词 ５结论和下一步工作 料库 名词短语集 词汇覆盖率 受限于语义 无 无 词汇间的语义相似度计算是许多应用的基础工 词典规模 作。本文提出了基于二词名词短语搭配的计算方 算法复杂度 低 高 低 法，具有实用的效率和可接受的准确率。方法基于 直观的假设“语义相似的词汇在二词名词短语中有 词汇相似度的人工量化本身也是一个非常困难 相似的搭配词”，提出了采用直接和间接搭配词的算 的问题，文献［１７］的实验中表明人工评测的相关系 法，并进行了实验。在人工构建的中文词汇相似度 数也仅在０．８５左右。从表２中发现，本方法得到的 基准测试集的名、动、形容词中分别得到了０．７０３、 相关系数相较于基于语义词典的方法具有一定的劣 ０．５０９、０．７００的相关系数，覆盖率达１００ 。 势，但其优点在于其覆盖率较高，不会受限于语义词 下一步的工作集中于如何进一步词汇的搭 典的规模。而相较于基于语料库的方法，本方法无 配词，利用更好的搭配词权重评测指标，以缩小搭配 需从大规模的语料中获取上下文，因此具有更高的 词的分布相似性与词汇间语义相似性的差距。 １４ 中艾信息学报 参考文献 ［１］ Ａｋｉｒａ Ｕｔｓｕｍｉ，Ｄａｉｓｕｋｅ Ｓｕｚｕｋｉ．Ｗｏｒｄ ｖｅｃｔｏｒｓ ａｎｄ ｔｗｏ ｋｉｎｄｓ ｏｆ ｓｉｍｉｌａｒｉｔｙ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＣＯｌ ＩＮＧ／ ＡＣＩ ｏｎ Ｍａｉｎ Ｃｏｎｆｅｒｅｎｃｅ Ｐｏｓｔｅｒ Ｓｅｓｓｉｏｎｓ．２００６：８５８ ８６５． ［２］ Ｃｕｒｒａｎ Ｊ Ｒ．Ｆｒｏｍ Ｄｉｓｆｒ｜ｂｕｔｉ。ｎａｌ ｔｏ Ｓｅｍａｎｔｉｃ Ｓｉｍｉｌａｒｉｔｙ ［Ｄ］．Ａ ｄｉｓｓｅｒｔａｔｉｏｎ ｓｕｂｍｉｔｔｅｄ ｔｏ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｅｄｉｎ— ｂｕｒｇｈ ｆｏｒ ｔｈｅ Ｄｅｇｒｅｅ ｏｆ Ｄｏｃｔｏｒ ｏｆ Ｐｈｉｌｏｓｏｐｈｙ．２００３． ［３］ Ｑｕｎ Ｌｉｕ，Ｓｕｊｉａｎ Ｉ．ｉ．Ｗｏｒｄ ｓｉｍｉｌａｒｉｔｙ ｃｏｍｐｕｔｉｎｇ ｂａｓｅｄ ｏｎ Ｈｏｗｎｅｔ［ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｉ．ｉｎ— ｇｕｉｓｔｉｃｓ ａｎｄ Ｃｈｉｎｅｓｅ Ｉ ａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ．２００２：５９— ７６． ［４］ Ｐ Ｂｕｉｔｅｌａａｒ，Ｐ Ｃｉｍｉａｎｏ，Ｍ Ｇｒｏｂｅｌｎｉｋ．Ｏｎｔｏｌｏｇｙ ｌｅａｒｎ ｉｎｇ ｆｒｏｍ ｔｅｘｔ［Ｃ］ ／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＥＣＭＩ ／ＰＫＤＤ． ２００５． Ｉｓ］ Ｔｉｎｇ Ｉ ｉｕ，Ｗａｎｘｉａｎｇ Ｃｈｅ。Ｓｈｅｎｇ Ｉ ｉ．Ｓｅｍａｎｔｉｃ Ｒｏｌｅ Ｌａｂｅｌｉｎｇ ｗｉｔｈ Ｍａｘｉｍｕｍ Ｅｎｔｒｏｐｙ Ｃｌａｓｓｉｆｉｅｒ＿Ｊ］．Ｊｏｕｒ ｎａｌ ｏｆ Ｓｏｆｔｗａｒｅ．２００７，１８（３）：５６５ ５７３． ［６］ Ｇ Ｍｉｌｌｅｒ．Ｗ Ｃｈａｒｌｅｓ．Ｃｏｎｔｅｘｔｕａｌ ｃｏｒｒｅｌａｔｅｓ ｏｆ ｓｅｍａｎ ｔｉｃ ｓｉｍｉｌａｒｉｔｙ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｌａｎｇｕａｇｅ ａｎｄ Ｃｏｇｎｉ ｔｉｖｅ Ｐｒｏｃｅｓｓｅｓ．１９９８． ［７］ Ｒｉｃｈａｒｄｓｏｎ Ｒ，Ｓｍｅａｔｏｎ Ａ Ｆ，Ｍｕｒｐｈｙ Ｊ．Ｕｓｉｎｇ Ｗｏｒｄ— Ｎｅｔ ａｓ ａ Ｋｎｏｗｌｅｄｇｅ Ｂａｓｅ ｆｏｒ Ｍｅａｓｕｒｉｎｇ Ｓｅｍａｎｔｉｃ Ｓｉｍ— ｉｌａｒｉｔｙ Ｂｅｔｗｅｅｎ Ｗｏｒｄｓ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＡＩＣＳ Ｃｏｎ— ｆｅｒｅｎｃｅ．１９９４． Ｅｓ］ Ｒ Ｒａｄａ。Ｈ Ｍｉｌｉ，Ｅ Ｂｉｃｋｎｅｌ１，ｅｔ ａ１．Ｄｅｖｅｌｏｐｍｅｎｔ ａｎｄ ａｐｐｌｉｃａｔｉｏｎ ｏｆ ａ ｍｅｔｒｉｃ ｏｎ ｓｅｍａｎｔｉｃ ｎｅｔｓ［（：］ ／Ｐｒｏｃｅｅｄ— ｉｎｇｓ ｏｆ ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｓｙｓｔｅｍｓ Ｍａｎａｇｅｍｅｎｔ ａｎｄ Ｃｙｂｅｒｎｅｔｉｃｓ．１９８９，１９：１ ７－３０． ［９］ Ｔｅｄ Ｐｅｄｅｒｓｅｎ，Ｓｉｄｄｈａｒｔｈ Ｐａｔｗａｒｄｈａｎ．Ｗｏｒｄｎｅｔ：ｓｉｍｉ ｌａｒｉｔｙ—。ｍｅａｓｕｒｉｎｇ ｔｈｅ ｒｅｌａｔｅｄｎｅｓｓ ｏｆ ｃｏｎｃｅｐｔｓ［Ｃ］／／Ｐｒｏ—— ｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １９ｔｈ Ｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ．２００４． ［ｉｏ］ Ｉ ｅａｃｏｃｋ Ｃ，Ｃｈｏｄｏｒｏｗ Ｍ．Ｃｏｍｂｉｎｉｎｇ ｌｏｃａｌ ｃｏｎｔｅｘｔ ａｎｄ ＷｏｒｄＮｅｔ ｓｉｍｉｌａｒｉｔｙ ｆｏｒ ｗｏｒｄ ｓｅｎｓｅ ｉｄｅｎｔｉｆｉｃａｌｉｏｎ ｒＭ］．ＷｏｒｄＮｅｔ：Ａｎ ｅｌｅｃｔｒｏｎｉｃ ｌｅｘｉｃａ１．１９９８：２６５ ２８３． ［１１］ Ｚｈｉｂｉａｏ Ｗｕ，Ｍａｒｔｈａ Ｐａｌｍｅｒ．Ｖｅｒｂｓ ｓｅｍａｎｔｉｃｓ ａｎｄ ｌｅｘｉｃａｌ ｓｅｌｅｃｔｉｏｎ［ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ３２ｎｄ Ａｎｎｕａｌ Ｍｅｅｔｉｎｇ ｏｎ Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｉ ｉｎｇｕｉｓ ｔｉｃｓ．２００３：１ ３３—１３８． ［１２］ Ｙｕｈｕａ Ｌｉ，Ｚｕｈａｉｒ Ａ Ｂａｎｄａｒ，Ｄａｖｉｄ ＭｃＩ ｅａｎ．Ａｎ ａｐ ｐｒｏａｃｈ ｆｏｒ ｍｅａｓｕｒｉｎｇ ｓｅｍａｎｔｉｃ ｓｉｍｉｌａｒｉｔｙ ｂｅｔｗｅｅｎ ｗｏｒｄｓ ｕｓｉｎｇ ｍｕｈｉｐｌｅ ｉｎｆｏｒｍａｔｉｏｎ ＳＯＵｒＣｅＳ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｋｎｏｗｌｅｄｇｅ ａｎｄ Ｄａｔａ Ｅｎｇｉｎｅｅｒｉｎｇ． ２ＯＯ３，１５． ［１３］ Ｉ）Ｑ Ｙａｎｇ，Ｄａｖｉｄ ＭＷ Ｐｏｗｅｒｓ．Ｍｅａｓｕｒｉｎｇ ｓｅｍａｎｔｉｃ ｓｉｍｉｌａｒｉｔｙ ｉｎ ｔｈｅ ｔａｘｏｎｏｍｙ ｏｆ ｗｏｒｄＮｅｔ［（、］ Ｐｒ。ｃｅｅｄ ｉｎｇｓ ｏｆ ｔｈｅ ２８ｔｈ Ａｕｓｔｒａｌａｓｉａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ．２００５，１０２：３１５－３２２． ［１４］ Ｓｈｉ Ｗａｎｇ，Ｃｕｎｇｅｎ Ｃａｏ，Ｙａｎａｎ Ｃａｏ，ｅｔ ａ１．Ｍｅａｓｕｒ ｉｎｇ Ｔａｘｏｎｏｍｉｃ Ｓｉｍｉｌａｒｉｔｙ ｂｅｔｗｅｅｎ Ｗｏｒｄｓ Ｕｓｉｎｇ Ｒｅ ｓｔｒｉｃｔｉｖｅ Ｃｏｎｔｅｘｔ Ｍａｔｒｉｃｅｓ［Ｃ］／ Ｐｒ。ｃｅｅｄｉｎｇｓ ｏｆ ５１ｈ Ｉｎｔｅｒｎａｔｉｏｎａ１ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｆｕｚｚｙ Ｓｙｓｔｅｍｓ ａｎｄ Ｋｎｏｗｌｅｄｇｅ Ｄｉｓｃｏｖｅｒｙ（ＦＳＫＤ ２００８）．２００８：１９３ １９７． ［１ ５］ Ｒｉｃａｒｄｏ Ｂａｅｚａ—Ｙａｔｅｓ，Ｂｅｒｔｈｉｅｒ Ｒｉｂｅｉｒｏ Ｎｅｔｏ．Ｍｏｄｅｒｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｒｅｔｒｉｅｖａｌ［Ｍ］．ｓ．１．：ＡＣＭ Ｐｒｅｓｓ，１９９９． ［１６］ Ｓｈｉ Ｗａｎｇ，Ｙａｎａｎ Ｃａｏ，Ｘｉｎｙｕ Ｃａｏ，ｅｔ ａ１．Ｌｅａｒｎｉｎｇ Ｃｏｎｃｅｐｔｓ ｆｒｏｍ Ｔｅｘｔ Ｂａｓｅｄ ｏｎ ｔｈｅ Ｉｎｎｅｒ—Ｃｏｎｓｔｒｕｃｔｉｖｅ Ｍｏｄｅ１．Ｋｎｏｗｌｅｄｇｅ Ｓｃｉｅｎｃｅ，Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ｍａｎ ａｇｅｍｅｎｔ［ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ２ｎｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎ ｆｅｒｅｎｃｅ（ＫＳＥＭ ２００７）．２００７． ［１７］ Ｈｅｒｂｅｒｔ Ｒｕｂｅｎｓｔｅｉｎ，Ｊｏｈｎ Ｂ Ｇｏｏｄｅｎｏｕｇｈ．Ｃｏｎｔｅｘｔｕａｌ Ｃｏｒｒｅｌａｔｅｓ ｏｆ Ｓｙｎｏｎｙｍｙ［ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＡＣＭ． １９８７，８：１３１ ７ １３２３． ［１８ｊ Ｇｅｏｒｇｅ Ａ Ｍｉｌｌｅｒ．ＷｏｒｄＮｅｔ：Ａ Ｌｅｘｉｃａｌ Ｉ）ａｔａｂａｓｅ ｆｏｒ Ｅｎｇｌｉｓｈ［ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｏｆ ｔｈｅ ＡＣＭ（ＣＡＣＭ）．１ ９９５，Ｖｏ１．３８：３９ ４】． ［１９］ 王石，曹存根．ＷＮＣＴ：一种ＷｏｒｄＮｅｔ中概念的自动 翻译方法［Ｊ］．中文信息学报，２００９，２３（４）：６３ ７０．
