、ｌ 匐 似 内容分析技术在网络舆情智能检测中的应用 Ｃｏｎｔｅｎｔ ａｎａｌｙｓｉｓ ｏｆ ｐｕｂｌｉｃ ｏｐｉｎｉｏｎ ｉｎ ｔｈｅ ｉｎｔｅｌｌｉｇｅｎｔ ｎｅｔｗｏｒｋ ｄｅｔｅｃｔｉｏｎ 杨秋平 ＹＡＮＧ Ｑｉｕ—ｐｉｎｇ （东莞理工学院网络与教育技术中心，东莞５２３８０８） 摘要：目前，网络舆情越来越引起人们的关注，特别是部门对网络是突发事件、重大事件的网络 发帖、新闻跟帖等关注。基于此目前已经有网络舆情检测方面的系统出现。本文首先对现有 的网络舆情检测系统进行概述，分析其不足，并重点介绍了构建“网络舆情智能检测与分析系 统”涉及的内容分析技术应用。 关键词：智能检测与分析；网络舆情；数据挖掘；内容分析 中图分类号：ＴＮ９１ ５ 文献标识码：Ａ 文章编号：１ ００９—０１ ３４（２０１１）３（下）－００５３－０３ Ｄｏｉ：１ ０．３９６９／３．ｉｓｓｎ．１ ００９－０１ ３４．２０１１．３（下）．２０ ０引言 随着互联网的快速发展，网络媒体作为一种 新的信息传播形式，已深入人们的日常生活。网 络言论活跃已达到前所未有的程度，不论是对国 家的讨论，还是针对国内或国际的重大事件， 都能马上形成网上，这种网络来表达观点、 的把握所需的信息，提高决策效率，启迪决策思维。 ３）系统能提供各种舆情的趋势分析信息给决 策者。 １．２经济效益分析 目前，由于互联网的日益普及，各种舆情的 不断涌现，好的、坏的都有。部门、大型机 传播思想产生压力，达到任何部门、机构都 无法忽视的地步。 构、社会企业等都希望能尽早识别不良倾向的、 带有煽动或甚至含有社会危害的言论，或者是获 取落实、制度实施效果等信息。这些需要揭 网络舆情通过ＢＢＳ论坛、博客、新闻跟贴、 转贴等形式对现实生活中某些热点、焦点问题等 进行反应，其中不乏较强影响力、倾向性的言论 和观点。如果引导不善，负面的网络舆情将对社 会公共安全形成较大威胁。对相关部门来说， 如何加强对网络的及时监测、有效引导，以 示了系统建设在带来巨大的社会价值的同时带来 巨大的经济效益。 ２同类系统现状 基于目前的网络现状，为数不多的网络舆情 监测系统基本上是采用关键词搜索进行舆情信息 检测，由于关键词搜索的查全率和查准率都不高， 因此网络舆情监测的效果不够理想，更是无法自动 发现新的舆情点。 及对网络危机的积极化解，对维护社会稳定、 促进国家发展具有重要的现实意义，也是创建和 谐社会的应有内涵。 １ 系统价值 １．１社会效益分析 网络舆情智能监测与分析系统利用数据挖掘 技术实现对网络舆情的统计分析，并以此作为网 络舆情监测的管理的依据。具体作用表现在以下 几个方面： 部分网络舆情检测系统只是在企业内部使用， 无法适用于部门等大型机构，部分系统采用 的算法效率低，不能快速对数据进行处理，因而 无法满足超大网络环境下的舆情检测与分析，无 法做到自学习成长，没有类似知识库的自动累积 处理功能，必须人工协助处理。基于此种情况， １）系统向决策者提供客观、准确的舆情信息， 有利于决策者做出正确的决策。 提出创建 网络舆情智能检测与分析系统 项目来 解决这些问题…。 ２）系统向决策者提供系统的、高效的、综合 的、全面的舆情信息，便于决策者全面的、正确 收稿日期：２０１１－０２－２２ ３网络舆情智能检测与分析系统 该系统核心部分包括信息获取、信息处理、 作者简介：杨秋平（１９６３～），男，湖南汨罗人，高级工程师，硕士，主要从事计算机网络、计算机应用方面研究。 第３３卷第３期２０１１－３（下） Ｉ５３】 、ｌ生 訇 化 前端信息展现几个部分。实现从网页获取数据， 利用数据挖掘技术对数据进行清洗、提炼、分析 总结，最终形成决策信息并存入数据库中，提供 灵活的前端查询机制，把信息传递给决策人员。 网络舆情智能检测与分析系统实现以下目标： １）对热点话题、敏感话题识别。２）实现倾向性分 析。３）实现对舆情主题的跟踪。４）自动形成舆情 摘要。５）形成趋势分析报告。６）自动识别突发事 件及发展趋势。７）对敏感内容实现预警。８）提供 舆情分析统计报告提供决策支持。 该系统最重要的就是实现对网络舆情网页内 容的分析技术。下面就着重就此技术的应用进行 研究和总结。 ４核心技术研究 在网络舆情检测与分析系统构建时，一个重 要的方面就是实现对网络舆情的内容进行深入分 析。下面将对此技术的应用方法进行深入探讨。 该技术涉及到以下几个方面，分析单位的制 定、设计分析维度、抽取数据建立样本、量化处 理、信度分析、统计处理。 ４．１分析单位设置 分析单位是指在内容分析法中描述或解释研 究对象时，所使用的最小、最基本单位。当分析 单位比较大时，常常需要选择一些与其有关的中、 小层次的分析单位来加以描述、说明和解释。选 择分析单位与具体的研究目标、研究总体密切相 关，并以它们作为确定和选择的基础。 在网络舆情智能检测与分析系统中，我们把 采集典型的舆情内容作为分析单位，如采集单词 或单个符号、主题、人物以及意义的词组、 句子、段落乃至整篇ｗｅｂ文档都可以作为分析单 元。对于复杂的舆情可以采取多个分析单元。这 些内容将用于系统进行计算机进行机器学习 。 ４．２设计维度体系 分析的维度，又称分析的类目，是根据研究 需要而设计的将资料内容进行分类的项目和标准。 设计分析维度、类别有两种基本方法，一是采用 现成的分析维度系统，二是研究者根据研究目标 自行设计。第一种方法：先让两人根据同一标准， 编录同样用途的维度、类别，然后计算两者 之间的信度，并据此共同讨论标准，再进行编录， 直到对分析维度系统有基本一致的理解为止。最 【５４】 第３３卷第３期２０１１－３（下） 后，还需要让两者用该系统编录几个新的材料， 并计算评分者的信度，如果结果满意，则可用此 编录其余的材料。第二种方法：首先熟悉、分析 有关材料，并在此基础上制定初步的分析维度， 然后对其进行试用，了解其可行性、适用性与合 理性，之后再进行修订、试用，直至发展出客观 性较强的分析维度为止。分析维度必须有明确的 操作定义。 在设计分析维度过程我们坚持以下基本原则： １）分类必须完全、彻底、能适合于所有分析 材料，使所有分析单位都可归入相应的类别，不 能出现无处可归的现象。 ２）在分类中，应当使用同一个分类标准，即 只能从众多属性中选取一个作为分类依据。 ３）分类的层次必须明确，逐级展开，不能越 级和出现层次混淆的现象。 ４）分析类别（维度）必须在进行具体评判记 录前事先确定。 ５）在设计分析维度时应考虑如何对内容分析 结果进行定量分析，即考虑到使结果适合数据处 理的问题，以便计算机来处理。 ４．３抽样处理 抽样工作包括两个方面的内容：一是界定总 体，二是从总体中抽取有代表性的样本。内容分 析法常用的三种抽样方式是：来源取样、日期抽 样、分析单位取样。 ４．４量化处理 量化处理是把样本从形式上转化为数据化形 式的过程，包括作评判记录和进行信度分析两部 分内容。 评判记录是根据已确定的分析维度（类目）和 分析单位对样本中的信息作分类记录，登记下每 一个分析单位中分析维度（类目）是否存在和出现 的频率。要做好评判记录工作，需要注意以下几 个方面： １）按照分析维度（类目）用量化方式记录研 究对象在各分析维度（类目）的量化数据（例如， 有、无、数字形式、百分比）。 ２）采用事先设计好的易于统计分析的评判记 录表记录。先把每一分析维度的情况逐一登记下 来，然后再做出总计。 ３）相同分析维度的评判必须有两个以上的评 判员分别做出记录，以便进行信度检验。评判记 Ｉ 录的结果必须是数字形式。 甸 似 研究目标进行比较，得出关于研究对象的趋势或 特征、或异同点等方面的结论。 量化与统计是舆情内容分析中的重要步骤。 ４）在根据类目出现频数进行判断记录时，不 要忽略基数。 ４．５可信度分析 内容分析法的可信度指两个或两个以上的研 究者按照相同的分析维度，对同一材料进行评判 我们应用类目、等距和等比三种尺度将舆情内容 量化编码，转换成计算机能识别的符号进行统计。 利用频数、平均数、百分比、众数、中位数等描 结果的一致性程度，它是保证内容分析结果可靠 性、客观性的重要指标。 内容分析法的信度分析的基本过程： １）对评判者进行培训； 述性统计技术，结合方差分析、卡方分析、相关 分析、回归分析等推断性统计技术。在得到量化 数据之后，对这些数据进行合理的解释和分析， 最后形成舆情分析的结论。 ２）由两个或两个以上的评判者，按照相同的 分析维度，对同一材料进行评判分析； ５结束语 本文先介绍了目前网络现状、同时就同类分 析产品的不足进行了描述。另外着重从网络舆情 智能检测构建涉及的核心技术算法进行描述。 ３）对他们各自的评判结果使用信度公式进行 信度系数计算； ４）根据评判与计算结果修订分析维度（即评 判系统）或对评判者进行培训； ５）重复评判过程，直至Ⅱ取得可接受的信度为止。 参考文献： ［１】Ｊ．Ｈａｎ ａｎｄ Ｍ．Ｋａｍｂｅｒ Ｍｏｒｇａｎ Ｋａｕｆｍａｎｎ．韩家炜译．数据 挖掘：概念与技术．计算机工程与应用，２０００：ＰＩ３４—１６７． ［２】威滕，弗兰克．数据挖掘实用机器学习技术（原书第２版）． 计算机科学丛书，２００６，Ｐ８６—９１． 『３】西格兰．集体智慧编程．计算机科学丛书． ４．６统计处理 对评比判结果（所获得数据）进行统计处理。 描述各分析维度（类目）特征及相互关系，并根据 ｛岛‘ 竞‘ 翕● ． 岛 岛‘｛盘‘ 翕Ｉｒ 竞‘． 岛‘ 函‘ 岛‘ 翕｝ 矗 竞‘ 出‘ 霸｝ 翕｝ 竞 岛‘｛禹‘｛高‘ 是Ｉ 【上接第５２页】 表１仿真结果 码书训练算法 ＳＯＭ ｕｓｉｎｇ ｔｒａｎｓｆｏｒｍ ｖｅｃｔｏｒ ｑｕａｎｔｉｚａｔｉ０ｎ…．ＩＥＥＥ Ｔｒａｎｓ ＰＳＮＲ ３０．６０ 初始码书算法 随机抽取法 Ｃｏｍｍｕｎ，１９８７，３５（５）：３５２—３５９． 【３］Ｎａｓｒａｂａｄｉ Ｎ Ｍ，Ｋｉｎｇ Ｒ Ａ．Ｉｍａｇｅ ｃｏｄｉｎｇ ｕｓｉｎｇ ｖｅｃｔｏｒ ｑｕａｎｔｉｚａｔｉｏｎ：ａ ｒｅｖｉｅｗ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓ Ｃｏｍｍｕｎ，１９８８， 均值排序法 随机抽取法 ＦＳｏＭ ３１．５Ｏ ３Ｏ．９６ ３２．１７ ３６（８）：９５７—９７ １． ［４】Ｇａｆｉｙｃｈｕｋ Ｖ Ｖ，Ｄａｔｓｋｏ Ｂ Ｉｚｍａｙｌｏｖａ Ｊ．Ａｎａｌｙｓｉｓ ｏｆ ｄａｔａ 均值排序法 ｃｌｕｓｔｅｒｓ ｏｂｔａｉｎｅｄ ｂｙ ｓｅｌｆ－ｏｒｇａｎｉｚｉｎｇ ｍｅｔｈｏｄｓ［Ｊ】．Ｐｈｙｓｉｃａｌ— ４结束语 本文在训练集随机抽取法的基础上提出了一 Ｓｔａｔｉｓｔｉｃａｌ Ｍｅｃｈａｎｉｃｓ ａｎｄ Ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎｓ，２００４，３４１（１０）： ５４７—５５５． 种新的初始码书的获取方法——均值排序法，并 将其应用到ＳＯＭ和ＦＳＯＭ的矢量量化中。它的图 像恢复质量比训练集随机抽取法高。 【５】Ｎａｓｒａｂａｄｉ Ｎ Ｍ，Ｆｅｎｇ Ｖｅｃｔｏｒ ｑｕａｎｔｉｚａｔｉｏｎ ｏｆ ｉｍａｇｅｓ ｂａｓｅｄ ｕｐｏｎ ｔｈｅ Ｋｏｈｏｎｅｎ ｓｅｌｆ－ｏｒｇａｎｉｚａｔｉｎｇ ｆｅａｔｕｒｅ ｍａｐｓ［Ｃ］ ｜｜ＰｒｏＩｎｔｊｏｉｎｔＣｏｎｆ ＮｅｕｒａｌＮｅｔｗｏｒｋｓ，ＳａｎＤｉｅｇｏ．ＣＡ．Ｉｓ．ｎ ， １９８８，１：１０１—１０８． 参考文献： ［１１ Ｂｕｚｏ Ａ，Ｇｒａｙ Ａ Ｈ，Ｇｒａｙ Ｒ Ｍ，ｅｔ ａ１．Ｓｐｅｅｃｈ Ｃｏｄｉｎｇ ｂａｓｅｄ ｕｐｏｎ ｖｅｃｔｏｒ ｑｕａｎｔｉｚａｔｉｏｎ【Ｊ１．ＩＥＥＥ Ｔｒａｎｓ Ａｃｏｕｓｔ Ｓｐｅｅｃｈ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ，１９８０，２８（１０）：５６２—５７４． ［２］Ｎａｓｒａｂａｄｉ Ｎ Ｍ，Ｋｉｎｇ Ｒ Ａ．Ａ ｎｅｗ ｉｍａｇｅ ｃｏｄｉｎｇ ｔｅｃｈｎｉｑｕｅ 【６】Ｌｉｎｄｅ Ｙ，Ｂｕｚｏ Ａ，Ｇｒａｙ Ｒ Ｍ．Ａｎ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｖｅｃｔｏｒ ｑｕａｎｔｉｚｅｒ ｄｅｓｉｇｎ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓ Ｃｏｍｍｕｎ，ｌ９８０，２８（１）： ８４—９５． ［７］黎洪松．一种新的自组织神经网络算法 ．北京师范大学 学报（自然科学版），２００５年１０月，第４１卷，第５期：４９６—４９８． 第３３卷第３期２０１１－３（下） Ｉ５５１
