『关键词挖掘』结合 LDA + Word2Vec + TextRank 实现关键词的挖掘

利用 Python，结合 LDA + Word2Vec + Pagerank 实现关键词的挖掘。先用 LDA 方法初步选择出主题及其词分布，接着将每个主题下的词表示为词向量，用相似性表示词与词之间的权重，最后用 TextRank 方法对于主题下的关键词进行二次过滤。

实现思路

文献：融合主题词嵌入和网络结构分析的主题关键词提取方法

主要方法：词向量(Word2Vec) + 主题模型(LDA) + 关键词网络分析

这篇文献提供了一种 关键词提取 的思路：

• 首先利用 LDA 对于数据集的主题进行初步提取，生成 主题 - 词 (m×n) 矩阵；

• 接着，用 Word2Vec 训练数据集，得到词向量模型；

• For each t in Topic (m)：

  • For each w in KeyWords (n)：

    • 利用生成的词向量模型，用余弦法计算该主题下词与词的相似度，作为两点之间的权重；

    • 设置阈值，过滤掉权重较低的词关系，其余的两两词之间连成一条边；

    • 利用 PageRank 方法进行迭代，最后输出 PR 值最高的 TopN 个词作为该主题下的关键词。
      

总结：先用 LDA 方法初步选择出主题及其词分布，接着将每个主题下的词表示为词向量，用相似性表示词与词之间的权重，最后用 PageRank 方法对于主题下的关键词进行二次过滤。

先前准备

在开始关键词提取之前，我希望您已经准备好了以下条件：

• 已经安装好了 numpy 包：pip install numpy
• 已经用 LDA 得到了 主题-词 分布
• 已经训练好了 Word2Vec 模型

如果有疑问，请参考我之前的文章：

如果一切准备就绪，那就开始吧！！！

牛刀小试

在这一步，主要实现了 参数定义 + 文件读取 + 加载模型 的步骤。

首先是定义函数，主要传入三个参数：

• simvalue 给定一个最小的相似性值，若词与词之间的相似性大于该值，则构建词与词之间的边
• alpha 计算 TextRank 时所用，一般为 0.85
• iter_num 迭代次数

    def __init__(self, simvalue, alpha, iter_num):
        self.word_list = []  # 记录主题-词模型
        self.edge_dict = {
   }  # 记录节点的边连接字典
        self.simvalue = simvalue  # 满足该最小相似性值，词与词之间可构成边
        self.alpha = alpha
        self.iter_num = iter_num  # 迭代次数

接下来是读取 主题-词 文档，保存在" topicword.txt "。每一行为一个主题，每个主题下有30个词，保存在 word_list 中。我一共分了5个主题。

    # 读取文档，返回一个总的主题-词列表
    def readFile(self):
        with open("topicword.txt", "r", encoding='utf-8') as tw:
            for line in tw:
                self.word_list.append(line.strip().split(" "))
        # print(self.word_list)
        return self.word_list

在这一步的最后，是要加载之前训练好的 Word2Vec 模型。

# 加载Word2Vec模型
    def loadModel(self):
    	self.path = "word2vec.model"  # Word2Vec模型路径
        self.model = word2vec.Word2Vec.load(self.path)
        print("模型加载完成")
        return self.model

计算TR值

• (1) 首先根据词语之间相似性，构建每个词的相邻词，过滤掉相似性较小的词，返回边的集合
  
  这个图可以帮助理解。对于每一个主题，判断每一个词在不在定义的词典内。若不在词典内，说明还未进行边的连接。对于这个 word ，遍历该主题内的每一个词，计算该词与其余词的向量相似性。若该相似性大于事先定义的 simvalue ，则将其加入 tmp_set。假定 word1 最后返回的 tmp_set 为 tmp_set = { Word0, Word2 }，表明 word1 与 word0 和 word2 建立了边连接。最后将它保存到字典中，形式为 { Word1 : Word0, Word 2 }

    def calTR(self):

        # 首先根据词语之间相似性，构建每个词的相邻词，过滤掉相似性较小的词，返回边的集合
        word_list_len = len(self.word_list)  # 主题个数
        term_num = 30  # 每个主题下词的个数
        names = globals()
        for list, t in zip(self.word_list, range(word_list_len)):  # list表示每一个主题-词，t为主题序数，即第几个主题
            names['self.edge_dict_' + str(t)] = {
   }  # 为每一个主题建立一个词典，如第一个主题的词典名称为 self.edge_dict_0
            for index, word in enumerate(list):  # 枚举可以同时遍历索引和值
                if word not in names.get('self.edge_dict_' + str(t)).keys():  # 表明该词还未进行边的连接
                    tmp_set = set()  # set()函数创建一个无序不重复元素集
                    for i in range(term_num):
                        if i == index:
                            continue  # 若为该单词，则跳出本次循环
                        word0