利索能及
我要发布
收藏
专利号: 2022113861554
申请人: 南通大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-10-21
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种基于SQ‑LDA主题模型的交通安全舆情分析方法,其特征在于,包括以下步骤:S1、获取交通安全社交软件舆情数据;

S2、预处理交通安全社交软件舆情数据;

S3、利用SQ‑LDA主题模型进行特征主题提取;

所述步骤S3具体包括以下步骤:S3.1、定义清洗后的重组舆情数据集 ,即:;

其中, 为清洗后的第 条评论内容数据;

S3.2、利用jieba分词工具对 进行分词;

S3.3、定义 中的关键词 , 为每条评论数据的关键词个数;

S3.4、导入停用表S;

S3.5、判断下标 是否满足 如果满足 ,则进入S3.6;如果不满足,则进入S3.8;

S3.6、判断下标 是否满足 如果满足 ,则进入S3.7;如果不满足 ,则进入S3.5;

S3.7、判断关键词 是否是停用词,并返回至S3.6;若关键词 是停用词,则删除该关键词;反之则保留该关键词;

S3.8、得到关键词表 ,定义 ,其中 为第 条评论数据的关键词组,且 ;

S3.9、假设有 个关于“交通安全”的主题 ;

S3.10、循环遍历关键词表 ,给每个关键词 分配一个主题 ,相同关键词可分配到不同的主题;

S3.11、遍历关键词组 ,定义并计算关键词 未属于主题 的概率和主题 在语料 中的概率 ;

S3.12、记 为狄利克雷函数的先验参数;

S3.13、定义关键词组 中关键词 属于主题 的概率 ,即:;

S3.14、利用余弦相似度,找到与关键词 最相似的2c个关键词 ,即这(2c+1)个关键词的主题类似;

S3 .15、定义关键词 与其最相似的2c个关键词 的相似概率;

S3.16、利用样本质量负采样,使概率 最小化,即:;

其中, 表示Huffman树中上下文不出现某词的期望值,为噪音关键词个数,为噪音关键词, 为噪音关键词 的向量表示, 为关键词 的向量表示;

S3.17、定义平均对数概率函数 ,即:;

其中,N=9789;

S3.18、最大化对数概率函数 ;

S3.19、区分关键词 与 个噪音关键词 ,并使 概率值增加;

S3.20、判断迭代次数 是否满足 ,如果满足 ,则进入S3.21;如果不满足,则进入S3.11,并更新迭代次数,即 ;

S3.21、合并优化相似关键词的主题词;

S3.22、寻找最优主题数 ,及在各主题 下,关键词 相对应的频次概率;

S4、可视化交通安全社交软件舆论热点。

2.根据权利要求1所述的一种基于SQ‑LDA主题模型的交通安全舆情分析方法,其特征在于,所述步骤S1具体包括以下步骤:S1.1、在社交软件搜索框中搜索关于“交通安全”的话题,获取对应内容的网络链接url;

S1.2、利用Python工具,引入requests模块并封装网络链接url,向服务器请求数据Data;

S1.3、将Data封装为json数据,并定义为Data_json;

S1.4、获取Data_json数据集中各“交通安全”话题下的舆论内容;

S1.5、引入BeautifulSoup模块,将抓取的舆论内容解析为对象进行处理,共爬取了

10000条关于“交通安全”的评论数据;

S1.6、得到原始舆情数据集Text。

3.根据权利要求1所述的一种基于SQ‑LDA主题模型的交通安全舆情分析方法,其特征在于,所述步骤S2具体包括以下步骤:S2.1、定义原始舆情数据集 ,即:;

其中 为第 条评论内容数据;

S2.2、判断下标 是否满足 ;如果满足 ,则进入S2.3;如果不满足,则进入S2.5;

S2.3、对原始舆情数据集 进行数据清洗;读取 数据,利用特殊符号定位评论内容数据的有效评论位置,去除无意义表情符、名称、首尾标点、颜文字、网址;

S2.4、建立停用表S,删除 数据中的无效文字,并进入S2.2;

S2.5、得到清洗后的重组舆情数据集 。

4.根据权利要求1所述的一种基于SQ‑LDA主题模型的交通安全舆情分析方法,其特征在于,所述步骤S4具体包括以下步骤:S4.1、搭建Django框架的web系统;

S4.2、利用ECharts和pyLDAvis可视化交通安全舆论的热点主题;

S4.3、分析不同热点主题下关键词相对应的频次概率   ();

S4.4、设定关键词的频次概率阈值为0.5;当某关键词相对应的频次概率时,该系统进行舆情预警。