利索能及
我要发布
收藏
专利号: 2024100223319
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
更新日期:2026-09-16
缴费截止日期: 暂无
联系人

摘要:

权利要求书:

1.一种小样本文本自动分类方法,其特征在于,包括:将待分类的文本数据、标注数据及其标签进行元任务构建,以获取支撑集 、查询集以及标签描述信息,并排列得到元任务的样本集合 ;

所述元任务构建包括,

构建N‑Way K‑Shot元任务, 代表元任务需要分类的类别数目, 代表每个类别提供的有标注数据的数目;

支撑集随机从每个类中有标注的数据中抽取 条,查询集从每个类中待分类的文本数据中抽取 条;

通过 表 示支撑集中第 个类 别的第 个样本,其中;

通过 表示查询集 中第 个类别的第 个样本,其中;

通过 表示第 个类别的标签信息,其中 ;

将所述样本集合 经过分词处理后进行嵌入,以获取每个样本对应的词向量矩阵;

将所述词向量矩阵 进行平均池化得到所有样本的句向量集合 ;其中,所述词向量矩阵 ,由 个 维的词向量 组成;

通过所有样本的句向量集合 计算监督对比损失 ;

将所述支撑集 和标签描述信息对应的句向量输入胶囊网络进行动态路由迭代计算,得到每个类别的类别向量 ;

计算每个查询集样本和每个类别向量之间的相似度得到一个相似度矩阵,并计算交叉熵损失 ;

将所述监督对比损失 和交叉熵损失 加权计算得出总损失 ,使用随机梯度下降法对整个模型的参数 进行更新;

将所述相似度矩阵 每行值最大的维度取为1,其余为0,得到预测标签矩阵。

2.如权利要求1所述的小样本文本自动分类方法,其特征在于,所述排列得到元任务的样本集合 ,包括,依据支撑集类别1‑ 的顺序排列,在每个类别支撑集最后一个样本 之后插入对应的类描述信息 ;

将查询集样本按通用的顺序排列,并设置在支撑集和类描述信息 之后,得到元任务的所有样本集合 。

3.如权利要求2所述的小样本文本自动分类方法,其特征在于,所述词向量矩阵 ,由 个 维的词向量 组成,经过平均池化操作计算转化为对应句向量的具体运算过程表示为: ;

其中, 表示序列中非 的标签掩码, 为每个样本除 之外的真实长度,其中 为填充标记,负责将输入样本填充为统一长度。

4.如权利要求3所述的小样本文本自动分类方法,其特征在于,所述计算监督对比损失,表示为: ;

其中, 为温度因子参数, 为除本身外参与对比的同类样本数量,向量间相似度计算 函数使用了两个向量的点积来计算向量相似度,点积后值越大,两个向量越相似。

5.如权利要求4所述的小样本文本自动分类方法,其特征在于,将所述支撑集 和标签描述信息对应的句向量输入胶囊网络进行动态路由迭代计算,其中 为迭代次数,得到每个类别的类别向量 ,包括:输入支撑集句向量与类标签信息句向量 ;

初始化将变量 ;

对于 中的每个句子向量 通过 函数计算得到 ;

在 次迭代中,执行以下操作:

使用 函数计算得到 ,表示每个类别的权重;

将类别向量 始化为0,将每个类别的句子向量加权求和得到 ;

通过 函数对 进行非线性转换得到 ;

对于每个类别向量 中的元素,分别计算 ;

在退出迭代过程后,将类别向量 重新计算一次,得到 ;

返回类别向量 作为输出结果。

6.如权利要求5所述的小样本文本自动分类方法,其特征在于,计算每个查询集样本和每个类别向量之间的相似度得到一个相似度矩阵,并计算交叉熵损失 ,表示为: ;

其中, 为相似度矩阵 中 行 列的元素, 为查询集的真实标签, 为查询集样本, 为类别向量。

7.一种应用如权利要求1所述的小样本文本自动分类方法的系统,其特征在于,包括,元任务构建模块,用于将待分类的文本数据、标注数据及其标签进行元任务构建,以获取支撑集 、查询集 以及标签描述信息,并排列得到元任务的样本集合 ;

嵌入模块,用于将所述样本集合 经过分词处理后进行嵌入,以获取每个样本对应的词向量矩阵 ;

池化模块,用于将所述词向量矩阵 进行平均池化得到所有样本的句向量集合;

第一计算模块,用于通过所有样本的句向量集合 计算监督对比损失 ;

第二计算模块,用于将所述支撑集 和标签描述信息对应的句向量输入胶囊网络进行动态路由迭代计算,得到每个类别的类别向量 ;

第三计算模块,用于计算每个查询集样本和每个类别向量之间的相似度得到一个相似度矩阵 ,并计算交叉熵损失 ;

更新模块,用于将所述监督对比损失 和交叉熵损失 加权计算得出总损失,使用随机梯度下降法对整个模型的参数 进行更新;

预测模块,用于将所述相似度矩阵 每行值最大的维度取为1,其余为0,得到预测标签矩阵 。

8.一种电子设备,包括:

存储器和处理器;

所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至6任意一项所述小样本文本自动分类方法的步骤。

9.一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至6任意一项所述小样本文本自动分类方法的步骤。