1.基于偏见注意力的视频推荐历史偏见缓解方法,包括如下步骤:(1)数据预处理;
(2)查找偏见神经元;
(3)计算偏见掩模;
(4)计算偏见注意力掩模;
(5)输出添加偏见注意力掩模;
(6)对每一层都重复步骤(2)、(3)、(4)和(5),直至所有层都经过去偏操作处理,至输出层结束;
步骤(1)具体包括:获取视频推荐系统数据的敏感属性,将该视频推荐系统数据的敏感属性值进行翻转,然后对原始数据敏感属性样本和翻转后的敏感属性样本进行组合,生成敏感属性的原样本对;在原样本对的基础上对其中除敏感属性之外的其他属性值添加不同大小扰动,获得原样本对附近的扰动样本对,最后将原样本对和扰动样本对按比例组合得到扩散样本对;
步骤(2)具体包括:将步骤(1)中生成的扩散样本对输入到模型中,计算每一层的激活值差异的平均值,按照差异均值大小排序找到偏见神经元;
(2‑1)计算激活值差异的平均值;
每一层神经元激活值:
z=wx+b (1)其中,z是神经元激活值,w是指该层神经元的权重,x是指输入特征,b则是该层神经元的偏差;
扩散样本对D的激活值差异的平均值Z计算公式:
其中,m+1是指原样本对W与扰动样本对V划分比例的总和, 则是指原样本对W激活值差异取平均值, 则是指扰动样本对V激活值差异取平均值,|zi‑zi'|是指敏感属性原样本对W中翻转后的神经元激活值差异值,|zj‑zj'|是指敏感属性扰动样本对V中翻转后的神经元激活值差异值;
(2‑2)对激活值差异的平均值Z进行从大到小排序,针对激活值差异均值基于正则化采样的自适应算法进行优化采样,对采样后的值进行降序排序,找到TOPk个神经元,标记为偏见神经元;
正则化自适应采样步长初始值;
其中,fl是指向下取整函数,sum是指每一层中所有神经元激活值差异均值的总数,k则是从该层神经元激活值差异均值中所需要取出的个数;
正则化自适应采样步长,每次取出一个神经元激活值差异均值后,将包含sum个神经元激活值差异均值的raw数组中正则采样一个神经元激活值差异均值到new数组中,直到取出所有值;
new[j]=raw[i] (4)sj+1=sj‑step (5)其中,j是指正则采样的new数组中元素的位置,j=0且j
对基于正则化采样的自适应算法采样后的值进行降序排序,从排序后的结果中找到TOPk个神经元,标记为偏见神经元,其中k的值为总神经元个数的2%;
步骤(3)具体包括:将步骤(2)中的偏见神经元的激活值差异的平均值进行归一化,并值赋给零向量中对应位置的元素后,按照通道方向取均值,计算得到偏见掩模;
(3‑1)建立一个空向量与对应偏见神经元层的输出特征尺寸相同,并对空向量中的每个元素赋值为0,得到一个零向量;
(3‑2)将步骤(2)中偏见神经元的激活值差异的平均值进行归一化,再将归一化后的值赋给零向量中对应偏见神经元位置的元素,得到新的含有偏见神经元元素的向量;
(3‑3)将步骤(3‑2)中含有偏见神经元元素的向量按照通道方向取均值,得到尺寸为1*H'*W'的偏见掩模;
步骤(4)具体包括:将步骤(3)中获得的偏见掩模进行reshape和矩阵变换操作,计算得到偏见注意力掩模;
(4‑1)对偏见掩模进行reshape操作,得到1*s1尺寸的矩阵B,其中s1=H'*W',再将矩阵T T TB转置得到矩阵B,矩阵相乘得到BB,尺寸为s1*s1,然后对矩阵B B按列计算矩阵中每列的均值,得到矩阵C',尺寸为1*s1;
(4‑2)计算得到偏见注意力掩模;
MaskAtt=1‑C (7)其中,MaskAtt的尺寸为1*H'*W',C是指尺寸为1*H'*W'的向量;
步骤(5)具体包括:将偏见注意力掩模叠加到该层的输出并输入至下一层;
outputnew=outputraw+MaskAtt (8)其中,outputnew是指添加了偏见注意力掩模MaskAtt后得到的层输出结果,outputraw则是未添加偏见注意力掩模MaskAtt含有偏见的原层输出结果。