p和q是两个概率分布。其中xi是取值的可能,在机器学习中,xi为样本的某一个类别的可能,n为类标的数量。p(xi)为样本取值为xi的真实概率,q(xi)表示样本取值为xi的预测概率。例子如下:
对于特殊的二分类来说:假设样本取值为1的真实概率为p(1)=p,样本取值为1的预测概率为q(1)=q。
则此时的交叉熵损失为loss = -(p*log(q)+(1-p)*log(1-q))
参考自:https://blog.csdn.net/tsyccnh/article/details/79163834