L1 loss 与 MSE
---恢复内容开始--- 今天在训练时遇到的问题 把损失函数由 MSE 改成 L1 Loss 的时候 Loss 有了明显的下降 以前一直觉得 MSE 相对来说会更好 ，因为求导的话有标签与结果的差值作为系数，相差...
2018/05/06 00:00
加载中
回归损失函数1：L1 loss, L2 loss以及Smooth L1 Loss的对比
总结对比下$L1$ 损失函数，$L2$ 损失函数以及$text{Smooth} L_1$ 损失函数的优缺点。 均方误差MSE ($L_2$ Loss) 均方误差（Mean Square Error,MSE）是模型预测值$f(x)$ 与真实样本值$y$ 之间...
2020/04/16 00:00
L1和L2 loss的区别
引自：https://zhuanlan.zhihu.com/p/83131026 1、L1 loss 在零点不平滑，用的较少 ，、一般来说，L1正则会制造稀疏的特征，大部分无用特征的权重会被置为0 2、Smooth L1 Loss 修改零点不平滑...
2019/10/25 00:00
Crossentropy loss与Hinge loss
在之前写期望风险的时候其实已经提过这个概念了，再补充一下 损失函数 定义：损失函数就一个具体的样本而言，模型预测的值与真实值之间的差距。 对于一个样本（xi,yi）其中yi为真实值，而f（...
2019/08/27 00:00
一文理解Ranking Loss/Margin Loss/Triplet Loss
前言 ranking loss函数：度量学习 ranking loss的表达式 成对样本的ranking loss " data-formula-type="block-equation" style="text-align: center;overflow: auto;display: block;"> " da...
2020/08/11 00:00
[loss]Triphard loss优雅的写法
之前一直自己手写各种triphard，triplet损失函数， 写的比较暴力，然后今天一个学长给我在github上看了一个别人的triphard的写法，一开始没看懂，用的pytorch函数没怎么见过，看懂了之后， ...
2019/01/10 00:00
Focal Loss改进版 GFocal Loss
https://github.com/implus/GFocal 最小的模型，247m，时间100ms一张图片 Model Multi-scale training AP (minival) AP (test-dev) FPS Link GFLR50FPN1x No 40.2 40.3 19.4 Google GFLR50FP...
2020/10/08 00:00
Triple Loss
Pass Anchor image through all layers Pass Positive image through same layers Pass Negative image through same layers Compute Loss: L(A,P,N) = max(|| f(A) - f( P) ||2 - || f(A) -...
2019/07/03 00:00
Huber Loss
当预测偏差小于 δ 时，它采用平方误差, 当预测偏差大于 δ 时，采用的线性误差。 相比于最小二乘的线性回归，HuberLoss降低了对离群点的惩罚程度，所以 HuberLoss 是一种常用的鲁棒的回归损...
2020/07/22 00:00
contrastive loss
昨天Ke Kiaming大神的新文章 MoCo问世,reID中的contrastive loss逐渐往上游影响。自己对这一块一直没有一个总结梳理，趁着学习这篇文章的机会整理一下，挖个坑慢慢填 Distance metric learni...
2019/11/17 00:00
损失函数 hinge loss vs softmax loss
1. 损失函数 损失函数（Loss function）是用来估量你模型的预测值 f(x) 与真实值 Y 的不一致程度，它是一个非负实值函数，通常用 L(Y,f(x)) 来表示。 损失函数越小，模型的鲁棒性就越好。 损...
2018/02/23 00:00
Huber Loss
当预测偏差小于 δ 时，它采用平方误差, 当预测偏差大于 δ 时，采用的线性误差。 相比于最小二乘的线性回归，HuberLoss降低了对离群点的惩罚程度，所以 HuberLoss 是一种常用的鲁棒的回归损...
2020/07/23 00:00
Huber Loss
当预测偏差小于 δ 时，它采用平方误差,当预测偏差大于 δ 时，采用的线性误差。 相比于最小二乘的线性回归，HuberLoss降低了对离群点的惩罚程度，所以 HuberLoss 是一种常用的鲁棒的回归损失...
2019/10/25 00:00
euclidean loss
个人感觉相当于L2范式开平方,也相当于针对两个向量的欧氏距离开平方 说的更直白点就是两个向量对应位置相减得到每个位置的差,然后把每个位置的差开平方再相加 前向传播cpp代码: template vo...
2018/08/03 00:00
Similar Loss: 从AutoVC的Content Loss分析出的压缩解耦的Similar Loss框架
核心是理解Similar Loss能有什么用 有什么缺点, 所以要补充上DANN, l1正则化, 合适的A+B维度 1. Similar Loss完整框架 2. Similar Loss混乱思路时的笔记...
01/21 00:00
随想： BPR Loss 与 Hinger Loss - 知乎
备份链接：随想： BPR Loss 与 Hinger Loss 在之前的文章里，我们在加速Ranknet的时候意外的得到了BPR Loss：https://blog.tsingjyujing.com/ml/recsys/ranknet 我们说过，Ranknet可以不定用...
2020/08/04 00:00
for loss and pitching i
Breaking down Lions MVP candidates from 2014 season The Detroit Lions' season came to an abrupt end Sunday night after aheartbreaking 24 20 loss to the Dallas Cowboys in the fir...
2015/06/22 00:00
