寻找合适的学习率(learning rate) 学习率是一个非常非常重要的超参数，这个参数呢，面对不同规模、不同batch-size、不同优化方式、不同数据集，其最合适的值都是不确定的，我们无法光凭经...
深度学习参数优化和训练技巧总结
阅读全文
理解深度学习中的学习率及多种选择策略
学习率是最影响性能的超参数之一，如果我们只能调整一个超参数，那么最好的选择就是它。相比于其它超参数学习率以一种更加复杂的方式控制着模型的有效容量，当学习率最优时，模型的有效容量最大。本文从手动选择学习...
深入了解tensorlow运行原理
导读：“我叫 Jacob，是谷歌 AI Residency 项目的学者。2017 年夏天我进入这个项目的时候，我自己的编程经验很丰富，对机器学习理解也很深刻，但以前我从未使用过 Tensorflow。...
PyTorch 深度学习学习笔记：Finetune和各层定制学习率
我们知道一个良好的权值初始化，可以使收敛速度加快，甚至可以获得更好的精度。而在实际应用中，我们通常采用一个已经训练模型的模型的权值参数作为我们模型的初始化参数，也称之为Finetune，更宽泛的称之为...
直白介绍卷积神经网络
什么是卷积神经网络，它为何重要？ 卷积神经网络（也称作 ConvNets 或 CNN）是神经网络的一种，它在图像识别和分类等领域已被证明非常有效。 卷积神经网络除了为机器人和自动驾驶汽车的视觉助力之外...
深度学习教程之基于代码一步一步教你深度学习中Transformer的原理
首先把所有代码放在一块，整体上了解一下transformer的结构和原理，后面继续分段介绍。 以下是一个基于代码的简单示例，演示Transformer模型的原理： import torch impor...
卷积神经网络中的softmax，softmax loss和cross entropy的讲解
我们知道卷积神经网络（CNN）在图像领域的应用已经非常广泛了，一般一个CNN网络主要包含卷积层，池化层（pooling），全连接层，损失层等。虽然现在已经开源了很多深度学习框架（比如MxNet，Caf...
谈谈深度学习中的 Batch_Size
首先，为什么需要有 Batch_Size 这个参数？ Batch 的选择，首先决定的是下降的方向。如果数据集比较小，完全可以采用全数据集 （ Full Batch Learning ）的形式，这样做至...
卷积神经网络入门
卷积神经网络是近年发展起来，并引起广泛重视的一种高效识别方法。20世纪60年代，Hubel和Wiesel在研究猫脑皮层中用于局部敏感和方向选择的神经元时发现其独特的网络结构可以有效地降低反馈神经网络的...
深度学习必须掌握的 13 种概率分布
作为机器学习从业者，你需要知道概率分布相关的知识。这里有一份最常见的基本概率分布教程，大多数和使用 python 库进行深度学习有关。 一 概率分布概述 共轭意味着它有共轭分布的关系。 在贝叶斯概率论...