前言 神经网络构建好，训练不出好的效果怎么办？明明说好的，拟合任意函数(一般连续)？可以参考：http://neuralnetworksanddeeplearning.com/ 说好的足够多的数据(h...

在面对模型不收敛的时候，首先要保证训练的次数够多。在训练过程中，loss并不是一直在下降，准确率一直在提升的，会有一些震荡存在。只要总体趋势是在收敛就行。若训练次数够多（一般上千次，上万次，或者几十个...

我们知道，深度学习网络中的参数是通过计算梯度，在反向传播进行更新的，从而能得到一个优秀的参数，但是有的时候，我们想固定其中的某些层的参数不参与反向传播。比如说，进行微调时，我们想固定已经加载预训练模型...

相信很多人都知道Hugging Face，也都用过它的Transformers预训练语言模型，但你们有没有觉得它训练的有点太慢了呢？这时候，手把手教你怎么让训练时间缩短一半。 训练BERT 首先我们要...

周末在家发现了一个挺有意思的项目: 「也就是将你模型中的参数全部存储为一个连续的内存块，加速你的模型训练。」 于是我抱着试试看的心态，基于Fairseq和LightSeq分别实现了两个单层的Trans...