在利用深度学习模型分析DNA序列时，需要对DNA序列进行one hot encoding。以下是使用PyTorch对DNA序列进行One-hot编码的三种方法，并整合在一个代码中，同时计算不同方法处理...
深入理解Transformer及其源码
深度学习广泛应用于各个领域。基于transformer的预训练模型（gpt/bertd等）基本已统治NLP深度学习领域，可见transformer的重要性。本文结合《Attention is all ...
深度学习中的优化算法总结
深度学习中的优化问题通常指的是：寻找神经网络上的一组参数θ，它能显著地降低代价函数J(θ)。针对此类问题，研究人员提出了多种优化算法，Sebastian Ruder 在《An overview of ...
深度学习中使用的batchsize, step(iteration), epoch 含义以及其关系
在深度学习中，常常会遇到batch size, step(iteration), epoch等词。对于很多新手不太清楚这些词之间的关系是什么。这里做一个简单介绍。 名词 定义和含义 epoch 一个e...
手推公式带你轻松理解L1/L2正则化
前言 L1/L2正则化的目的是为了解决过拟合，因此我们先要明白什么是过拟合、欠拟合。 过拟合：训练出的模型在测试集上Loss很小，在训练集上Loss较大 欠拟合：训练出的模型在测试集上Loss很大，在...
深度学习train loss 和 test loss的关系与作用
train loss 不断下降，test loss不断下降，说明网络仍在学习;（最好的） train loss 不断下降，test loss趋于不变，说明网络过拟合;（max pool, dropou...
基于深度学习的超分辨率图像技术一览
超分辨率(Super-Resolution)即通过硬件或软件的方法提高原有图像的分辨率，图像超分辨率是计算机视觉和图像处理领域一个非常重要的研究问题，在医疗图像分析、生物特征识别、视频监控与安全等实际...
pytorch实战经验：4个提高深度学习模型性能的技巧
概述 深度学习是一个广阔的领域，但我们大多数人在构建模型时都面临一些共同的难题 在这里，我们将讨论提高深度学习模型性能的4个难题和技巧 这是一篇以代码实践为重点的文章，所以请准备好你的Python I...
深度学习：如何找到最优学习率
经过了大量炼丹的同学都知道，超参数是一个非常玄乎的东西，比如batch size，学习率等，这些东西的设定并没有什么规律和原因，论文中设定的超参数一般都是靠经验决定的。但是超参数往往又特别重要，比如学...
小白看得懂的 Transformer (图解)
1.导语 谷歌推出的BERT模型在11项NLP任务中夺得SOTA结果，引爆了整个NLP界。而BERT取得成功的一个关键因素是Transformer的强大作用。谷歌的Transformer模型最早是用于...