著名： 本文是从 Michael Nielsen的电子书Neural Network and Deep Learning的深度学习那一章的卷积神经网络的参数优化方法的一些总结和摘录，并不是我自己的结论...
卷积神经网络(CNN)的参数优化方法
阅读全文
十图详解tensorflow数据读取机制（附代码）
在学习tensorflow的过程中，有很多小伙伴反映读取数据这一块很难理解。确实这一块官方的教程比较简略，网上也找不到什么合适的学习材料。今天这篇文章就以图片的形式，用最简单的语言，为大家详细解释一下...
【论文阅读】Transformer简介
近年来，Transformer模型在自然语言处理（NLP）领域中横扫千军，以BERT、GPT为代表的模型屡屡屠榜，目前已经成为了该领域的标准模型。同时，在计算机视觉等领域中，Transf...
深度学习中的术语介绍
导览：很多人认为深度学习很枯燥，大部分情况是因为对深度学习的学术词语，特别是专有名词很困惑，即便对相关从业者，亦很难深入浅出地解释这些词语的含义。本文编译自Analytics Vidhya，相信读过此...
backbone、head、neck等深度学习中的术语解释
我们在阅读文章的时候，经常看到backbone head neck 这一类的术语，但是我们可能并不知道是什么意思，这篇文章就是对这些术语进行解释： backbone： 翻译为主干网络的意思，既然说是主...
Transformer模型详解
Transformer 是 Google 的团队在 2017 年提出的一种 NLP 经典模型，现在比较火热的 Bert 也是基于 Transformer。Transformer 模型使用了 Self-...
如何选择神经网络的超参数
1. 神经网络的超参数分类 神经网路中的超参数主要包括: 1. 学习率 η 2. 正则化参数 λ 3. 神经网络的层数 L 4. 每一个隐层中神经元的个数 j 5. 学习的回合数Epoch 6. 小批...
tfrecords 格式数据训练mnist
TFRecords是tensorflow存储数据的一种二进制文件，能更好的利用内存，更方便复制和移动，并且不需要单独的标签文件，类似于caffe中的LMDB和LvevelDB，极大的提高了IO吞吐。 ...
深度学习中的数据增强、backbone、head、neck、损失函数(loss function)术语解释和汇总
backbone：主干网络，用来提取特征，常用Resnet、VGG等 head：获取网络输出，利用提取特征做出预测 neck：放在backbone和head之间，进一步提升特征的多样性及鲁棒性 bot...
深度学习数据集最常见的6大问题（附解决方案）
简介 如果您还没有听过，请告诉您一个事实，作为一名数据科学家，您应该始终站在一个角落跟你说：“你的结果与你的数据一样好。” 尝试通过提高模型能力来弥补糟糕的数据是许多人会犯的错误。这相当于你因为原来的...