0. Calculating Receptive Field of CNN CNN特征图的两种可视化方法 感受野指的是一个特定的 CNN 特征（特征图上的某个点）在输入空间所受影响的区域。一个感受野可...

1、pooling是在卷积网络（CNN）中一般在卷积层（conv）之后使用的特征提取层，使用pooling技术将卷积层后得到的小邻域内的特征点整合得到新的特征。一方面防止无用参数增加时间复杂度，一方面...

（一）gradient_accumulate_steps 对于模型训练来说，batch_size越大，模型效果会越好。但是某些环境下，没有足够的GPU来支撑起大的batch_size，因此这时可以考虑...

个人认为理解并掌握这个logistic regression是学习神经网络和深度学习最重要的部分，也是最基础的部分，学完这个再去看浅层神经网络、深层神经网络，会发现后者就是logistic重复了若干次...

GPT-3，BERT，XLNet这些都是当前自然语言处理（NLP）的新技术，它们都使用一种称为 transformer 的特殊架构组件，这是因为，transformer 这种新机制非常强大，完整的tr...

简介 近年来NLP领域最让人印象深刻的成果，无疑是以谷歌提出的Bert为代表的预训练模型了。它们不断地刷新记录（无论是任务指标上，还是算力需求上），在很多任务上已经能超越人类平均水平，还具有非常良好的...

卷积神经网络(Convolutional Neueal Networks,简称CNN)可以说是神经网路模型中的"网红"网络框架，在计算机视觉方面贡献很大。卷积神经网络中的核心基础，涉及卷积层、池化层、...

卷积神经网络是以卷积层为主的深度网路结构，网络结构包括有卷积层、激活层、BN层、池化层、FC层、损失层等。卷积操作是对图像和滤波矩阵做内积（元素相乘再求和）的操作。1. 卷积层 常见的卷积操作如下： ...

Traditional Pooling Methods 要想真正的理解Global Average Pooling，首先要了解深度网络中常见的pooling方式，以及全连接层。 众所周知CNN网络中常...

深度卷积神经网络（CNNs）在特征识别相关任务中取得的效果，远比传统方法好。因此，CNNs常用于图像识别、语音识别等。但是，因为CNNs结构庞大，一般都会包含几十个神经层，每一层，又有数百至数千个神经...