寻找合适的学习率(learning rate) 学习率是一个非常非常重要的超参数，这个参数呢，面对不同规模、不同batch-size、不同优化方式、不同数据集，其最合适的值都是不确定的，我们无法光凭经...
深度学习参数优化和训练技巧总结
阅读全文
快速图文理解卷积神经网络（CNN）
一、引子————边界检测 我们来看一个最简单的例子：“边界检测（edge detection）”，假设我们有这样的一张图片，大小8×8： 图片中的数字代表该位置的像素值，我们知道，像素值越大，颜色越亮...
理解深度学习中的学习率及多种选择策略
学习率是最影响性能的超参数之一，如果我们只能调整一个超参数，那么最好的选择就是它。相比于其它超参数学习率以一种更加复杂的方式控制着模型的有效容量，当学习率最优时，模型的有效容量最大。本文从手动选择学习...
深入了解tensorlow运行原理
导读：“我叫 Jacob，是谷歌 AI Residency 项目的学者。2017 年夏天我进入这个项目的时候，我自己的编程经验很丰富，对机器学习理解也很深刻，但以前我从未使用过 Tensorflow。...
PyTorch 深度学习学习笔记：Finetune和各层定制学习率
我们知道一个良好的权值初始化，可以使收敛速度加快，甚至可以获得更好的精度。而在实际应用中，我们通常采用一个已经训练模型的模型的权值参数作为我们模型的初始化参数，也称之为Finetune，更宽泛的称之为...
直白介绍卷积神经网络
什么是卷积神经网络，它为何重要？ 卷积神经网络（也称作 ConvNets 或 CNN）是神经网络的一种，它在图像识别和分类等领域已被证明非常有效。 卷积神经网络除了为机器人和自动驾驶汽车的视觉助力之外...
深度学习教程之基于代码一步一步教你深度学习中Transformer的原理
首先把所有代码放在一块，整体上了解一下transformer的结构和原理，后面继续分段介绍。 以下是一个基于代码的简单示例，演示Transformer模型的原理： import torch impor...
30分钟手把手带你入门TensorFlow——Mnist手写数字识别实战教程
这一次将会带领大家实现mnist的手写数字识别，手把手教会你如何使用TensorFlow进行基本的操作。本次课程中，将会事无巨细地深入讲解每一个操作细节，为每一位读者提供最贴心的服务。 准备工作 安装...
Tensorflow一些常用基本概念与函数（4）
摘要：本系列主要对tf的一些常用概念与方法进行描述。本文主要针对tensorflow的模型训练Training与测试Testing等相关函数进行讲解。为‘Tensorflow一些常用基本概念与函数’系...
Tensorflow一些常用基本概念与函数（3）
摘要：本系列主要对tf的一些常用概念与方法进行描述。本文主要针对tensorflow的数据IO、图的运行等相关函数进行讲解。为‘Tensorflow一些常用基本概念与函数’系列之三。 1、序言 本文所...