学习率是最影响性能的超参数之一，如果我们只能调整一个超参数，那么最好的选择就是它。相比于其它超参数学习率以一种更加复杂的方式控制着模型的有效容量，当学习率最优时，模型的有效容量最大。本文从手动选择学习...
Machine Learning理解深度学习中的学习率及多种选择策略
阅读全文
Machine Learning
Machine Learning深入了解tensorlow运行原理
导读：“我叫 Jacob，是谷歌 AI Residency 项目的学者。2017 年夏天我进入这个项目的时候，我自己的编程经验很丰富，对机器学习理解也很深刻，但以前我从未使用过 Tensorflow。...
Machine Learning直白介绍卷积神经网络
什么是卷积神经网络，它为何重要？ 卷积神经网络（也称作 ConvNets 或 CNN）是神经网络的一种，它在图像识别和分类等领域已被证明非常有效。 卷积神经网络除了为机器人和自动驾驶汽车的视觉助力之外...
Machine Learning30分钟手把手带你入门TensorFlow——Mnist手写数字识别实战教程
这一次将会带领大家实现mnist的手写数字识别，手把手教会你如何使用TensorFlow进行基本的操作。本次课程中，将会事无巨细地深入讲解每一个操作细节，为每一位读者提供最贴心的服务。 准备工作 安装...
Machine LearningTensorflow一些常用基本概念与函数（4）
摘要：本系列主要对tf的一些常用概念与方法进行描述。本文主要针对tensorflow的模型训练Training与测试Testing等相关函数进行讲解。为‘Tensorflow一些常用基本概念与函数’系...
Machine LearningTensorflow一些常用基本概念与函数（3）
摘要：本系列主要对tf的一些常用概念与方法进行描述。本文主要针对tensorflow的数据IO、图的运行等相关函数进行讲解。为‘Tensorflow一些常用基本概念与函数’系列之三。 1、序言 本文所...
Machine Learningtensorflow学习：参数初始化（initializer)
CNN中最重要的就是参数了，包括W,b。 我们训练CNN的最终目的就是得到最好的参数，使得目标函数取得最小值。参数的初始化也同样重要，因此微调受到很多人的重视，那么tf提供了哪些初始化参数的方法呢，我...
Machine Learning关于global average pooling理解和介绍
Golbal Average Pooling 第一次出现在论文Network in Network中，后来又很多工作延续使用了GAP，实验证明：Global Average Pooling确实可以提高...
Machine Learning卷积神经网络中的softmax，softmax loss和cross entropy的讲解
我们知道卷积神经网络（CNN）在图像领域的应用已经非常广泛了，一般一个CNN网络主要包含卷积层，池化层（pooling），全连接层，损失层等。虽然现在已经开源了很多深度学习框架（比如MxNet，Caf...
Machine Learning谈谈深度学习中的 Batch_Size
首先，为什么需要有 Batch_Size 这个参数？ Batch 的选择，首先决定的是下降的方向。如果数据集比较小，完全可以采用全数据集 （ Full Batch Learning ）的形式，这样做至...