MFDYCS's Blog

发表于 2022-05-27 | 更新于 2022-05-27 | 深度学习人工智能 | 作者: MFDYCS | 0条评论

出现原因：CNN不能解决图像放大缩小和旋转的问题（即数据增强问题） Spatial Transformer Layer是在CNN前又叠了一个Neuron Network 它不仅可以transform input layer，也可以被放在CNN里面，...

阅读全文...

【深度学习】CNN

发表于 2022-05-27 | 更新于 2022-05-27 | 深度学习人工智能 | 作者: MFDYCS | 0条评论

图像识别：输入一张 $100 \times 100$ 的图片，输出识别结果 Introduction 1 对于机器来说，一张图片是一个三维的tensor（长、宽、channel），把矩阵拉直成向量如果我们把它输入到DNN中，会导致参数过多，有过拟合...

阅读全文...

发表于 2022-05-25 | 更新于 2022-05-25 | 深度学习人工智能 | 作者: MFDYCS | 0条评论

critical point 不一定是我们训练中最大的阻碍大多时候，Loss不再变动，大家会猜测是不是gradient为0的问题，但实际上Loss不再下降时gradient不一定很小当Learning rate较大时，会发现gradient在两侧震...

阅读全文...

发表于 2022-05-25 | 更新于 2022-05-25 | 深度学习人工智能 | 作者: MFDYCS | 0条评论

Batch shuffle：常见做法为在每次epoch开始之前划分一次batch，每个epoch的batch都不一致，使得每个epoch都不一样但更新参数也需要时间因此，batch过小其实会耗费巨量的时间，但batch过大会影响结果...

阅读全文...

发表于 2022-05-25 | 更新于 2022-05-25 | 深度学习人工智能 | 作者: MFDYCS | 0条评论

在模型训练过程中,我们可能会遇到模型loss function无法下降的情况，此时梯度为0，这个点统称为临界点（critical point）局部最小值 (local minima) 与鞍点 (saddle point) 如何判断是卡在局部最...

阅读全文...

发表于 2022-05-25 | 更新于 2022-05-25 | 深度学习人工智能 | 作者: MFDYCS | 0条评论

检查training data上的loss 训练集Loss高训练集的Loss过大，表明没有学好： 1. 模型偏差（model bias）模型 (函数) 过于简单重新设计模型，可以给模型更大的弹性，比如我们增加特征 2. 优化问题弹性足够...

阅读全文...

发表于 2022-05-24 | 更新于 2022-05-24 | 深度学习人工智能 | 作者: MFDYCS | 0条评论

判别模型与生成模型逻辑回归我们可以称他为判别模型（Discriminative）使用高斯分布来描述后验概率我们可以成为生成模型（Generative）实际上他们的model和function set是一样的，都是 $\sigma(w \cdot...

阅读全文...

发表于 2022-05-24 | 更新于 2022-05-24 | 深度学习人工智能 | 作者: MFDYCS | 0条评论

逻辑回归 1. Function Set 以下依旧假设是二元分类，根据上节的计算我们得出我们的Model是一个关于 $z$ 的函数 $δ(z)$. 将其图形化： 2. Goodness of a Function 假设数据是根据 $f_{w, ...

阅读全文...

发表于 2022-05-23 | 更新于 2022-05-24 | 机器学习人工智能 | 作者: MFDYCS | 0条评论

寻找一个函数，输入为 $x$，输出为 $x$ 的类别 graph LR A((x)) --> B[Function] B --> C(Class n) 今天介绍的是一种概率生成模型的分类方法例：根据宝可梦某些数值对它的系别进行分类分...

阅读全文...

发表于 2022-05-23 | 更新于 2022-05-23 | 深度学习人工智能 | 作者: MFDYCS | 0条评论

例：已知宝可梦进化前的数值，通过回归来预测他进化后的数值 1. Model 定义函数及相关变量，然后构造一个函数集合 2. Goodness of Function 通过训练集分析函数的好坏定义一个损失函数 $L$（Loss Function），...

阅读全文...