检查training data上的loss
训练集Loss高
训练集的Loss过大,表明没有学好:
1. 模型偏差(model bias)
模型 (函数) 过于简单
重新设计模型,可以给模型更大的弹性,比如我们增加特征
2. 优化问题
弹性足够...
阅读全文...
【深度学习】判别模型与生成模型
判别模型与生成模型
逻辑回归我们可以称他为判别模型(Discriminative)
使用高斯分布来描述后验概率我们可以成为生成模型(Generative)
实际上他们的model和function set是一样的,都是 $\sigma(w \cdot...
阅读全文...
阅读全文...
【深度学习】逻辑回归(Logistic Regression)
逻辑回归
1. Function Set
以下依旧假设是二元分类,根据上节的计算我们得出我们的Model是一个关于 $z$ 的函数 $δ(z)$.
将其图形化:
2. Goodness of a Function
假设数据是根据 $f_{w, ...
阅读全文...
阅读全文...
【深度学习】分类 (Classification)
寻找一个函数,输入为 $x$,输出为 $x$ 的类别
graph LR
A((x)) --> B[Function]
B --> C(Class n)
今天介绍的是一种概率生成模型的分类方法
例:根据宝可梦某些数值对它的系别进行分类
分...
阅读全文...
阅读全文...
【深度学习】回归(Regression)
例:已知宝可梦进化前的数值,通过回归来预测他进化后的数值
1. Model
定义函数及相关变量,然后构造一个函数集合
2. Goodness of Function
通过训练集分析函数的好坏
定义一个损失函数 $L$(Loss Function),...
阅读全文...
阅读全文...
【深度学习】反向传播(Back propagation)
为了更好的计算梯度下降,我们使用反向传播算法
梯度下降 (Gradient Descent)
$L(\theta )$ :损失函数 (Loss function)
问题在于$\bigtriangledown L(\theta )$可能是一个百万维的...
阅读全文...
阅读全文...
【C/C++】函数指针
函数指针
基础知识
1. 获取函数地址
只要使用函数名,后面不跟参数即可,也就是说,如果 think() 是一个函数,那么 think 就是该函数的地址。
传递参数时一定要区分传递的是函数地址还是函数返回值
process(think) // 传递thi...
阅读全文...
阅读全文...
Machine Learning for Cyber Security: 01 Introduction
术语
什么是机器学习关于网络安全的算法?
没有特定算法,是算法工具集,这些工具集可以应用于各个领域,其中重要的不同点是在于数据集。
来源于网络安全的数据
数据包(packets)
网络数据包(Network packets)
日志文件(log fil...
阅读全文...
阅读全文...
【深度学习】1. Introduction
Machine Learning
机器学习就是让机器具备找一个函式的能力。
我们期待凭借着机器的力量,把这个函式自动找出来,这件事情,就是机器学习。
Different types of Functions
Regression(回归): T...
阅读全文...
阅读全文...
【makefile】使用make更新函数库文件
【原文作者:陈皓】 【原文地址】
函数库文件也就是对Object文件(程序编译的中间文件)的打包文件。在Unix下,一般是由命令 ar 来完成打包工作。
10.1 函数库文件的成员
一个函数库文件由多个文件组成。你可以用如下格式指定函数库文件及...
阅读全文...
阅读全文...