检查training data上的loss
训练集Loss高
训练集的Loss过大，表明没有学好：
1. 模型偏差（model bias）
模型 (函数) 过于简单
重新设计模型，可以给模型更大的弹性，比如我们增加特征
2. 优化问题
弹性足够...
阅读全文...
【深度学习】判别模型与生成模型
判别模型与生成模型
逻辑回归我们可以称他为判别模型（Discriminative）
使用高斯分布来描述后验概率我们可以成为生成模型（Generative）
实际上他们的model和function set是一样的，都是 $\sigma(w \cdot...
阅读全文...
阅读全文...
【深度学习】逻辑回归（Logistic Regression）
逻辑回归
1. Function Set
以下依旧假设是二元分类，根据上节的计算我们得出我们的Model是一个关于 $z$ 的函数 $δ(z)$.
将其图形化：
2. Goodness of a Function
假设数据是根据 $f_{w, ...
阅读全文...
阅读全文...
【深度学习】分类 (Classification)
寻找一个函数，输入为 $x$，输出为 $x$ 的类别
graph LR
A((x)) --> B[Function]
B --> C(Class n)
今天介绍的是一种概率生成模型的分类方法
例：根据宝可梦某些数值对它的系别进行分类
分...
阅读全文...
阅读全文...
【深度学习】回归（Regression）
例：已知宝可梦进化前的数值，通过回归来预测他进化后的数值
1. Model
定义函数及相关变量，然后构造一个函数集合
2. Goodness of Function
通过训练集分析函数的好坏
定义一个损失函数 $L$（Loss Function），...
阅读全文...
阅读全文...
【深度学习】反向传播(Back propagation)
为了更好的计算梯度下降，我们使用反向传播算法
梯度下降 (Gradient Descent)
$L(\theta )$ ：损失函数 (Loss function)
问题在于$\bigtriangledown L(\theta )$可能是一个百万维的...
阅读全文...
阅读全文...
【C/C++】函数指针
函数指针
基础知识
1. 获取函数地址
只要使用函数名，后面不跟参数即可，也就是说，如果 think() 是一个函数，那么 think 就是该函数的地址。
传递参数时一定要区分传递的是函数地址还是函数返回值
process(think) // 传递thi...
阅读全文...
阅读全文...
Machine Learning for Cyber Security： 01 Introduction
术语
什么是机器学习关于网络安全的算法？
没有特定算法，是算法工具集，这些工具集可以应用于各个领域，其中重要的不同点是在于数据集。
来源于网络安全的数据
数据包（packets）
网络数据包（Network packets）
日志文件（log fil...
阅读全文...
阅读全文...
【深度学习】1. Introduction
Machine Learning
机器学习就是让机器具备找一个函式的能力。
我们期待凭借着机器的力量,把这个函式自动找出来，这件事情，就是机器学习。
Different types of Functions
Regression（回归）: T...
阅读全文...
阅读全文...
【makefile】使用make更新函数库文件
【原文作者：陈皓】 【原文地址】
函数库文件也就是对Object文件（程序编译的中间文件）的打包文件。在Unix下，一般是由命令 ar 来完成打包工作。
10.1 函数库文件的成员
一个函数库文件由多个文件组成。你可以用如下格式指定函数库文件及...
阅读全文...
阅读全文...