NTU-ML-《机器学习基石》笔记系列
前言“机器学习基石”是 Coursera 上一门关于机器学习的课程，由国立台湾大学的老师林轩田讲授。该课程一共有16节课，主要介绍了机器学习领域的基础理论知识。
授课大纲课程的大纲如下，以下的每个小项目对应到约一小时的课程：
When Can Machines Learn? [何时可以使用机器学习
...
NTU-ML-13-Hazard of Overfitting
Posted on
|
Post modified:
|
Visitors:
℃
Words count in article:
1,008
|
Reading time ≈
4
这节课主要讨论一下机器学习中过拟合的问题。
What is Overfitting?Overfitting什么是过拟合？首先来看一下之前介绍过的 VC 曲线
随着 $d_{\text{VC}}$ 的变大，$E_{\text{in}}$ 逐渐变小，而 $E_{\text{out}}$ 先变小再变大。我
...
NTU-ML-12-Nonlinear Transformation
Posted on
|
Post modified:
|
Visitors:
℃
Words count in article:
921
|
Reading time ≈
4
上一篇文章，我们总结了三种线性模型，并使用它们解决了二分类以及多分类问题。这篇文章主要介绍怎样解决非线性问题。
Quadratic Hypothesis当数据非线性可分的时候，我们需要使用特征转换，将原来非线性空间上的特征转换到新的线性空间，然后再使用之前学过的线性模型进行分类。
特征转换如下：$$
...
NTU-ML-6-Theory of Generalization
Posted on
|
Post modified:
|
Visitors:
℃
Words count in article:
1,525
|
Reading time ≈
7
Restriction of Break Point上次我们说到，需要探究 “break point” $k$ 与 $m_\mathcal{H}(N)$ 之间的关系。回顾一下，$m_\mathcal{H}(N)$ 表示假设空间在 $N$ 个样本点上能产生的最大二分数量，$k$ 表示不能满足完全分类情
...
NTU-ML-11-Linear Models for Classification
Posted on
|
Post modified:
|
Visitors:
℃
Words count in article:
1,602
|
Reading time ≈
7
这节课主要介绍使用线性模型来解决分类问题。
Linear Models for Binary ClassificationLinear Models Revisited之前我们介绍了三种线性模型，分别是 Linear Classification，Linear Regression 以及 Logis
...
NTU-ML-10-Logistic Regression
Posted on
|
Post modified:
|
Visitors:
℃
Words count in article:
1,308
|
Reading time ≈
6
这一节主要介绍 Logistic Regression 算法。
Logistic RegressionLogistic Regression 是一个分类算法，主要用于二分类的情况，算法预测的是样本属于某个类别的概率，即 $h(\mathbf{x}) = P(+1 | \mathbf{x})$。
因为
...
NTU-ML-9-Linear Regression
Posted on
|
Post modified:
|
Visitors:
℃
Words count in article:
831
|
Reading time ≈
4
这一节主要介绍线性回归算法。
Linear Regression Problem对于输出空间 $\mathcal{Y} = \Bbb{R}$ 的一类问题，一个比较简单的想法就是：将 Linear Classification 的决策函数中的 sign 函数去掉，使用各种特征的加权结果来表示 $y$$
...
NTU-ML-8-Noise and Error
Posted on
|
Post modified:
|
Visitors:
℃
Words count in article:
1,328
|
Reading time ≈
5
这一节主要讨论在有噪声的情况下，VC维理论是否仍适用。
Noise and Probabilistic Target回顾之前提到的机器学习的流程图，学习的目的，就是找到一个函数 $g$，使得它与目标函数 $f$ 差不多。
然而在现实生活中，往往伴随着噪声：
这些噪声的类别是多种多样的
noise
...
NTU-ML-7-The VC Dimension
Posted on
|
Post modified:
|
Visitors:
℃
Words count in article:
1
|
Reading time ≈
1
todo
NTU-ML-5-Training versus Testing
Posted on
|
Post modified:
|
Visitors:
℃
Words count in article:
1,483
|
Reading time ≈
7
接着上一篇所讨论的问题，继续讨论。
Recap and Preview回顾一下机器学习的流程图：
机器学习可以理解为寻找到 $g$，使得 $g \approx f$，也就是 $E_{out}(g) \approx 0$ 的过程。为了完成这件事情，有两个关键的步骤：
保证 $E_{out}(g) \
...