学习与分类
训练数据集由 $P(X,Y)$ 独立同分布产生
参数估计
极大似然估计
学习与分类算法
文章作者: Musuyin
版权声明: 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 木素音的小站！
相关推荐
2026-03-16
k 近邻法
k 近邻算法 k-NNk 近邻法：基本分类与回归方法 基本思想给定一个训练数据集，其中实例类别已定。对于新的实例，根据其 $k$ 个最近邻的训练实例的类别，通过多数表决等方式进行预测 输入：训练数据集 $$T={(x_1,y_1),(x_2,y_2),\dots,(x_N,y_N)}$$ $x_i\in\chi\subseteq R^n$：实例的特征向量 $y\in\psi={c_1,c_2,\dots,c_k}$ 三要素 $k$ 值选择 距离度量 分类决策规则 kd 树k 近邻法最简单的实现方式是线性扫描（Linear Scan），但不适用于大训练集 构造 kd 树 kd 树是二叉树 表示对 $k$ 维空间的一个划分（paritition） 不断用垂直于坐标轴的超平面对 $k$ 维空间进行划分，构成一系列 $k$ 维超矩形区域 kd 树的每个结点对应一个 $k$ 维超矩形区域 步骤 例：给定一个二维空间的数据集：$T={(2,3)^T,(5,4)^T,(9,6)^T,(4,7)^T,(8,1)^T,(7,2)^T}$，构造一个平衡 kd 树...
2026-03-09
统计学习
2026-03-16
感知机
感知机 Perceptron感知机：二类分类的线性分类模型 输入空间是 $x\subseteq R^n$ 输出空间为 $y={-1,+1}$ 由输入空间到输出空间的函数： $$f(x)=\text{sign}(w\bullet x+b)$$ $w$ 和 $b$ ：感知机模型参数 $w\in R^n$：权值（weight）/权值向量（weight vector） $b\in R$：偏置（bias） $w\bullet x$：内积 $\text{sign}$：符号函数 $$\text{sign}(x)=\left{\begin{aligned}+1,\ x\geq0 \newline-1,\ x<0\end{aligned}\right}$$ 学习策略
2026-04-13
支持向量机
支持向量机概述支持向量机(Support Vector Machine, SVM)是一种二分类模型，它的基本思想是：在特征空间中找到一个最优的分离超平面，使得不同类别的样本被正确分开，并且分离超平面到两类样本的间隔最大。 为什么叫”支持向量”？想象你要在平面上画一条线，把圆圈和叉叉分开。你会发现： 大部分点离这条线很远，移动它们不会影响这条线的位置 只有最靠近分界线的几个点，才真正决定了这条线的位置 这些关键的点就叫做**”支持向量”**(Support Vectors) SVM 的三种情况根据训练数据的特点，SVM 可以分为三种： 线性可分支持向量机:当数据线性可分时,使用硬间隔最大化 线性支持向量机:当数据近似线性可分时,使用软间隔最大化 非线性支持向量机:当数据线性不可分时,使用核技巧将数据映射到高维空间 学习方法SVM 的学习策略是间隔最大化，可以形式化为一个凸二次优化问题。 学习的基本步骤： 构造最优化问题(原始问题) 转化为对偶问题(更容易求解) 使用 SMO 等算法求解 得到分离超平面和分类决策函数 线性可分支持向量机与硬间隔最大化线性可分支持向量机基...
2026-03-30
决策树
决策树决策树模型分类决策树模型是一种描述对实例进行分类的树形结构 决策树由以下内容组成： 结点 (node) 内部结点 (internal node) 表示一个特征或属性 叶结点 (leaf node) 表示一个类 有向边 (directed edge) 用决策树分类，从根结点开始，对实例的某一特征进行测试，根据测试结果，将实例分配到其子结点；这时，每一个子结点对应着该特征的一个取值。如此递归地对实例进行测试并分配，直至达到叶结点。最后将实例分到叶结点的类中 ![[images/截屏2026-03-30 13.16.50.png]] if-then 规则决策树的路径（或其对应的 if-then 规则集合）具有：互斥并完备的特性。即每一个实例都被且仅被一条路径或者一条规则覆盖 条件概率分布决策树表示给定特征条件下类的条件概率分布 这一条件概率分布定义在特征空间的一个划分 (partition)上 将特征空间划分为互不相交的单元 (cell) 或区域 (region) ，并在每个单元定义一个类的概率分布就构成了一个条件概率分布 决策树的一条路径对应于划分中...
公告
即使迷茫，也要前进！