想了解机器学习，需要知道哪些基础算法？

想了解机器学习，需要知道哪些基础算法？

支持向量机（Support Vector Machine）

SVM是二元分类算法。给定一组2种类型的N维的地方点，SVM产生一个（N - 1）维超平面到这些点分成2组。假设你有2种类型的点，且它们是线性可分的。 SVM将找到一条直线将这些点分成2种类型，并且这条直线会尽可能地远离所有的点。

朴素贝叶斯分类（Naive Bayesian classification）

朴素贝叶斯分类是一种十分简单的分类算法，方程如下图所示——P(A|B)是后验概率，P(B|A)是可能性，P(A)是类先验概率，而P(B)是预测先验概率。朴素贝叶斯的思想基础是这样的：对于给出的待分类项，求解在此项出现的条件下各个类别出现的概率，哪个最大，就认为此待分类项属于哪个类别。

决策树（Decision Trees）

决策树是一个决策支持工具，它使用树形图或决策模型以及序列可能性。包括各种偶然事件的后果、资源成本、功效。从商务决策的角度来看，大部分情况下，决策树是一个人为了评估做出正确决定的概率需要问的是/否问题的最小数值。它能让你以一个结构化和系统化的方式来处理这个问题，然后得出一个合乎逻辑的结论。

KNN算法

 KNN算法是通过测量不同特征值之间的距离进行分类。它的的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。K通常是不大于20的整数。KNN算法中，所选择的邻居都是已经正确分类的对象。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。

聚类算法

聚类算法比较多，最有名的莫过于kmean算法了， K-means算法是聚类分析中使用最广泛的算法之一。它把n个对象根据他们的属性分为k个聚类以便使得所获得的聚类满足：同一聚类中的对象相似度较高；而不同聚类中的对象相似度较小。

BP神经网络算法

BP（Back Propagation）神经网络是1986年由Rumelhart和McCelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用梯度下降法，通过反向传播来不断调整网络的权值和阈值

RBF神经网络算法

RBF网络是一个三层的网络，出了输入输出层之外仅有一个隐层。隐层中的转换函数是局部响应的高斯函数，而其他前向型网络，转换函数一般都是全局响应函数。由于这样的不同，要实现同样的功能，RBF需要更多的神经元，这就是rbf网络不能取代标准前向型网络的原因。但是RBF的训练时间更短。它对函数的逼近是最优的，可以以任意精度逼近任意连续函数。

想要入门的话建议看一下Peter Harrington写的《机器学习实战 [Machine learning in action]》按照书中的例子用python实现以下就清楚了

机器学习的相关图书1

本书展示了机器学习中核心的算法和理论，并阐明了算法的运行过程。本书综合了许多的研究成果，例如统计学、人工智能、哲学、信息论、生物学、认知科学、计算复杂性和控制论等，并以此来理解问题的背景、算法和其中的隐含假定。本书可作为计算机专业

本科生、研究生教材，也可作为相关领域研究人员、教师的参考书。 机器学习这门学科所关注的问题是：计算机程序如何随着经验积累自动提高性能。机器学习已经被成功地应用于很多领域，从检测信用卡交易欺诈的数据挖掘程序，到获取户阅读兴趣的信息过滤系统，再到能在高速公路上自动行驶的汽车。同时，这个学科的基理论和算法也有了重大进展。

这本教材的目标是展现机器学习中核心的算法和理论。机器学习从很多学科吸收了成果和概念，包括统计学、人工智能、哲学、信息论、生物学、认知科学、计算复杂性和控制等。笔者相信，研究机器学习的最佳途径是从这些学科的观点看待机器学习，并且以此来理解问题的背景、算法以及其中隐含的假定。这些在以往很难做到，因为在这一领域缺少包容广泛的原始资料，本书的主要目的就是提供这样的一份资料。

由于素材的多学科性，本书不要求读者具有相应的知识背景，而是在必要时介绍其他一些学科的基本概念，如统计学、人工智能、信息论等。介绍的重点是与机器学习关系最密切甲那些概念。本书可以作为计算机科学与工程、统计学和社会科学等专业的大学生或研究生的教材，也可作为软件研究人员或从业人员的参考资料。

指导本书写作的两条原则为：第一，它是在校大学生可以理解的；第二，它应该包含我希望我自己的博士生在开始他们的器学习研究前要掌握的内容。

指导本书写作的第三条原则是：它应该体现理论和实践间的均衡。机器学习理论致力于回答这样的问题“学习性能是怎样随着给定的训练样例的数量而变化的?”和“对于各种同类型的学习任务：哪个学习算法最适合?”利用来自统计学、计算复杂性和贝叶斯分析的理论成果，这本书讨论了这一类理论问题。同时本书也涵盖很多实践方面的内容：介绍了这一领域的主要算法，阐明了算法的运行过程。

其中一些算法的实现和数据可以在因特网上通过网址http：//www．cs．cmu．edu/-tom/mlbook．html得到，包括用于人脸识别的神经网络的源代码和数据、用于信贷分析的决策树学习的源代码和数据及分析文本文档的贝叶分类器的源代码和数据。我很感谢那些帮助我创建这些在线资源的同事，他们是：Jason Rennie、Paul Hsiung、Jeff Shufelt、Matt Glickman、Scott Davies、Joseph O’Sullivan、Ken Lang\Andrew McCallum和Thorsten Joachims。 第1章 引言

1．1 学习问题的标准描述

1．2 设计-个学习系统

1．2．1 选择训练经验

1．2．2 选择目标函数

1．2．3 选择目标函数的表示

1. 2．4 选择函数逼近算法

1．2．5 最终设计

1．3 机器学习的一些观点和问题

1．4 如何阅读本书

1．5 小结和补充读物

习题

第2章 概念学习和一般到特殊序

2．1 简介

2．2 概念学习任务

2．2．1 术语定义

2．2．2 归纳学习假设

2．3 作为搜索的概念学习

2．4 FIND-S：寻找极大特殊假设

2．5 变型空间和候选消除算法

2．5．1 表示

2．5．2 列表后消除算法

2．5．3 变型空间的更简洁表示

2．5．4 候选消除学习算法

2．5．5 算法的举例

2．6 关于变型空间和候选消除的说明

2．6．1 候选消除算法是否会收敛到正确的假设

2．6．2 下一步需要什么样的训练样例

2．6．3 怎样使用不完全学习概念

2．7 归纳偏置

2．7．1 -个有偏的假设空间

2．7．2 无偏的学习器

2．7．3 无偏学习的无用性

2．8 小始和补充读物

习题

第3章 决策树学习

3．1 简介

3．2 决策树表示法

3．3 决策树学习的适用问题

3．4 基本的决策树学习算法

3．4．1 哪个属性是最佳的分类属性

3．4．2 举例

3．5 决策树学习中的假设空间搜索

3．6 决策树学习的归纳偏置

3．6．1 限定偏置和优选偏置

3．6．2 为什么短的假设优先

3．7 决策树学习的常见问题

3．7．1 避免过度拟合数据

3. 7．2 合并连续值属性

3．7．3 属性选择的其他度量标准

3．7．4 处理缺少属性值的训练样例

3．7．5 处理不同代价的属性

3．8 小结和补充读物

习题

第4章 人工神经网络

4．1 简介

4．2 神经网络表示

4．3 适合神经网络学习的问题

4．4 感知器

4．4．1 感知器的表征能力

4. 4．2 感知器训练法则

4．4．3 梯度下降和delta法则

4．4．4 小结

4．5 多层网络和反向传播算法

4．5．1 可微阈值单元

4．5．2 反向传播算法

4．5．3 反向传播法则的推导

4．6 反向传播算法的说明

4．6．1 收敛性和局部极小值

4．6．2 前馈网络的表征能力

4．6．3 假设空间搜索和归纳偏置

4．6．4 隐藏层表示

4．6．5 泛化、过度拟合和停止判据

4．7 举例：人脸识别

4．7．1 任务

4．7．2 设计要素

4．7．3 学习到的隐藏层表示

4．8 人工神经网络的高级课题

4．8．1 其他可选的误差函数

4．8．2 其他可选的误差最小化过程

4．8．3 递归网络

4．8．4 动态修改网络结构

4．9 小结和补充读物

习题

第5章 评估假设

5．1 动机

5．2 估计假设精度

5．2．1 样本错误率和真实错误率

5．2．2 离散值假设的置信区间

5．3 采样理论基础

5．3．1 错误率估计和二项比例估计

5．3．2 二项分布

5．3．3 均值和方差

5．3．4 估计量、偏差和方差

5．3．5 置信区间

5．3．6 双侧和单侧边界

5．4 推导置信区间的一般方法

5．5 两个假设错误率间的差异

5．6 学习算法比较

5．6. 1 配对t测试

5．6．2 实际考虑

5．7 小结和补充读物

习题

第6章 贝叶斯学习

6．1 简介

6．2 贝叶斯法则

6．3 贝叶斯法则和概念学习

6．3．1 BRUTE-FORCE贝叶斯概念学习

6．3．2 MAP假设和一致学习器

6．4 极大似然和最小误差平方假设

6．5 用于预测概率的极大似然假设

6．6 最小描述长度准则

6．7 贝叶斯最优分类器

6．8 GIBBS算法

6．9 朴素贝叶斯分类器

6．10 举例：学习分类文本

6．11 贝叶斯信念网

6．11．1 条件独立性

6．11．2 表示

6．11．3 推理

6．11．4 学习贝叶斯信念网

6．11．5 贝叶斯网的梯度上升训练

6．11．6 学习贝叶斯网的结构

6．12 EM算法

6．12．1 估计k个高斯分布的均值

6．12．2 EM算法的一般表述

6．12．3 k均值算法的推导

6．13 小结和补充读物

习题

第7章 计算学习理论

7．1 简介

7．2 可能学习近似正确假设

7．2．1 问题框架

7．2．2 假设的错误率

7．2．3 PAC可学习性

7．3 有限假设空间的样本复杂度

7．3．1 不可知学习和不一致假设

7．3．2 布尔文字的合取是PAC可学习的

7．3．3 其他概念类别的PAC可学习性

7．4 无限假设空间的样本复杂度

7．4．1 打散一个实例集合

7．4．2 Vapnik-Chervonenkis维度

7．4．3 样本复杂度和VC维

7．4．4 神经网络的VC维

7．5 学习的出错界限模型

7．5．1 FIND-S算法的出错界限

7．5．2 HALVING算法的出错界限

7．5．3 最优出错界限

7．5．4 加权多数算法

7．6 小结和补充读物

习题

第8章 基于实例的学习

8．1 简介

8．2 k-近邻算法

8．2．1 距离加权最近邻算法

8．2．2 对k-近邻算法的说明

8．2．3 术语注解

8．3 局部加权回归

8．3．1 局部加权线性回归

8．3．2 局部加权回归的说明

8．4 径向基函数

8．5 基于案例的推理

8．6 对消极学习和积极学习的评论

8．7 小结和补充读物

习题

第9章 遗传算法

9．1 动机

9．2 遗传算法

9．2．1 表示假设

9．2．2 遗传算子

9．2．3 适应度函数和假设选择

9．3 举例

9．4 假设空间搜索

9．5 遗传编程

9．5．1 程序表示

9．5．2 举例

9．5．3 遗传编程说明

9．6 进化和学习模型

9．6．1 拉马克进化

9．6．2 鲍德温效应

9．7 并行遗传算法

9．8 小结和补充读物

习题

第10章 学习规则集合

10．1 简介

10．2 序列覆盖算法

10．2．1 一般到特殊的柱状搜索

10．2．2 几种变型

10．3 学习规则集：小结

10．4 学习一阶规则

10．4．1 一阶Horn子句

10．4．2 术语

10．5 学习一阶规则集：FOIL

10．5．1 FOIL中的候选特化式的生成

10．5．2 引导FOIL的搜索

10．5．3 学习递归规则集

10．5．4 FOIL小结

10．6 作为逆演绎的归纳

10．7 逆归纳

10．7．1 一阶归纳

10．7．2 逆归纳：一阶情况

10．7．3 逆归纳小结

10．7．4 泛化、-包容和涵蕴

10．7．5 PROGOL

10．8 小结和补充读物

习题

第11章 分析学习

11．1 简介

11．2 用完美的领域理论学习：PROLOG-EBG

11．3 对基于解释的学习的说明

11．3．1 发现新特征

11．3．2 演绎学习

11．3．3 基于解释的学习的归纳偏置

11．3．4 知识级的学习

11．4 搜索控制知识的基于解释的学习

11．5 小结和补充读物

习题

第12章 归纳和分析学习的结合

12．1 动机

12．2 学习的归纳-分析途径

12．2．1 学习问题

12．2．2 假设空间搜索

12．3 使用先验知识得到初始假设

12．3．1 KBANN算法

12．3．2 举例

12．3．3 说明

12．4 使用先验知识改变搜索目标

12．4．1 TANGENTPROP算法

12．4．2 举例

12．4．3 说明

12．4．4 EBNN算法

12．4．5 说明

12．5 使用先验知识来扩展搜索算子

12．5．1 FOCL算法

12．5．2 说明

12．6 研究现状

12．7 小结和补充读物

习题

第13章 增强学习

13．1 简介

13．2 学习任务

13．3 Q学习

13．3．1 Q函数

13．3．2 一个学习Q的算法

13．3．3 举例

13．3．4 收敛性

13．3．5 实验策略

13．3．6 更新序列

13．4 非确定性回报和动作

13．5 时间差分学习

13．6 从样例中泛化

13．7 与动态规划的联乐

13．8 小结和补充读物

习题

附录 符号约定