支持向量机是借助最优化方法来解决机器学习问题的新工具，建立在统计学理论的VC维理论和结构风险最小原理基础之上，根据有限样本在模型的复杂性和学习能力之间寻求最佳折中。它在解决小样本、非线性及高维度模式识别中表现出许多优势，并能推广应用到函数拟合等其他机器学习问题中。

随机森林算法的实质是基于决策树的分类器集成算法，其中每棵树都依赖于一个随机向量，森林中所有向量都是独立同分布的。随机森林在运算量没有显著提高的前提下提高了预测精度，其对多元共线性不敏感，结果对缺失数据和非平衡的数据比较稳健，可以很好地预测达到多达几千个解释变量。

以民主选举过程来比拟分类器的运作过程，选举中的每位选民的一次投票就相当于一个基分类器的分类结果，而一大批选民的一次投票则可以认为是一个集成分类算法的分类结果。如果有n个基分类器，每个基分类器的预测正确率都为0.5，当用n个基分类器进行共同预测时，预测结果正确的概率则等于“1 — n个基分类器全部预测错误的概率”，即P=1—(1-0.5)^n，即预测正确率渐趋于1。所以将基分类器进行集成的目的是使分类结果稳定，且正确率高。

决策树分为两个主要类型：分类树和回归树。分类树是针对目标为离散型的情况，即最终目标是预测各样本的所属类别；回归树适用于目标变量为连续型。

决策树的常用算法：CART(Classification and Regression Trees)和C4.5(successor of ID3)。
分类回归树CART是既可以建立分类树，也可以构造回归树的算法，是许多集成分类算法的基分类器。根节点或中间节点的字段选择指标是基尼指数。
C4.5是ID3(Iterative Dichotomiser 3)的改进算法，两者都以熵（Entropy）理论和信息增益理论为基础。其中，ID3的字段选择指标是信息增益，C4.5的字段选择指标是信息增益率。两者都只能针对离散型因变量进行分类。

判别分析就是根据已掌握的每个类别若干样本的数据信息，总结出客观事物分类的规律性，建立判别公式和判别准则，在遇到新的样本点时，再根据已总结出的判别公式和判别准则，来判断该样本点所属的类别。我个人觉得这应该属于监督学习的分类器算法。

本笔记记录基于R语言的三大主流判别分析算法：
-费尔希判别：包括线性判别分析和二次判别分析
-贝叶斯判别：主要是朴素贝叶斯分类算法
-距离判别：包括K最近邻(kNN)和有权重的K最近邻算法

本笔记记录基于R语言的普及性最广、最实用、最具有代表性的5种聚类算法：
-K-均值聚类(K-Means)
-K-中心点聚类(K-Medoids)
-系谱聚类(Hierarchical Clustering, HC)
-密度聚类(Densit-based Spatial Clustering of Application with Noise, DBSCAN)
-期望最大化聚类(Expectation Maximization, EM)

关联分析用于从大量数据中发现项集之间的有趣关联或相互关系，最经典的是Apriori 算法。

不要为失去的东西而忧伤，而要对拥有它的时光心存感激。
——《小狗钱钱》博多·舍费尔

Kmeans聚类算法有两个缺点，一是聚类效果容易受到异常样本点的影响，二是该算法无法准确地将非球形样本进行合理的聚类，而基于密度的聚类DBSCAN（Density-Based Special Clustering of Applications with Noise）可以弥补这两个缺点。“密度”可以理解为样本点的紧密程度，而紧密度的衡量需要使用半径和最小样本量进行评估，如果在指定的半径领域内，实际样本量超过给定的最小样本量阈值，则认为是密度高的对象。该算法可以非常方便地发现样本集中的异常点，故可以通常使用该算法实现异常点的检测。

线性回归模型、岭回归和LASSO回归模型、Logistic回归分类模型、决策树与随机森林、KNN模型、朴素贝叶斯模型等模型，在建模过程中都有一个共同特点，即数据集中包含了已知的因变量y值。但在有些场景中，并没有给定的y值，对于这类数据的建模，一般称为无监督的数据挖掘算法，最为典型的是聚类算法。