机器学习定义#
研究如何让计算机系统通过数据获得改善智能模型（函数）性能的知识和规律，并运用模型进行预测和决策。
机器学习三大支柱#
- 计算机
- 数据
- 学习方法（核心）
机器学习方法 = 模型形式 + 学习准则 + 优化算法
- 模型形式：将学习表述成数学问题，为利用计算机解决奠定了基础
- 学习准则：使得学习得到的知识能够更好地解决智能问题
- 优化算法：利用数据来求解模型参数的计算方法
传统模式识别的三大任务#
- 图像识别
- 文本分类
- 音频识别
ML 的任务类型#
- 监督学习
- 非监督学习
- 强化学习
- 深度学习
机器学习的推理方式#
实例学习及其三条断言#
期望风险与经验风险准则#
期望风险准则
期望风险是模型在所有可能的输入与输出数据（即真实的联合概率分布）上的平均损失。它代表了模型对未知数据的预测能力（即泛化能力），是机器学习追求的最终理想目标。但由于数据的真实分布通常未知，期望风险在实际中无法直接计算。
经验风险准则
经验风险是模型在有限训练数据集上的平均损失。它是期望风险的近似估计，也是实际训练中优化的直接操作对象（即经验风险最小化策略）。但由于训练样本有限，过度追求经验风险最小化容易导致模型“过拟合”，即“死记硬背”训练数据而失去通用性。