什么是ML #misunder
了解什么是ML就先讲一下什么是AI：
- AI就是用人工的方式实现机器的智能
所以ML是达到AI的手段
而ML的本质是寻找一个函数（Looking for a function)，给定输入的图片 文字 语音等等 输出 图片label 文字含义 语音内容(相当于整套体系就是函数输入 用户输入 函数输出 机器输出)
而目前的趋势是DL相关研究占据了机器学习大部分内容，即DL是机器学习的一种方法
三类任务（要解决什么）
Classification（分类）
种类：
- Binary Classification
- 典型模型：垃圾邮件分类 是或者不是垃圾邮件
- Muti-class ~
- 典型模型：新闻类型分类
分类任务衡量标准可以用准确率
Regression（回归）
the output is "Scalar"(标量 )
衡量标准：可以用方差
典型模型：预测未来PM2.5的值
Structured Learning（结构化学习）
就是产生有结构内容 输入一段文字 一段语音 一张图片 然后输出句子 之类的 像是我们后面学的
GAN 就是属于这个
ML三步框架（framework）
Define a Model
第一步去定义模型，也就是去定义函数集（function set ）
Goodness of function
就是看model/函数的优劣，也就是task1提到的误差\(L = (\hat{y}-y)^2\)
Pick the Best
使用算法（algorithm）（优化 optimization）找到最佳参数
Learning Scenarious （Data Environment）
ML方法
因为Training data是核心 根据data类型分为了几种方法
Supervised learning
data类型：labelled data
DL
Supervised learning 里面最常见的就是DL，当然还会有其他类型
Semi-Supervised learing
data: labelled data and unlabelles data
Transfer Learning
data： labelled data and data not related
Unsupervised learning
data: unknown
就是我们想让机器自己去学会创造新的东西 自己去揭示内在规律
RL #RL #RLHF
其实严格来说这就不是按照data类型来分 而是学习方式上面：RL强调的是Learning from critic 就是从反馈中 从评价中学习 不同于supervised learning（相当于别人手把手地教导 有现成的“路线”）
这种是最接近人类的 所以在LLM阶段会有RLHF 同时这也使得RLHF既有可能增加幻觉率又有可能降低
https://www.cnblogs.com/end/p/17603685.html
这里补充两个方法：
Ensemble learning（集成学习）
构建并且结合多个学习器来完成 本身不是一个单独的机器学习算法，或者说没有自身的机器学习思维，而是采用集成的方式来完成对数据或事物的学习、训练过程。
Meta learning
给我的感觉就有点像是Meta-prompting 就是会更看重模型结构
