所有的NLP大模型 都是transformer结构

1.Mask attention 的策略不同

2.训练任务目标不同

国内大模型nb公司：百度、清华智谱

一、主流大模型

粉色：Encoder-only。

绿色：Encoder-Decoder，尽头智谱ChatGLM。

蓝色：Decoder-only，尽头OpenAI GPT4。

二、OpenAI与智谱发展时间线

三、ChatGLM 

GLM支持国产GPU

轻量化部署

优势

四、搜索增强WebGPT vs WebGLM

WebGLM，整体思路：

1.网上搜索答案，并且进行过滤(提高相关性)。

2.使用大模型，将搜索的结果，reference进行汇总，输出答案(可以有多个)。

3.使用打分模型，计算各个答案的得分，返回最高得分。训练样本:人的点赞数。

五、图文理解 GPT-4V vs. CogVLM

六、文生图 DALL·E vs. CogView

DALL·E

CogView

用Beit编码图片