什么做网站推广免费个人网站注册

bert 属于自监督学习的一种（输入x的部分作为label）

1. bert是 transformer 中的 encoder ，不同的bert在encoder层数、注意力头数、隐藏单元数不同

2. 假设我们有一个模型 m ，首先我们为某种任务使用大规模的语料库预训练模型 m 。现在来了一个新任务，并有一个新模型，我们使用已经训练过的模型(预训练的模型) m 的参数来初始化新的模型，而不是使用随机参数来初始化新模型。然后根据新任务调整(微调)新模型的参数

3. bert（预训练做两个任务，一是填空（预测被屏蔽掉的词）二是 NSP 判断是否下一句（预测CLS）），但接下来可以做其他任务，又叫微调（需要一些标注数据）

4. 输入到bert模型之前需要编码

token embedding + segment embedding + position embedding