9项GLUE任务 General Language Understanding Evaluation 包含了很多自然语言理解的任务。
Bert笔记
使用了Mask Language Model(MLM) 和 Next Sentence Prediction(NSP) 的多任务训练目标；
Transformer笔记
Transformer 主包括两个部分，Encoder 和 Decoder，整体流程如下
主题指标
通常 Topic Model 对文本数据集建模，模型对训练数据集拟合的程度自然而然的使用来作为衡量模型好坏的指标，但是这样学出来的主题通常与人对主题的理解有较大差异。由此提出了一些用于衡量 Topic 质量的指标，主要分为两种（1）intrinsic measures；（2）extrinsic measures