预训练模型

目录结构

• 预训练模型是什么
• 预训练分词Subword
  • 1. Subword介绍
  • 2. 基于空格的分词方法
  • 3. 基于字母的分词方法
  • 4. 基于子词的分词方法
  • 4.1 Byte Pair Encoding (BPE)
  • 4.2 WordPiece
  • 4.3 Unigram Language Model (ULM)
  • 三种子词分词器的关系
• ELMo
  • 1.介绍
  • 2.ELMo原理
  • 3.ELMo 训练
  • 4. ELMo使用步骤
  • 5. 优缺点
  • 6. 参考文献
• Transformer
  • 1.介绍
  • 2.Transformer直观认识
  • 3. Transformer的结构
  • 3.1 Embedding
  • 3.2 Encoder
  • 3.3 Decoder
  • 3.4 Transformer的最后一层和Softmax
  • 3.5 Transformer的权重共享
  • 4 总结
  • 5. 参考文献
• Transformer-XL
  • 1. Transformer-XL的由来
  • 2. Transformer-XL 建模更长序列
  • 3. 相关资料
• Longformer
  • 1. Longformer的由来
  • 2. Longformer提出的Self-Attention
  • 3. Longformer Attention的实现
  • 4. 相关资料
• GPT
  • 1. 介绍
  • 2. 模型结构
  • 3. GPT训练过程
  • 4. GPT特点
  • 5. GPT 与 ELMo的区别
  • 参考文献
• XLNet
  • 1. 从AR和AE模型到XLNet模型
  • 2. Permutation Language Model
  • 3. Permutation Language Model如何建模
  • 4. 相关资料
• BERT
  • BERT介绍
  • BERT框架
  • BERT可视化
  • BERT的预训练任务
  • BERT的微调
  • BERT,GPT,ELMO的区别
  • 优缺点
• SpanBERT
  • 1. SpanBERT的技术改进点
  • 2. BERT模型中的预训练任务
  • 3. SpanBERT的预训练任务
  • 4. 相关资料
• RoBERTa
  • 1. Dynamic Masking
  • 2. Full-Sentences without NSP
  • 3. Larger Batch Size
  • 4. Byte-Level BPE
  • 5. More Data and More Training Steps
  • 6. 相关资料
• ERINE
  • 1. ERINE是什么
  • 2. Knowledge Masking Task
• ERNIE 3.0
  • 1. ERNIE 3.0的设计思路
  • 2. ERNIE 3.0的模型结构
  • 3. 不同类型的预训练任务
  • 4. 相关资料
• ERNIE-Gram
  • 1. ERNIE-Gram的由来
  • 2. ERNIE和N-Gram的融入方式
  • 3. 使用生成器显式建模N-gram Relation
  • 4. 相关资料
• ERNIE-Doc
  • 1. ERNIE-Doc的由来
  • 2. 经典/Recurrence Transformer的计算
  • 3. Retrospective feed mechanism
  • 4. Enhanced Recurrence Mechanism
  • 5. Segment-Reordering Objective
  • 6. 相关资料
• THU-ERNIE
  • 1. THU-ERNIE的由来
  • 2. THU-ERNIE的模型结构
  • 3. K-Encoder融合文本信息和KG知识
  • 4. THU-ERNIE的预训练任务
  • 6. 参考资料
• KBERT
  • 1. KBERT的由来
  • 2. KBERT的模型结构
  • 3. 相关资料
• ALBERT
  • 介绍
  • 模型结构
  • No Dropout
• ELECTRA
  • 1.介绍
  • 2.模型结构
  • 3.训练策略
  • 4. 实验
  • 5.分析
  • 6. 总结
  • 7. 参考文献
• Performer
  • 1. 介绍
  • 2. 两种常规的注意力机制回顾
  • 3. 广义注意力
  • 4. FAVOR+：通过矩阵相关性实现快速注意力
  • 5. 实验结果
  • 6. 案例：蛋白质序列建模
  • 7. 总结
  • 参考文献