近年来，Transformer模型在自然语言处理（NLP）领域中横扫千军，以BERT、GPT为代表的模型屡屡屠榜，目前已经成为了该领域的标准模型。同时，在计算机视觉等领域中，Transf...
【论文阅读】Transformer简介
阅读全文
Transformer模型详解
Transformer 是 Google 的团队在 2017 年提出的一种 NLP 经典模型，现在比较火热的 Bert 也是基于 Transformer。Transformer 模型使用了 Self-...
从头开始实现Transformer
GPT-3，BERT，XLNet这些都是当前自然语言处理（NLP）的新技术，它们都使用一种称为 transformer 的特殊架构组件，这是因为，transformer 这种新机制非常强大，完整的tr...
Transformer及其变种
简介 近年来NLP领域最让人印象深刻的成果，无疑是以谷歌提出的Bert为代表的预训练模型了。它们不断地刷新记录（无论是任务指标上，还是算力需求上），在很多任务上已经能超越人类平均水平，还具有非常良好的...
深入理解Transformer及其源码
深度学习广泛应用于各个领域。基于transformer的预训练模型（gpt/bertd等）基本已统治NLP深度学习领域，可见transformer的重要性。本文结合《Attention is all ...
Transformer代码完全解读
2017年谷歌在一篇名为《Attention Is All You Need》的论文中,提出了一个基于attention(自注意力机制)结构来处理序列相关的问题的模型，名为Trans...
优化模型训练时间-BERT
相信很多人都知道Hugging Face，也都用过它的Transformers预训练语言模型，但你们有没有觉得它训练的有点太慢了呢？这时候，手把手教你怎么让训练时间缩短一半。 训练BERT 首先我们要...
优化模型训练时间-Transformer
周末在家发现了一个挺有意思的项目: 「也就是将你模型中的参数全部存储为一个连续的内存块，加速你的模型训练。」 于是我抱着试试看的心态，基于Fairseq和LightSeq分别实现了两个单层的Trans...