麻辣隔壁第三季普通话，麻了隔壁的歇后语

全局令牌：有一些词需要考虑所有其他词，并且所有其他词也需要考虑。在下游微调时，作者对数据进行了一些清理，并使用NLA（Noisy Label Annealing）方法删除了微调模型与标签相差太大的预测结果。示例窗口为3，即仅考虑可用单词的前一个单词和下一个单词。

BigBird 论文是处理此类问题的最新模型之一。它使用块稀疏注意力来替代原来的像BERT这样的全注意力机制。在与BERT相同的计算能力下，可以处理的序列长度达到4096。 文本样本：该样本也没有标签。例如，在分类任务中，输入一些待分类的文本。论文中有32个。

1、麻辣隔壁第一季完整版

BERT注意力机制的存储量与序列长度呈二次关系。在长文本的情况下，存储需求变得难以承受，BigBird的块稀疏注意力就是为了解决这个问题而设计的。但过去这些作品都是以刺激Y（标签）为中心。昨天，我看到了谷歌的一篇作品。相反，我刺激X（文本），输入任务描述、文本样本和Y，直接输出X作为训练语料。然后对模型进行微调。

2、mlgb导弹

如果building是全局词，模型需要知道某些字符中单词NLP和单词HuggingFace之间的关系（这两个词在最左边和最右边），那么需要将单词building设置为全局词处理NLP和HuggingFace之间的关系。拥抱关系。上图展示了三种连接类型：全局连接、滑动连接、随机连接。每个节点代表一个单词，每条线代表注意力。如果两个词之间没有联系，则说明这两个词之间没有进行注意力计算。

3、mlgbd的意思

相邻词非常重要。当前单词的含义很大程度上取决于其相邻的前一个单词和相邻的后一个单词。这就是注意力的滑动。对于全局注意力，每个注意力查询都是用输入的所有其他单词来计算的。计算attention时，将序列中的关键序列复制两次，一次向左平移一个位置，另一次向右平移一个位置，然后将查询序列直接与三个关键序列向量相乘即可实现所有滑动令牌的计算。

关注公众号“李谣”，阅读有趣的AI前沿大鸟长文预训练模型介绍。本博客的目的是让读者深入了解Big Bird的运行机制，快速使用Transformers仓库上手BigBird模型。现在，可用单词只能对这些单词进行注意力计算，而不是对所有单词进行注意力计算。