开始阅读孟繁岐代码的同事们，很快就变成了问题达人，看到不大清楚的地方就马上发问。
“这里你为什么使用了这个新的层归一化，而不是去年你发布的批归一化呢？”
“我觉得语言这种数据比较特殊一些，图片我们经常统一整理成相同的分辨率，但是文本这种东西的话，有长有短，我知道一般大家会把后面加0以确保样本长度相同，方便处理。”
“但是这样做的话呢，在批次的这个维度上，归一化很有可能会产生大的波动，尤其是在小批次上。比如一长一短两个文本作为一个批次，你的均值和方差的计算就会非常不稳定。”
孟繁岐的解释通俗易懂，在场的同事基本上都瞬间理解到了重点，毕竟代码就在这里了。
“所以这个层归一化，其实只是针对样本自己的向量特征做了归一化，不管样本长短，大家的特征长度都是固定的。”
“理解了，理解了。”
“妙啊...没想到这么多东西在细节里面。”
有不少人只顾着看那些重大变动的部分，压根就没注意到这里做了什么不同的操作。
“也不只是训练，即便训练的时候没有遭遇问题，但在推理的时候，有人不讲武德，突然拿出一个超长的文本。这样一来，你的模型没有在长文本上算过均值和方差，突然面对比较突兀的输入，也很有可能出现很大的问题。”
“层归一化就不会，因为均值和方差都是在样本自己里面进行计算。”
阿里克斯则注意到了注意力机制的写法似乎和平常有些不大一样：“自注意力机制我们大概都能理解，这里为什么是多头自注意力机制呢？”
“我们希望算法模型基于注意力机制这种东西关注比较重要的内容，但同时，在模型规模较大的情况，模型如果整体关注的东西太过单一也不是什么好事。”
“拥有一定长度的文本，对比图像来说可能比较重点的内容有很多，将注意力拆分为多组，不仅能够让模型关注到输入的不同部分，同时也更方便去做并行加速。”
......
谷歌大脑十位左右的研究员聚在这里，越讨论越觉得这方法不一般。
不仅宏观层面上多了方便并行、结构简洁、长距离关联能力强等特点，模型内部孟繁岐的各种实现那都是深思熟虑，非常直击要害的。
给人的感觉，就是千锤百炼打磨过很久。
“好家伙，你不是做图像类任务的吗？怎么在序列类型的数据上也这么厉害？”
在场的诸人都了解孟繁岐这一路的学术成果，千分类、检测、生成、人脸甚至前几周刚做的医疗方面，乃至于阿尔法围棋也算是另一种性质的图像。
而现在，这可是直接跨行做到语音和语言这方面来了。
关键是你来就来吧，怎么一来就掀大家桌子？
谷歌大脑这边的人倒还好，至少自己也积极参与了进来。
一群人聚在一起，研究的声势是浩浩荡荡，很快隔壁专门的语音组就听到了风声。
“卧槽？这小子怎么跑我们的领域来了？真是饶了我们吧...”
“都说图像，语言和推荐是三大主流方向，他怎么就盯上我们语音这个小领域了呢？我们这小庙可容不下你这尊大佛啊！”
“别提了，推荐广告组被这小子闹了一出，现在做出什么东西来领导都觉得不足为奇。出了业绩部门副总是舒服了，可底下小兵几年之内怕是升职加薪都没戏喽...”
偶然走漏的风声毕竟消息内容有点偏差，他们此刻还不知道，孟繁岐哪里是要去语音领域抢一小口饭吃。
他是要把整个序列类型的解答范式都给它直接统一了！