谷歌问世多轴注意力方法，既改进ViT又提升MLP

d multi-layer perceptron）互联完成全局、1]重心依此外观设计新方法。此外，MAXIM 的对角介导块可用作并不相同读取路径密切关系的强子。该块可以作为对角重心接口的必需替代，因为它只用到介导 MLP 常量与各种读取完成交互，而不缺少繁重的对角重心量化。

苹果公司所明确指造出的组件，最主要 MAXIM 之中的介导 MLP 和对角介导块，对缩放微小具有时域时域，使其在处置极更高精度缩放时不够加极更高效。

结果

苹果公司简介了 MaxViT 在相当多的听觉执行之中的必需官能。

在缩放分类全面官能，MaxViT 在各种设置下都赢得了 SOTA 结果：仅通过 ImageNet-1K 培训，MaxViT 达到了 86.5% 的 top-1 相关官能；通过 ImageNet-21K（14M 缩放，21k 类）预培训，MaxViT 达到 88.7% 的 top-1 相关官能；通过 JFT（300M 缩放，18k 类）预培训，MaxViT-XL 发挥作用了 89.5% 相关官能。

在 ImageNet-1K 上，MaxViT 与 SOTA 仿真的官能能指标非常结果。非常值为 224x224 缩放亮度下的相关官能与 FLOP 官能能指标。

ImageNet-1K 微调设置下的相关官能与值曲线。

在中游执行之中，MaxViT 作为主干可以在相当多的执行以内提供更佳的官能能指标。对于 COCO 数据资料集上的远距离检测和分离，MaxViT 主干发挥作用了 53.4 AP，优于其他基础级仿真，而只需要大概 60% 的量化成本。在缩放当代艺术（aesthetics）风险评估全面官能，MaxViT 仿真将在此之前 SOTA 官能能指标的 MUSIQ 仿真大大提极更高了 3.5%。

测试还简介了 MaxViT 紧密结合块在缩放作用作全面官能的必需官能能指标，在 ImageNet-1K 允诺作用作执行上获取了不够容易的 FID 和 IS 点数，并且值用到量轻微更高于 SOAT 仿真 HiT。

为缩放处置执行内置的相似 UNet 的 MAXIM 主干仿真在 20 个测试数据资料集之中的 15 个上获取了 SOTA 结果，涉及去频、去模糊、去夜、去雾和更高光增不强等多个执行，并且所需参用到量和 FLOPs 与恶官能竞争仿真相当或不够少，MAXIM 能恢复缩放的不够多细节，听觉伪影也不够少。

MAXIM 在缩放去频、去模糊、去夜、更高光增不强执行上的听觉结果。

总结

最近两年的指导说明了，差分互联和听觉 Transformer 可以发挥作用相似的官能能指标。苹果公司的新指导则明确指造出了一个统一的外观设计，它依靠了二者的优点——极更高效差分和均匀分布重心。MaxViT 可以在各种听觉执行上发挥作用 SOTA 官能能指标，不够最主要的是，MaxViT 可以很好地扩及非常大的资料量上。苹果公司还简介了另一种用到 MLP 算子 MAXIM 的多径向外观设计，在相当多的比如说听觉执行之中发挥作用了 SOTA 官能能指标。

此外，苹果公司明确指造出的多径向新方法可以很容易地扩及语言建模，以在时域小时内捕捉全局和1]依赖关系。研究成果设计团队想要所提新方法可以大幅度扩及极更高维和多形式化路径上，并已开源了 MAXIM 和 MaxViT 的字符和仿真，旨在主导将来对极更高效重心和 MLP 仿真的研究成果。

原文关键字：

。

喉咙痛吃什么药有效
妈咪爱和肠炎宁能同服吗
沈阳做第三代试管婴儿要多少钱
拉肚子能喝益生菌吗
感冒引起的咽喉肿痛怎么治疗