現在のAIの中核であるTransformerを置きかえることを目指す論文の改訂版を出しました！ ✅ 学習時より圧倒的に長い文でも性能維持＆正確な情報取得 ✅ 学習の安定性が桁違い（なんと学習率1でも学習可能！） ✅ モデルサイズ削減 & 推論速度向上 ✅ 解釈性の大幅向上 本文に図を追加してわかりやすくまとめ直しました！ 読んでもらえると嬉しいです！！周りの人にもぜひ共有してください！！ 論文 → arxiv.org/abs/2604.01178

"Screening Is Enough" > [Softmax attention] does not provide an independently interpretable measure of query—key relevance: attn. scores are unbounded, while attn. weights are defined only relative to competing keys. Consequently, irrelevant keys cannot be explicitly rejected...

パラメータ数92%削減、推論速度3.2倍。 Transformerの限界を突破する新アーキテクチャ『Multiscreen』が注目されているようだ。論文タイトルは “Screening is enough” 。 「Attention Is All You Need」への挑戦状とも取れる内容である。 従来の研究は「いかにして重要な情報に注目するか」を追求してきた。この論文はその逆で「無関係な情報をいかに切り捨てるか」というアプローチを提案する。 従来のAttention機構はSoftmaxを用いて「相対的な重要度」を計算するが、これは無関係なノイズにも重みを割り当ててしまう欠点があった。提案手法のMultiscreenは、各キーに対して絶対的な閾値で判定を行い、不要な情報を削除してから集約を行う。 たとえば、Softmaxは「AがBよりマシなら、Aに重みを振る」という相対評価だったが、Multiscreenでは「AもBもゴミなら、両方捨てる」という挙動になる。 この変更により、同じトークン予算で、Transformerのベースラインよりも４０％少ないパラメータで同等の検証損失を達成した。まだTransformerでは学習が発散してしまうような大幅に大きな学習率でも、Multiscreenでは安定した最適化が可能である。大きな学習率を使えるので微調整が短時間で実行でき、高速な実験サイクルを回せるようになる。 長文脈評価において、Multiscreenはパープレキシティにおいて強い性能を維持し、学習中に見た長さを遥かに超える文脈長でも、検索性能の劣化をほとんど示さない。AIや統計の分野では、これを外挿性（Extrapolation）が高いと表現するようだ。外挿性は学習した範囲外でも正しく振る舞える能力のことを指す。 条件によってはモデルパラメータが９２％少なくても、一貫してTransformerベースラインを上回る。つまり情報の密度が非常に高いということである。100Kトークンのコンテキストを持つ次のトークン予測では、MultiscreenはTransformerベースラインに対して、推論レイテンシーを2.3-3.2倍削減する。 情報の集約ロジックを相対評価から、絶対選別にシフトさせた点が画期的で、メモリ、速度、精度のすべてにおいてブレイクスルーを達成している。大型のモデル開発だけでなく、エッジデバイスでのLLM実行においても有望なアーキテクチャである。 全員に配分する民主主義をやめて、一部の適格者だけ通す門番を導入したという例えがわかりやすい。 arxiv.org/abs/2604.01178

つかれはてました

😍😍😍

綺麗な説明図が書けたし論文にも追加しようかな

もし少しでも不備かもしれない点など発見された方は遠慮なくリプライ、DM、メールなどいただけると助かります… DM解放してみました メールアドレスは論文に記載しております

今回出した論文は用語の命名にとてもこだわったので気になったら読んでほし