Equivariant transformer is all you need

同変トランスフォーマーが必要なもの全て

富谷 昭夫*; 永井 佑紀   

Tomiya, Akio*; Nagai, Yuki

機械学習、ディープラーニングは、格子系の計算物理学を加速させてきた。対称性に対する同変性は、機械学習モデルによって記述される確率分布に強い帰納バイアスを課すため、物理系のシミュレーションには不可欠である。しかし、モデルに対称性を課すことは、自己学習モンテカルロ法(SLMC)において、時に低いアクセプト率を引き起こす。一方、GPTのようなトランスフォーマーで用いられるアテンション機構は、大きなモデルキャパシティを実現する。そこで、我々は、対称性に対する同変性を持ったアテンション機構をSLMCに導入する。我々のアーキテクチャを評価するために、2次元格子上のスピン-フェルミオンモデルに適用を行った。その結果、線形有効モデルを使ったSLMCのアクセプト率を改善し、アクセプト率のスケーリング則を観測した。

Machine learning, deep learning, has been accelerating computational physics, which has been used to simulate systems on a lattice. Equivariance is essential to simulate a physical system because it imposes a strong induction bias for the probability distribution described by a machine learning model. However, imposing symmetry on the model sometimes occur a poor acceptance rate in self-learning Monte-Carlo (SLMC). On the other hand, Attention used in Transformers like GPT realizes a large model capacity. We introduce symmetry equivariant attention to SLMC. To evaluate our architecture, we apply it to our proposed new architecture on a spin-fermion model on a two-dimensional lattice. We find that it overcomes poor acceptance rates for linear models and observe the scaling law of the acceptance rate in machine learning.