同変トランスフォーマーによる自己学習モンテカルロ法

Self-learning Monte Carlo method with equivariant transformers

永井 佑紀   ; 富谷 昭夫*

Nagai, Yuki; Tomiya, Akio*

生成AIにおける基幹技術であるTransformerを用いた新しい自己学習モンテカルロ法を提案した。本研究では、文章における距離の離れた単語の関連性を推測することができるTransformerのAttention機構を用いることにより、電子系の相転移で重要となる長距離相関を効率よく取り込める有効模型を構築した。さらに、スピン回転、空間並進など系が満たすべき対称性をネットワークに取り込むことにより、パラメータ数を劇的に減らすことに成功した。また、レイヤー数を増やすにつれてlossが減っていくというスケーリング則を見出した。

We proposed a new self-learning Monte Carlo method using Transformer, a key technology in generative AI. By using Transformer's Attention mechanism, which can infer the relevance of distant words in a sentence, we have constructed an effective model that can efficiently capture the long-range correlations that are important in the phase transitions in electronic systems. Furthermore, we reduce the number of parameters by incorporating symmetries that the system must satisfy, such as spin rotation and spatial translation, into the network. We also found a scaling law that the loss decreases as the number of layers is increased.