Self-learning Monte Carlo method with equivariant Transformer

同変トランスフォーマーによる自己学習モンテカルロ法

永井 佑紀   ; 富谷 昭夫*

Nagai, Yuki; Tomiya, Akio*

生成AIにおける基幹技術であるTransformerを用いた新しい自己学習モンテカルロ法を提案した。本招待講演では、文章における距離の離れた単語の関連性を推測することができるTransformerのAttention機構を用いることにより、電子系の相転移で重要となる長距離相関を効率よく取り込める有効模型を構築した。さらに、スピン回転、空間並進など系が満たすべき対称性をネットワークに取り込むことにより、パラメータ数を劇的に減らすことに成功した。また、レイヤー数を増やすにつれてlossが減っていくというスケーリング則を見出した。本講演では、格子量子色力学分野におけるこの技術の応用についても議論する。

We proposed a new self-learning Monte Carlo method using Transformer, a key technology in generative AI. By using Transformer's Attention mechanism, which can infer the relevance of distant words in a sentence, we have constructed an effective model that can efficiently capture the long-range correlations that are important in the phase transitions in electronic systems. Furthermore, we reduce the number of parameters by incorporating symmetries that the system must satisfy, such as spin rotation and spatial translation, into the network. We also found a scaling law that the loss decreases as the number of layers is increased. In this talk, we discuss a possible application for lattice quantum chromodynamics of this technology.