第9回 DML Lecture 「最適輸送と物理学: 制御理論から生成AIまで」

場所

東京大学本郷キャンパス工学部6号館3階セミナー室A&D(367, 373号室) ならびにZoomによるオンライン配信

日時

2024年12月3日(火)13:00-14:30

講師

伊藤海斗先生(東京大学)

内容

タイトル:最適輸送と制御理論 概要: 最適輸送問題とは、与えられた物資を所望の分布へ最も効率よく運ぶ問題です。その素朴さからは想像もつかないような豊かな理論構造と幅広い応用が研究されてきました。特にこの10年での機械学習分野における最適輸送の応用は特筆すべきものです。一方で、機械学習の存在感に隠れがちですが、実は最適輸送と制御理論には切っても切れない深い関係性があり、確率分布の最適制御などで最適輸送と制御の融合研究が進んでいます。 最近は最適輸送のチュートリアルが各所で開かれたり、日本語の教科書が出たりと、勉強しやすくなってきました。そこで本講演ではそれらの入門と少し趣向を変え、制御的な視点での最適輸送入門を目指して講演していただきました。また制御分野における最適輸送の研究事例として、講師が携わってこられた確率分布の制御問題を紹介いただきました。

日時

2024年12月3日(火)14:50-16:50

講師

伊藤創祐先生(東京大学)

内容

タイトル:非平衡熱力学と最適輸送: 非平衡熱力学の入門から拡散生成モデルでの応用まで 概要: 近年拡散系において最適輸送理論の応用がよく議論されている。特に勾配流という観点においては、拡散過程を表現するFokker-Planck方程式と最適輸送理論における分布間の距離の指標である2-Wasserstein距離の間には密接な関係が知られており[1]、近年ではさらに非平衡熱力学における2-Wasserstein距離の有用性が議論され始めている[2]。一方で拡散過程を用いた生成モデルの一種である拡散モデルにおいては、近年2-Wasserstein距離を用いた手法の有用性が議論されてきた[3]。 そのため講師らは拡散モデルにおいて非平衡熱力学の手法を用いて、 2-Wasserstein距離を用いた手法の有用性について理論的な議論と数値的な検証を行われている[4]。 今回の講演では、拡散過程の基礎と非平衡熱力学の入門から始めて、最適輸送理論との関係と拡散生成モデルへの応用についてまとめて話していただいた。

[1] Jordan, R., Kinderlehrer, D., & Otto, F. The variational formulation of the Fokker–Planck equation. SIAM journal on mathematical analysis, 29(1), 1-17 (1998). [2] Ito, S. Geometric thermodynamics for the Fokker–Planck equation: stochastic thermodynamic links between information geometry and optimal transport. Information Geometry, 7(Suppl 1), 441-483 (2024). [3] Lipman, Y., Chen, R. T., Ben-Hamu, H., Nickel, M., & Le, M. Flow Matching for Generative Modeling. In The Eleventh International Conference on Learning Representations (2023). [4] Ikeda, K., Uda, T., Okanohara, D., & Ito, S. Speed-accuracy trade-off for the diffusion models: Wisdom from nonequlibrium thermodynamics and optimal transport. arXiv preprint arXiv:2407.04495 (2024).