⾮ノイマン型計算、理論と応⽤

 

⾮ノイマン型計算、理論と応⽤

■開催日時:2019年3月26日(火)　9:45～18:45

■開催場所: 北海道大学電子科学研究所(北キャンパス総合研究棟5号館) 1階 会議室

 

■プログラム: 

 

9:45 – 10:00 開催趣旨説明 (寺本)

10:00 – 11:00 社会システム最適化のためのCMOSアニーリングマシンの開発

　　　　　　　日立製作所　竹本享史主任研究員

　　　　　　　Norman Mertig研究員

11:15 – 12:15線形回帰におけるモンテカルロ法を用いた変数選択

　　　　　　　東京工業大学 樺島祥介先生

– 昼休み –

14:00 – 15:00圧縮データ上のブースティング

　　　　　　　九州大学　畑埜晃平先生

15:15 – 16:15深層ニューラルネットワークの適応能力と汎化誤差解析

　　　　　　　東京大学　鈴木大慈先生

16:30 – 17:30 Finding optimal solutions by stochastic cellular automata

　　　　　　　北海道大学　坂井　哲先生

17:45 – 18:45 二つの確率過程の重ね合わせに対する混合時間

　　　　　　　大阪大学　角田　謙吉先生

– 意見交換会 –

 

■アブストラクト: 

 

社会システム最適化のためのCMOSアニーリングマシンの開発

日立製作所　竹本享史主任研究員

Norman Mertig研究員

社会環境に内在する組合せ最適化問題を効率的に解くアニーリングマシンが提案されている．アニーリングマシンでは，組合せ最適化問題の評価関数をイジングモデルのエネルギー関数に対応させ，基底状態探索により最適解を得る．CMOSアニーリングマシンは，イジングモデルを標準的なCMOSプロセスで模擬することで，製造が容易でスピン数の大規模化や拡張性に優れている等の特徴がある．本講演では，本特徴を生かすための大規模化技術や，CMOS回路の柔軟性を用いて従来技術の課題を解決するCMOSアニーリングマシンのブースティング応用について述べると共に，異分野連携による協調開発や適用用途拡大に向けた取り組みについて紹介する．

 

線形回帰におけるモンテカルロ法を用いた変数選択

東京工業大学 樺島祥介先生

線形回帰は説明変数と応答変数間の関係をモデル化する際に用いられる最も基本的な分析法である．さて，実際的なデータ分析では，関係の解釈や予測精度の向上を目的として，しばしば，回帰に真に寄与する説明変数を選択する変数選択問題を解かなければならない．我々は，この問題をイジング変数を用いて定式化し，モンテカルロ法を用いて解くアルゴリズムを開発した．人工データに対する解析と数値実験の結果，広いパラメータ領域に対し，シミュレーテッドアニーリングで最適解を効率的に探索できること，また，レプリカ交換法により探索のさらなる効率化が可能になることがわかった．この結果は，実データに対する実験でも支持されている．

＃本発表は，小渕智之氏，石井奨氏との共同研究にもとづいています

 

圧縮データ上のブースティング

九州大学　畑埜晃平先生

ブースティングとは機械学習手法の１つで，複数の予測ルールを統合して予測精度を向上させる技術である．本講演ではZDD等の圧縮データ構造で表現されたデータ上で動作するブースティング手法を紹介する．より厳密には，非圧縮データに対するブースティング手法(AdaBoost等)を圧縮データ上で模倣する手法を示す．これらの手法は組合せ論的オンライン予測という，一見異なる分野で培われた知見に基づく．

 

深層ニューラルネットワークの適応能力と汎化誤差解析

東京大学　鈴木大慈先生

ReLU活性化関数を用いた深層ニューラルネットワークの学習能力について，関数近似能力と汎化誤差の観点から理論解析の結果を述べる．これまでHolder空間における深層ニューラルネットワークの解析が主になされてきたが，本研究ではこれを拡張してBesov空間およびmixed-smoothnessを持ったBesov空間での近似能力を導出する．導出された近似誤差のレートは任意の非適応的関数近似手法よりも良いレートを達成し，推定精度についてもpoly-log(n)オーダーを除いてミニマックス最適レートを達成することを紹介する．このことから，特に空間的に滑らかさが一様でなかったり不連続であるようなパラメータ設定において線形推定量をミニマックスリスクの意味で優越することが示される．また，mixed-smoothnessを仮定すれば次元の影響を小さく抑えることができることも示される．これらの性質は，深層ニューラルネットワークが特徴量抽出機として高い適応能力を持つことを示唆している．また，時間があれば正則化によって深層学習の汎化誤差がどのように改善されるかも説明する．

 

Finding optimal solutions by stochastic cellular automata

北海道大学　坂井　哲先生

メトロポリス法や熱浴法のような従来のGibbsサンプラーは，毎回高々１個のスピンしか時間更新できず，収束が遅いという問題があった．我々はScopporaらの考案したstochastic cellular automata（SCA）を局所磁場込みに拡張し，その性質を調べた．果たしてSCAはGibbs分布のトップ（基底状態）を高速に捕まえうるだろうか？ それが可能である確率は？ 2019年3月末までに分かった結果について講演する．

 

二つの確率過程の重ね合わせに対する混合時間

大阪大学　角田　謙吉先生

混合時間とはマルコフ連鎖が定常状態に近づくまでの時間を表すものであり、焼きなまし法(simulated annealing)やマルコフ連鎖モンテカルロ法(MCMC)といったアルゴリズムとも非常に密接している。そのため、与えられたマルコフ連鎖に対して混合時間の評価を得る事は理論上のみでなく数値実験の観点からも重要である。本講演では、Ising模型に対する時間発展(Glauber力学)に排他過程とよばれる粒子の運動を加えたマルコフ連鎖を考え、その混合時間について焦点を当てる。

 

■主催：北海道大学電子科学研究所

■共催：文部科学省委託事業 AIMaP (受託拠点:九州大学 IMI)

■採択番号：2018A021