FX10 スーパーコンピュータシステム「大規模 HPC チャレンジ」採択課題

　このたびは、お申し込みをいただきどうもありがとうございました。以下の基準による厳正な審査のうえ、課題採択をさせていただきました（順不同）。

• 自作コード、またはオープンソースプログラムによる研究であること。
• 当該コードについて、1,000 コア以上の利用実績があること。または、センターで実施してきた、「512 ノードサービス」、「512 ノード利用大規模 HPC 研究」での利用実績があること。
• 計算結果が科学的に有用、あるいは社会的なインパクトがあると考えられること。
• 本センターの運用、ユーザーにとって有用な情報を提供すること。
• 4,800 ノードの利用を目標としていること。
• 計画に実現性があり、短時間で効果を示すことが可能であること (一回の利用期間は 24 時間。ただし試験運転期間は最大 48 時間）。

第1回採択課題（試験運転期間）

課題名	代表者名 代表者所属	概要
急減圧液体における気泡分布関数の数値的解析	渡辺 宙志 東京大学物性研究所	本研究プロジェクトの目的は、全粒子計算を用いた急減圧液体における気泡間相互作用の解明である。気泡を含む流体の性質の解明は工学応用上極めて重要な問題であるが、気泡間相互作用のモデル化が難しく、また提案されたモデルの妥当性の検討も不十分であった。そこで急減圧させた液相における多重気泡生成現象を全粒子計算により直接再現する。粒子数にして数百億個程度の分子動力学計算により、気泡の数にして数千から1 万個程度の系を再現することで、連続近似した理論式との直接比較が可能となる。また、分子動力学法であれば気泡中の圧力や相関摩擦といった実験において測定が難しい物理量も直接観測が可能である。これにより、従来行われてきた力学平衡の仮定、局所平衡近似、及び輸送係数の線形応答による記述が妥当であるか調べ、さらには非平衡輸送現象の一般的枠組みの構築を目指す。
電磁流体コードによる惑星磁気圏シミュレーション性能測定	深沢 圭一郎 九州大学 情報基盤研究開発センター	宇宙空間はプラズマに満ちており、我々はそのプラズマダイナミクスを数値シミュレーションにより研究することを目的としている。宇宙プラズマはブラソフ方程式により記述されるが、計算量が莫大なため、惑星磁気圏のようなグローバルな構造に注目する場合、電磁流体（MHD）近似が成り立ち、MHD方程式によってその構造はよく表される。MHDシミュレーションは現在宇宙天気と呼ばれる宇宙環境を理解、予測する研究の中核を成している。 　今までに東京大学HA8000 512ノード、九州大学高性能演算サーバ392ノード、名古屋大学FX1 512ノードを利用し、MHDコードの大規模並列環境下での性能測定を行い、それぞれ高い実効性能を得ている。本課題では、それらの結果・経験を基に今までに行ったことの無い4,800ノードを利用した超大規模並列数値シミュレーションを行い、その性能測定を行う。これらの結果は今後の超並列計算機におけるリアルタイム宇宙天気シミュレーションの基礎となることが期待される。
２次元フラストレート系の計算科学的研究	中野 博生 兵庫県立大学 大学院物質理学研究科	S=1のスピンから構成される三角格子ハイゼンベルク反強磁性体の少数スピンクラスターのハミルトニアン疎行列に対して、ランチョス法の数値対角化計算を大規模並列化して実行し、スピン励起の大きさを数値的に求める。S=1三角格子反強磁性体は、近年、候補物質と見られる化合物も報告されていて、その基底状態の解明は急務の課題となっている。可能な限り大きなクラスターの計算結果を得て、熱力学極限における物性としてのスピン励起のギャップの有無は基本的な知見の一つとなる。そのために実行するランチョス法の計算では、ベクトルに行列を繰り返し演算することで得られる三重対角行列を求めるが、スピンの数が大きくなると行列次元が指数関数的に増大するため、ベクトルデータを格納するメモリコストと行列ベクトル積のループの計算コストが行列次元に比例する。この2種類のコストをMPIによって並列化する。行列ベクトル積を実行するには、分散格納したデータをノード間転送を適宜行いながら進めるため、並列数の増加によって転送コストが急激に増大しないように、バタフライ型転送を行うプログラムを開発したので、これを用いる。
超並列重力多体問題シミュレーションコードの性能測定	石山 智明 筑波大学 計算科学研究センター 神戸分室	本プロジェクトでは、「京」で最適化された重力多体問題シミュレーションコード、"GreeM" を後継機であるFX10上で性能評価し、「京」上で実施してきた最適化がFX10上でも有効かどうかを検証する。また多スレッド多並列環境においての問題点を抽出し、きたるエクサスケールに備えた最適化とアルゴリズム改良のための準備を行う。 　シミュレーションコードはすでに「京」上で最大限チューニングされており、12000ノードを用いて45%程度の対ピーク性能と良好なスケーラビリティが得られている。FX10は「京」と比べて1ノードあたりのコア数が2倍となっているため、シングルスレッド部による性能ボトルネックや、通信性能への影響などの評価を行う。 　また逆に、FX10での性能が「京」と比べ遜色ないものであれば、「京」から容易に移植可能な優れたシステムであると言える。
大規模グラフ処理ベンチマーク Graph500のスケーラブルな探索手法による性能評価	鈴村 豊太郎 東京工業大学大学院 情報理工学研究科	従来、スーパーコンピュータは物理シミュレーションなどの数値計算に、主に使われてきたが、大規模グラフ処理も重要なアプリケーションとなりつつある。そのような中で、スーパーコンピュータのグラフ処理性能を計測する、Graph500 という新しいベンチマークが登場し、注目を集めている。Graph500 は、大規模グラフに対する幅優先探索の速度を計測するベンチマークである。本来は、スパコンハードウェアのベンチマークであるが、アルゴリズムの選択やプログラムの最適化によって、スコアは大きく変わるので、高いスコアを出すには、計算プログラムの最適化が非常に重要となる。 　我々のチームは、Graph500 の最適な計算方法に関する研究を行っている。2011 年 10 月の行われた東工大 TSUBAME グランドチャレンジでは、1366 ノードを使った大規模実行に成功し、TSUBAME2.0 は Graph500 リストで 3 位を獲得した。現在、アルゴリズムの変更や、さらなる最適化により、性能を大幅に向上させている。我々は Graph500 リストの上位にランクインすることを目指す。
100億超格子を用いた自動車の大規模流体解析への挑戦	小野 謙二 東京大学生産技術研究所	実設計を目指した流体解析で100億を超えるような超大規模計算は未だかつて実施された報告例はない。このような大規模な解析のためには、計算格子の準備や解析コード自身の計算性能、また可視化処理に至る、CFDの全プロセスにわたる大規模データ対応の課題を明らかにし、解決する必要がある。本研究課題では、超大規模解析の準備段階として、100億のオーダーの格子を用いた解析を実施する。格子生成や演算効率、データハンドリングの点から直交格子を用いた解法を採用し、自動車まわりの流れを解析する。合理的に実施可能なパラメータを探索し、ベンチマークを実施する。結果は実験結果と比較し、精度検証を行い、提案手法の妥当性を検討する。
ポストペタスケール環境における大規模疎行列解法のための数値計算・通信ライブラリに関する研究	林 雅江 東京大学 情報基盤センター	有限要素法、差分法等の科学技術計算は最終的には大規模な疎行列を係数とする線形方程式を解くことに帰着される。大規模問題向けの解法として、クリロフ部分空間法に基づく前処理付反復法が広く使用されている。並列計算においては、隣接領域境界における一対一通信とAllreduce（内積）による通信が発生し、コア数（MPI プロセス数）の増加とともに、通信によるオーバーヘッドは無視できないものになる。本研究では、計算科学と計算機科学の両分野の緊密な協力のもとに、数値計算アルゴリズムおよび通信の両方の観点から、ポストペタスケール環境における疎行列解法の確立を目標として実施するものである。具体的には1 対1 通信オーバーヘッドを削減した並列前処理付共役勾配法アルゴリズムを開発するとともに、申込者の一人が開発中の Fujitsu FX10 のインターコネクトが有するRDMA（Remote Direct Memory Access）機能に基づくPersistent Communication をサポートするMPI ライブラリを適用し、更なる最適化を図る。最終的には、これらの研究成果を数値計算ライブラリ、通信ライブラリとしてFX10 利用者に公開する予定である。

▲ 採択課題 TOPへ

第2回採択課題

課題名	代表者名 代表者所属	概要
5 次元ブラソフコードによる無衝突プラズマシミュレーションの性能評価	梅田 隆行 名古屋大学 太陽地球環境研究所	地球近傍の宇宙空間は無衝突プラズマで満たされており、太陽風との相互作用によって複雑な磁気圏構造を形成している。磁気圏の様々な領域間の境界層ではその平衡状態がしばしば破れ、グローバル磁気圏構造の激しい変動を引き起こし、宇宙天気と呼ばれている。本研究では、宇宙天気の究極的な理解に向けて、プラズマ粒子のミクロスケールから流体のマクロスケールまでの全てのスケールをシームレスに扱う第一原理ブラソフコードを開発する。 　これまでに、東京大学HA8000、名古屋大学FX1 などを利用した超並列ベンチマークテストを実施しており、高い実行性能を得てきた。本課題では、今までに行ったことの無い4,800 ノードを利用した超並列数値シミュレーションの性能評価を行うことによって、今後の大規模シミュレーションに向けたチューニングの歩行性を見出す。これは、将来の宇宙天気研究への適用に向けた究極の6 次元グローバル磁気圏ブラソフシミュレーションを世界に先駆けて行う準備へと繋がる。
ポストペタスケールシステムにおける並列多重格子法に関する研究	中島 研吾 東京大学 情報基盤センター	連立一次方程式の反復解法としての多重格子法は、問題規模が増加しても収束までの反復回数が変化しないスケーラブルな手法であり、大規模問題向けの解法として注目されている。並列計算においてもその効果が確認されているが、コア数が増加した場合、特に粗いレベルにおける通信によるオーバーヘッドによる低下が懸念されている。本研究では、申込者の提案する手法により、通信によるオーバーヘッド削減を試みる。OpenMP/MPI ハイブリッド並列プログラミングモデルを、並列多重格子前処理付き反復法を使用した、三次元有限体積法に基づく不均質場における地下水流れ問題シミュレーションに適用することによって有効性を確認する。本研究では、FX10 向けに単体性能を改善したコードを使用し、その成果については詳細を公開する予定である。

▲ 採択課題 TOPへ

第3回採択課題

課題名	代表者名 代表者所属	概要
小規模行列に対する超並列固有値ソルバーおよび通信回避方式を実現した超並列直交化方式の性能評価	片桐 孝洋 東京大学 情報基盤センター	固有値・固有ベクトルの求解が可能な固有値ソルバーは科学技術計算で根幹となるツールである。近年並列性の増加に伴い、解くべき問題サイズが大規模化しているが、スパコン運用時の計算時間制約により、逆に問題サイズが小規模化することが指摘されている。 　そこで本提案では、以下の３点を研究目標に置く：(1)小規模行列に対する超並列固有値アルゴリズム；(2)超並列直交化アルゴリズム；(3)(1)(2)が適用可能なアプリケーションでの性能評価。提案者による小規模行列向け超並列アルゴリズム（Communication Splitting Multicasting lgorithm、CSMA）の評価、通信回避を施したQR 分解 (Communication Avoidance QR, CAQR)の予備評価を行い(1)(2)の目標の実現を狙う。実空間密度汎関数法RSDFT への適用を考慮する。 　FX10の全系4800 ノードを利用し、L2 キャッシュに搭載できるサイズの超小規模行列を超並列実行する場合の性能評価を行う。RSDFT 利用時のプロダクトランにおける問題サイズを考慮し、エクサスケールのスパコンでの実行性能の予備評価を達成する。
新カーネルを取り入れた大規模グラフ処理ベンチマーク Graph500 のスケーラブルな探索手法による性能評価	鈴村 豊太郎 東京工業大学大学院 情報理工学研究科	Graph500は、大規模グラフに対する幅優先探索の速度を計測するベンチマークである。本来は、スパコンハードウェアのベンチマークであるが、アルゴリズムの改良や新しい計算手法の適用による性能向上が常に行われており、１位のスコアは半年ごとに4～6倍に性能が向上している。 　2012年4月の大規模HPCチャレンジを利用して実行したベンチマークでは、幅優先探索において358.1 GTEPSの性能を達成し、Oakleaf-FXはGraph500リストで4位となった。また、2012年9月には609 GTEPSを達成した。今回も、さらなるアルゴリズムの改良や最適化を行った実装で、計測する。また、Graph500ベンチマークへの新しく導入が予定されている最短経路問題についても、独自のスケーラブルな探索手法で性能を計測する。
分散メモリ型並列MPS陽解法による数十億粒子規模の津波シミュレーション	塩谷 隆二 東洋大学 総合情報学部総合情報学科	MPSとは、Moving Particle Simulationの略であり、粒子法の代表的手法の一つである。粒子法は粒子が移動するという解法のため、格子法に比べて分散メモリ計算機環境での並列化を困難なものとしてきた。本研究グループでは、従来の方法とは異なり、計算領域に領域分割用のボクセル状の格子を定義して、この領域分割用のボクセルを用いて領域分割を行う手法を開発した。数値解法は従来の半陰解法から、大規模並列計算でも問題サイズに解析時間がスケールする陽解法に切り替えた。解析対象となる津波解析の物理モデルも開発が進み、浮遊物と構造物の接触を扱うことができるようになった。また、プレポストの並列化も完了しており、データハンドリングのボトルネックが無くなっている。これらの要素技術は、それぞれ一定の成果を挙げてきており、その成果を集約するために、「大規模HPCチャレンジ」の利用が必要となった。
自動チューニング機能を備えた固有値計算ライブリと疎行列反復解法ライブリの性能評価	黒田 久泰 愛媛大学 大学院理工学研究科	固有値を求めるための計算や大規模疎行列を係数行列とする線形方程式を解くための計算は様々な分野の数値シミュレーションにおいて頻繁に出てくる計算である。我々は広く汎用的に利用できる固有値計算ライブリと疎行列反復解法ライブリの開発を行っている。我々の開発しているライブラリは、解こうとしている問題や実行しているコンピュータシステムに応じて、演算カーネルやMPIの通信方式などを静的（ライブラリインストール時）あるいは動的（ライブラリ実行時）に最適なプログラムの実装コードを選択するといった自動チューニング機能を有している。今回、FX10スーパーコンピュータシステムにおいて、4800ノード（76,800コア）という大規模なノード数（コア数）で性能評価を行い、問題点の洗い出しを行う。その後、ライブラリを公開する予定である。

▲ 採択課題 TOPへ