本文

18 SPring-8/SACLA/NanoTerasu Information ／Vol.1 No.1 JUNE 2025 #EA.LINESŋACCELE3AT03S 公益財団法人高輝度光科学研究センター 研究 DX 推進室 / XFEL 利用研究推進室 先端計測・解析技術グループ 国立研究開発法人理化学研究所 放射光科学研究センター 制御情報・データ創出基盤グループ 城 地 保 昌 国立研究開発法人理化学研究所 放射光科学研究センター 制御情報・データ創出基盤グループ 公益財団法人高輝度光科学研究センター XFEL 利用研究推進室 先端計測・解析技術グループ 初 井 宇 記 利用系グループ活動報告 JASRI 研究 DX 推進室 /XFEL 利用研究推進室 先端計測・解析技術グループ 理研・放射光科学研究センター・制御情報・データ創出基盤グループ 1．はじめに 高輝度光科学研究センター研究 DX 推進室 /XFEL 利用研究推進室 先端計測・解析技術グループと理 化学研究所放射光科学研究センター（理研 RSC ） 制御情報・データ創出基盤グループは、共同で先端 計測・解析技術に関する開発、高度化および運用を おこなっている。これらは、 X 線検出器、ビームラ イン制御システム、データ解析基盤に大別できる。 本稿では、これらの活動のうち SPring-8 のデータ基 盤の現状について紹介する。 2．SPring-8 データセンター SPring- 8 データセンター構想 SPring-8 では、日々国内外の研究者がさまざま な実験を行っており、貴重な実験データが大量に 生み出されている。しかしながら、特に 1 試料あた りのデータが 1 TB を超える大容量データについて は、データの転送や解析に時間がかかり、成果創 出までの時間がかかっていた（解析律速） 。加えて SPring-8 では、理研 RSC が開発した高感度で高速 撮像が可能な X 線画像検出器 CITIUS の導入が進め られている。それにより、今後生み出される実験 データの量は以前の 1,000 倍以上になると想定され る。この「解析律速」を解決することを主眼として 2021 年に 「 SPring-8 データセンター構想」 を提唱した。 欧州・米国の大型放射光施設ではデータ基盤に大規 模な投資を行っている。 SPring-8 は CITIUS 検出器 の開発に成功したこともあり、欧米施設よりも 10 倍から 100 倍の大量のデータが得られることが確実 である。したがって、単純な大規模化では対応でき ず、新しいアプローチが必須である。この理解に基 づき「 SPring-8 データセンター構想」では、ビーム ライン近傍（ Edge ）でデータを圧縮すること、お よび SPring-8 外の「富岳」や国立情報学研究所など のデータ関連基盤とネットワークを介して接続した 仮想的なデータ基盤を開発・整備することを特徴と している。ハードウェアの概略を 図 1 に示す。 図 1 ： SPring- 8 データセンター構想の概略図 これまでに構内基幹ネットワークの通信速度を 100 Gbps （ギガ bps ）へアップグレードした。デー タは確実に保存されるだけでは不十分で、その品 質を実験中に確認する必要がある（データ品質評 価， Data Quality Assessment ） 。データに問題があ れば、直ちに実験条件を変更しなければならないか SPring-8/SACLA/NanoTerasu 利用者情報／Vol.1 No.1 （2025 年 6月号） 19 ビームラΠン・Ճ଎ث らである。多くの大容量データ実験では並列計算 を多用した解析がデータ品質評価のために必要に なってきている。そこでクラスタ計算機システムを SPring-8 内のデータセンターに整備した。さらに大 規模な計算が必要な実験のために、 「富岳」などの SPring-8 外のスーパーコンピュータも利用できるよ う HPC （ High Performance Computing ）向けデータ 管理・転送・解析環境 Globus の導入検討を米国ア ルゴンヌ研究所および理研・計算科学研究センター （ R-CCS ）とともに実施している。 日本では、文部科学省がデータ関連の研究開発の 役割を整理しており、その中で国立情報学研究所は データ管理サービス GakuNin RDM [1] を提供してい る。 SPring-8 データセンターはこのサービスと連携 して利用できるように設計されており、 2025 年 4 月 から試験運用を行っている [2] 。このサービスが本格 運用すれば将来的に、研究室のデータ、 J-PARC お よび NanoTerasu のデータなどが一体的に管理でき るほか、データが改ざんされていないことを証明す ることが可能となる。 CITIUS 検出器のうち最大のシステムは、 2,020 万 画素、データ帯域 10 Tbps （テラ bps ＝ 1,000 Gbps ） 、 データ量が 1 年で 6 エキサバイト（＝ 6,000,000 テラ バイト）と見込まれる。ネットワーク転送も保存も 極めて困難な量である。 10 Tbps のデータ処理を実 現するために、理研計算科学研究センター （ R-CCS ） との共同研究により、データ圧縮技術の開発に取り 組んでいる。 クラスタ計算機システム 理研 RSC は、 「 SPring-8 データセンター構想」に 基づき、電算機室（ 図 2 ）を新たに整備し、クラ スタ計算機システムを 2023 年 10 月から共用してい る。クラスタ計算機システムは、 CPU ノード 64 台、 GPU ノード 16 台、データ転送ノード 6 台、 S3 ゲー トウェイ（後述） 4 台、共有ストレージシステムな どで構成される [2] 。クラスタ計算機の各ノードは高 速ストレージシステムに広帯域で接続しており、高 い I/O 性能が要求される SPring-8 の多くの解析に最 適化された構成となっている。 SPring- 8 データセンター上のサービス 2025 年 4 月現在、下記に紹介する 6 つのサービス がユーザーに提供されている。 （ 1 ） SPring-8 Data Flow Service （ DFS ） 利用実験で生成される少量データの流通を目的と し て、 SPring-8 Data Flow Service （ DFS ） [3] を 開 発 し、 2023 年 10 月にサービスを開始した。 1 課題あ たり１ TB 以下、 1 ファイルあたり 2GB のデータが 対象である。ビームライン担当者が申請することに より利用が可能となる。 DFS が利用可能なビーム ラインの場合、ユーザーは、ビームライン担当者に 申請すると DFS 利用の権限が付与される。ユーザー は、実験代表者もしくは共同研究者である課題の実 験データを、 Web ブラウザを介してアップロード / ダウンロードすることができるようになる。 （ 2 ）クラスタ計算機サービス CITIUS 検出器などにより取得される大容量実験 データを迅速に解析するためのクラスタ計算機サー ビスを 2023 年 11 月に開始した。データセンターへの 高速転送が可能なビームラインネットワーク [4] が導 入されたビームラインのユーザーが利用可能である。 （ 3 ） Open OnDemand サービス クラスタ計算機システムで計算を実行するには ジョブ管理システムなどの知見が必要である。こ れらに不慣れなユーザーが簡便に利用できるよう に SPring-8 データセンターでは Open OnDemand [5] を 導 入 し て い る。 ユ ー ザ ー は Web ブ ラ ウ ザ か ら 図 2 ： SPring- 8 データセンターの電算機室 20 SPring-8/SACLA/NanoTerasu Information ／Vol.1 No.1 JUNE 2025 #EA.LINESŋACCELE3AT03S ファイルアクセス、 Jupyter [6] 、 ImageJ [7] など様々な ツールを、施設側で最適化した環境で利用できる。 Open OnDemand では特定解析プログラムを実行す るために最適化された環境を開発することも可能で、 開発環境を提供している。 （ 4 ）ビームラインからデータセンターへのデータ転 送サービス CITIUS 検出器などにより取得される大容量実 験データをビームラインからデータセンターへ転 送するツールを開発し提供している。ユーザーは、 WebGUI から転送元ディレクトリと実験課題番号を 設定することで取得データを、自動でデータセン ターに転送することができる。このサービスでは、 データが確実に転送されたことをチェックサムによ り確認している。 （ 5 ）自動解析サービス データ転送サービスによりデータセンターに転送 されたデータを自動で解析する基盤技術を整備した。 このサービスでは、ユーザーアカウントではなく専 用アカウントにより解析が実行され、ユーザーは、 実験代表者もしくは共同研究者である課題の解析結 果を、 Web ブラウザを介してダウンロードすること ができる。 （ 6 ）所外への広帯域データ転送サービス データセンターの計算機システムは、 Amazon S3 API [8] と互換性のあるオブジェクトストレージ機能 を有している。クラスタ計算機サービスの利用ユー ザーは、 s3cmd [9] などを利用して、データセンタ― 上の大容量データを SPring-8 所外から高速（ 2025 年 4 月現在 100 Gbps が上限）にダウンロードするこ とが可能である。 3．SPring-8 データセンターの活用事例 高分解能粉末回折装置（ BL 13 XU 第 3 ハッチ） BL13XU の第 3 ハッチにおける高分解能粉末回折 実験では、装置の自動化が進み多数の少容量データ が測定できることから、自動で DFS にアップロー ドできる仕組みを導入した。この自動アップロード サービスを他のビームラインにも展開していく予定 である。 高エネルギー X 線 CT 装置（ BL 28 B 2 ） BL28B2 における自動 CT 計測装置 [10] における測 定代行では、測定データをデータ転送サービスによ りデータセンターに転送し、自動解析サービスを 利用して 3 次元再構成してユーザーに提供している。 ユーザーは、解析された結果を、 Web ブラウザを介 してダウンロードすることができる。 準弾性散乱実験（ BL 35 XU ） BL35XU において CITIUS 検出器を用いた準弾性 散乱実験が行われている [11] 。この実験方法は東北 大学齋藤真器名准教授が提案した新しい手法で、試 料のナノ秒スケール揺らぎを解析できるという特 徴を持つ。この実験のための検出器、データ基盤 は、 SACLA/SPring-8 基盤開発プログラム [12] におい て開発・整備された。 CITIUS 検出器は 84 万画素を もち、 17.4 kframes/s でデータを出力している。デー タ帯域は 5.1 PB/day に達し、 1 ビームタイムあたり 35 PB といったデータ量になる。このデータはビー ムライン脇に設置されたデータ圧縮用のサーバー群 によって直ちに 1000 分の 1 以下にデータが圧縮さ れたのち、データ転送サービスを利用してデータセ ンターに転送されている。さらに Open OnDemand 上に準弾性散乱実験データ解析アプリが開発されて おり、 2025 年度に共用される予定となっている。 4．おわりに 本稿では、 「 SPring-8 データセンター構想」の概 要とその進捗、提供中のデータ関連サービスについ て紹介した。本稿がユーザーの皆様のご参考になれ ば幸いである。 5．謝辞 本稿で紹介した活動は多くの皆様に支えられてお り、深く感謝申し上げます。特に理研 RSC の本村 幸治氏、中町将貴氏、平木俊幸氏（現在 NII ） 、矢橋 牧名氏、 JASRI の河口彰吾氏、小林慎太郎氏、渡邊 佳氏、 上杉健太郎氏、 星野真人氏、 竹田裕介氏、 西野 SPring-8/SACLA/NanoTerasu 利用者情報／Vol.1 No.1 （2025 年 6月号） 21 ビームラΠン・Ճ଎ث 玄記氏、杉本崇氏、中嶋享氏、国立情報学研究所 の山地一禎氏、 込山悠介氏、 下山武司氏、 平原孝明 氏、 亀 田 武 氏、 理 研 情 報 統 合 本 部 の 實 本 英 之 氏、 J-PARC の大友季哉氏、稲村泰弘氏、岡崎伸生氏、 理研 R-CCS の松岡聡氏、庄司文由氏、佐藤賢斗氏、 佐野健太郎氏、東北大の齋藤真器名氏らには主要な 貢献、重要な助言を頂きました。また実装・運用に おいてグローリーテクニカルソリューションズ株式 会社、両備システムズ、日本技術センターの支援を 頂いています。この場をお借りして感謝申し上げます。 参考文献 [ 1 ] https://rdm.nii.ac.jp/ [ 2 ] https://dc-portal.spring8.or.jp/ [ 3 ] https://dc-dfs.spring8.or.jp/ [ 4 ] https://dncom.spring8.or.jp/networkcnfg/ beamlinenetwork/ [ 5 ] https://openondemand.org/ [ 6 ] https://jupyter.org/ [ 7 ] https://imagej.net/ij/ [ 8 ] https://docs.aws.amazon.com/s3/ [ 9 ] https://s3tools.org/s3cmd [10] 上杉健太郎、星野真人 : SPring-8/SACLA 利用 者情報 28 (2023) 331. [11] M. Saito et al. : Phys. Rev. Lett. 132 (2024) 256901. [12] http://xfel.riken.jp/topics/sacla_basic_ development_2025.html 城地 保昌 JOTI Yasumasa （公財）高輝度光科学研究センター 研究 DX 推進室 / XFEL 利用研究推進室 先端計測・解析技術グループ （国研）理化学研究所 放射光科学研究センター 制御情報・データ創出基盤グループ 〒 679 - 5198 兵庫県佐用郡佐用町光都 1 - 1 - 1 TEL : 050 - 3502 - 7383 e-mail : joti@spring 8 .or.jp 初井 宇記 HATSUI Takaki （国研）理化学研究所 放射光科学研究センター 制御情報・データ創出基盤グループ （公財）高輝度光科学研究センター XFEL 利用研究推進室 先端計測・解析技術グループ 〒 679-51 9 8 兵庫県佐用郡佐用町光都 1-1-1 TEL : 050-3502-3235 e-mail : hatsui@spring8.or.jp