デベロッパーリレーションズ

欧州原子核研究機構(CERN)はLinuxとオープンソースをどのように使用しているか

2018-10-03
デベロッパーリレーションズ
ja

欧州原子核研究機構(略称CERN)はオープンソース技術を頼りに、大型ハドロン衝突型加速器が生成する大量のデータを処理しています。ATLAS(超環面計器、図に示す)は、基本粒子を探査する汎用検出器です。

CERNは過度な紹介を必要としないでしょう。CERNはワールドワイドウェブWorld Wide Web(WWW)と大型ハドロン衝突型加速器Large Hadron Collider(LHC)を作成しました。これは世界最大の粒子加速器particle acceleratorで、これを通じてヒッグス粒子Higgs bosonが発見されました。同組織のITオペレーティングシステムとインフラストラクチャを担当するTim Bellは、彼のチームの目標は「世界中の13,000人の物理学者に計算施設を提供し、これらの衝突を分析し、宇宙の構成とどのように機能しているかを理解すること」であると述べています。

CERNはハードコアな科学研究を行っており、特に大型ハドロン衝突型加速器は、運転時に大量のデータを生成します。「CERNは現在約200 PBのデータを保存しており、加速器が運転すると、月に10 PB以上のデータが生成されます。これは必然的に計算インフラストラクチャに極めて大きな課題をもたらし、大量のデータの保存、合理的な時間範囲内でのデータ処理能力など、ネットワーク、ストレージ技術、効率的な計算アーキテクチャに大きなプレッシャーを与えています」とBellは言います。

Tim Bell, CERN

大型ハドロン衝突型加速器の運用規模とそれが生成するデータ量は厳しい課題をもたらしますが、CERNはこれらの問題に慣れていません。CERNは1954年に設立され、60年以上の歴史があります。「私たちは常に解決困難な計算能力の課題に直面してきましたが、常にオープンソースコミュニティと協力してこれらの問題を解決してきました」とBellは言います。「90年代にワールドワイドウェブを発明した時でさえ、私たちは人々と共有し、CERNの研究から恩恵を受けられるようにしたかったのです。オープンソースはこれを行うのに最も適したツールでした。」

OpenStackとCentOSの使用

今日、CERNはOpenStackのヘビーユーザーであり、BellはOpenStack財団の理事会メンバーの一人です。しかし、CERNはOpenStackが登場する前から存在し、長年、Linuxサーバーを通じてサービスを提供するために様々なオープンソース技術を使用してきました。

「過去10年間で、自分で問題を解決するよりも、同様の課題に直面している上流のオープンソースコミュニティを見つけて協力し、すべてを自分で作成・維持するのではなく、これらのプロジェクトに貢献する方が良いことがわかりました」とBellは言います。

良い例はLinux自体です。CERNはかつてRed Hat Enterprise Linuxの顧客でした。実際、2004年には、Fermilabと協力してScientific Linuxという独自のLinuxディストリビューションを構築しました。最終的に、カーネルを修正していないため、独自のディストリビューションを構築するのに時間を費やす意味がないことに気づき、CentOSに移行しました。CentOSは完全にオープンソースでコミュニティ主導のプロジェクトであるため、CERNはこのプロジェクトと協力し、CentOSのビルドと配布に貢献できます。

CERNはCentOSにインフラストラクチャを提供し、CentOS DoJoイベントも組織しています(LCTT訳者注:CentOS Dojoは1日イベントで、CentOSコミュニティの人々が集まり、システム管理、ベストプラクティス、新興技術を共有します)。エンジニアがここに集まり、CentOSのパッケージングを共同で改善できます。

OpenStackとCentOSに加えて、CERNは他のオープンソースプロジェクトのヘビーユーザーでもあり、構成管理用のPuppet、モニタリング用のGrafanaとInfluxDBなどがあります。

「世界中の約170の研究所と協力しています。そのため、オープンソースプロジェクトの改善点を見つけると、他の研究所も簡単に採用して使用できます」とBellは言います。「同時に、私たちも他のプロジェクトから学びます。eBayやRackspaceのような大規模な設置基数がソリューションのスケーラビリティを向上させた時、私たちもそこから恩恵を受け、スケールを拡大できます。」

現実の問題を解決

2012年頃、CERNは大型ハドロン衝突型加速器のために計算能力を拡張する方法を研究していましたが、難点は技術ではなく人員でした。CERNが雇用する従業員数は固定されています。「大量の追加人員を管理することなく、計算能力を拡張する方法を見つける必要がありました」とBellは言います。「OpenStackは私たちに自動のAPI駆動でソフトウェア定義のインフラストラクチャを提供しました。」OpenStackはまた、CERNがサービスデリバリーに関連する問題を検査し、従業員を増やすことなく自動化するのを助けました。

「現在、ジュネーブとブダペストの2つのデータセンターで約28万プロセッサコアと7,000台のサーバーを運用しています。ソフトウェア定義のインフラストラクチャを使用してすべてを自動化し、従業員数を維持しながらより多くのサーバーを追加し続けることができます」とBellは言います。

時間が経つにつれて、CERNはより大きな課題に直面するでしょう。大型ハドロン衝突型加速器には2035年までの青写真があり、いくつかの重要なアップグレードが含まれています。「私たちの加速器は3〜4年運転し、その後18ヶ月または2年かけてインフラストラクチャをアップグレードします。このメンテナンス期間中に計算能力の計画を行います」とBellは言います。CERNは高輝度大型ハドロン衝突型加速器へのアップグレードも計画しており、より高い光度のビームが可能になります。現在のCERNの規模と比較して、アップグレードは計算需要が約60倍増加することを意味します。

「ムーアの法則によると、需要の4分の1しか満たせないかもしれません。したがって、計算能力とストレージインフラストラクチャを拡張する対応方法を見つけ、OpenStackのような自動化とソリューションを見つける必要があります」とBellは言います。

「大型ハドロン衝突型加速器の使用を開始し、計算能力をどのように提供するかを見ると、すべてをCERNのデータセンターに入れることができないことは明らかでした。そのため、分散グリッド構造を設計しました:中心にあるCERNとそれを囲むカスケード構造です」とBellは言います。「世界中に約12の大規模なティア1データセンターがあり、その後150の小規模な大学と研究所があります。彼らは大型ハドロン衝突型加速器のデータからサンプルを収集し、物理学者がデータを理解・分析するのを助けます。」

この構造は、CERNが国際協力を行っていることを意味し、何百もの国がこれらのデータの分析に取り組んでいます。基本原則に帰着すると、オープンソースはコードを共有するだけでなく、人々の間の協力、知識共有を含み、個人、組織、または企業が単独では達成できない目標を実現することです。これがオープンソース世界のヒッグス粒子です。

転載请注明:开发者关系 »


Similar Posts

Content icon
Content