2. 国际高能物理网格(WLCG)
国际高能物理网格(WLCG)是一个全球计算基础设施,其任务是提供计算资源,以存储、分发和分析LHC生成的数据,使所有合作伙伴,无论其物理位置如何,都能平等地获取数据。
WLCG建立在IanFoster和Carl Kesselman最初于1999年提出的网格技术思想之上。WLCG将世界各地的计算中心和网格资源连在一起,用于处理和分析LHC的高能物理实验产生的海量数据。该网格系统集成了世界上几种主流的网格部件并在其上部署物理软件,从而为相关的高能物理实验提供高性能的计算服务。
WLCG由欧洲核子研究中心(CERN)协调。CERN没有计算或财政资源来处理现场的所有数据,自2002年它就转向网格计算,由世界各地的计算机中心共同承担。
同时,WLCG也是世界上最大的计算网格。它得到了世界各地相关的国家和国际电网的支持,例如欧洲电网战略(基于欧洲)和开放科学网格(美国),以及许多其他区域网格。
WLCG的特点包括:
■物理学的关键工具:有史以来最先进的科学数据采集和分析系统,提供对LHC数据的近实时访问。
■无缝存取:计算资源包括数据存储容量、处理能力、传感器、可视化工具等。
■全球合作:42个国家,170个计算中心,每天超过200万个任务,100万个计算机核心,1EB的存储空间。
■促进研究:WLCG帮助物理学家于2012年7月4日宣布发现希格斯玻色子。
WLCG的层级
WLCG由四层或“层”组成;0、1、2和3。每层提供一组特定的服务。
第0层:这是位于瑞士日内瓦的CERN。所有来自LHC的数据都通过中央的CERN,但CERN只提供了总计算能力的20%左右。
第0层负责原始数据(第一份副本)的安全保管、第一次通行重建、将原始数据和重建输出分发给第1层,以及在LHC停机期间重新处理数据。
第1层:这是13个大型计算机中心,有足够的存储容量,并24小时支持网格。他们负责按比例保存原始数据和重建数据,大规模再处理和保存相应的输出,将数据分发给第二层,并安全保存在这些第二层生成的模拟数据。
第2层:第二层通常是大学和其他科研机构,它们可以存储足够的数据,并为特定的分析任务提供足够的计算能力。
目前约有160个二级站点覆盖全球大部分地区。
第3层:个别科学家将通过本地(有时也被称为第3层)计算资源来访问这些设施,这些资源可以由大学部门中的本地集群或甚至只是个人PC组成。第3层资源没有正式的参与WLCG。
WLCG的网络研究活动包括:
- DTN节点(ESnet)和测试节点(GEANT)。
- 高级协议替代方案(DOMA)
- 低水平协议(TCP)的替代方案(AENEAS SKA)
- 有效利用广域网连接(NOTED)。
- 利用按需分配的带宽和P2P增加额外的带宽
(NOTED,LHCONE-P2P)
- 网络功能虚拟化(HEPiX NFV工作组)
- 商业服务提供商的连接(LHCONE)
WLCG结构
WLCG的四个主要组成层是网络、硬件、中间件和物理分析软件。
网络:WLCG最令人印象深刻的组成部分之一是网络和连接。由于CERN建立了具有良好的连接性的专用网络基础设施,WLCG可以在全球范围内向数百个合作机构分发数据。
WLCG网络的组成部分包括:
CERN互联网交换点:CERN拥有自己的互联网交换点(IXP)。它成立于1989年,能够直接连接到主要的国家和国际网络。这有助于减少成本、时间和数据到达目的地所需经过的不同网络的数量。
LHC光专用网(LHCOPN):CERN通过一个专用的、高带宽的网络LHCOPN连接到世界各地的第1层。(将在后续进行详细介绍)
数据交换:WLCG各中心之间的数据交换是由网格文件传输服务管理的,该服务最初是与2002年起的电子科学项目启用网格一起开发的。它是为支持网格计算的特殊需要而定制的,包括认证和保密功能、兼具可靠性和容错性,以及第三方和部分文件传输功能。
硬件方面:每个网格中心都管理着大量的计算机和存储系统。手动安装和定期升级必要的软件是劳动密集型工作,因此大规模的管理系统(一些系统,如CERN开发的Quattor)将这些服务自动化。从操作系统一直到实验特定的物理库,它们确保软件的正确安装,并将这些信息提供给整个网格调度系统,由其决定哪些中心可以运行特定的工作。
中间件:中间件是允许访问大量分布式计算资源和档案的软件基础设施,能够支持强大、复杂和耗时的数据分析。这种软件被称为 "中间件",因为它位于计算机的操作系统和能够解决科学家特定问题的物理学应用软件之间。
物理分析软件:为了分析LHC产生的大数据,物理学家们需要超越市面上现有的软件工具。高能物理环境的巨大和不断变化的需求需要专门的软件来尽可能有效地分析大量的数据。
主要的物理分析软件是ROOT,它面向对象的核心库,被所有LHC实验使用。它是一个多功能的开源工具,由CERN和费米实验室(Fermilab)开发,用于大数据处理、统计分析、可视化和存储。
参考文献:
https://wlcg.web.cern.ch/
https://wlcg-public.web.cern.ch/about
https://www.annualreviews.org/doi/pdf/10.1146/annurev-nucl-102010-130059