Ressources matérielles HPC
Le mésocentre met à disposition de ses utilisateurs 42 To de mémoire, 1,3 Po de stockage et une puissance théorique de calcul de 579 Tflops/s fournie par 6892 cœurs (nœuds fins, nœuds à forte mémoire (SMP), nœuds GPU et noeud de visualisation). Le système d’exploitation des noeuds de calcul est Centos.
Deux générations de cluster coexistent.
Le cluster le plus récent, très performant, a été déployé entre 2018 et 2019 au travers d’un projet partiellement financé par l’Union européenne avec le Fonds Européen de Développement Régional (FEDER).
Il est interconnecté par un réseau rapide faible latence Omnipath à 100 Gb/s.
Il accède à un espace de stockage perenne de 440 Téraoctets (technologie NFS) et à deux espaces de stockage temporaire (système de fichiers BeeGFS) :
- /scratch : 535 téraoctets sur disques Near Line SAS
- /scratchfast : 94 téraoctets sur disques NVMe.
Il est constitué de :
- 158 noeuds Dell PowerEdge C6420.
- 32 coeurs par nœud, processeur Intel® Xeon® Gold 6142 (Sky Lake) à 2.6 GHz.
- 192 Go de RAM par nœud.
- 100 Go sur disque local SSD.
Noeuds de développement SkyLake :
- 2 noeuds Dell PowerEdge C6420.
- 24 coeurs par nœud, processeur Intel(R) Xeon(R) Gold 5118 (Sky Lake) à 2.3 GHz.
- 96 Go de RAM par nœud.
- 440 Go sur disque local SSD.
- Dell PowerEdge R940 (112 coeurs).
- Quadri-processeurs Intel(R) Xeon(R) Platinium 8280.
- 3 To de RAM.
- 1,8 To sur disque local SSD.
- 7 noeuds Dell PowerEdge C4130 (24 coeurs par noeuds) Intel(R) Xeon(R) CPU E5-2680 v3, 320 Go de RAM par noeud et 2 cartes bi-GPU NVIDIA Tesla K80 (4992 cœurs CUDA).
- 2 noeuds Dell PowerEdge C4130 (28 coeurs par noeuds) Intel(R) Xeon(R) CPU E5-2680 v4, 320 Go de RAM par noeud et 2 cartes NVIDIA Tesla P100 (3584 coeurs CUDA).
- 5 noeuds Dell PowerEdge C4140 (32 coeurs par noeuds) Intel(R) Xeon(R) CPU 5218, 380 Go de RAM par noeud et 4 cartes NVIDIA Tesla V100 (5120 coeurs CUDA).
- Dell PowerEdge R740 (32 coeurs).
- Processeur Intel(R) Xeon(R) Gold 6130.
- 192 Go de RAM.
- Carte Quadro P4000.
L’ancien cluster, dont les ressources peuvent toujours répondre à plusieurs types de calcul, notamment ceux nécessitant beaucoup de mémoire ou du calcul sur Xeon Phi, reste accessible à travers l’ordonnanceur SLURM.
Les premiers équipements ont été installés en 2012. Une première extension matérielle a été réalisée en 2013, en partie grâce à des machines issues de la mutualisation des moyens de calcul avec l’Ecole Centrale (projet ANR CAPSHYDR). D’autres équipements, acquis dans le cadre de projets ANR ou A*MIDEX, ont été ajoutés au fil de l’eau.
Tous les nœuds du cluster accèdent à un espace scratch d’une capacité de 220 téraoctets en technologie GPFS (nommé /scratchw) et la majorité d’entre eux est interconnecté par un réseau rapide faible latence Infiniband QDR Qlogic.
- 3 Dell R720.
- 20 cœurs par nœud : Intel(R) Xeon(R) E5-2670 à 2.67 GHz.
- 512 Go de RAM.
- 95 Dell PowerEdge C6100.
- 12 cœurs par noeud processeur Intel(R) Xeon(R) X5675 (Westmere) à 3.06 GHz.
- 24 Go de mémoire par nœud.
- 80 Go sur disque local SSD.