Nouveau cluster CCIAM : accès et politique d’utilisation du scratch

1. Ressources de calcul

Le nouveau cluster met à disposition quatre partitions Slurm : genoa (calcul CPU), hopper (calcul GPU), skylake (calcul CPU, anciens nœuds), kepler, pascal et volta (calcul GPU, anciens nœuds) et une partition de visualisation.

La partition skylake, la partition visu associée et les partitions GPU kepler, pascal et volta regroupent les anciens nœuds de Rheticus : ils y sont ajoutés progressivement, au fur et à mesure de leur migration.

Notez que vous voyez aussi la partition gpu qui est réservée aux projets MesoNET.

La partition est choisie à la soumission avec l’option --partition (ou -p) de Slurm, par exemple sbatch -p genoa job.sh.

2. Connexion

L’accès se fait en SSH sur la frontale hedy.mesocentre.univ-amu.fr. Le port d’accès est spécifié dans votre espace copernicus (https://mesocentre.univ-amu.fr/copernicus/login.html).

ssh -p <portssh> <identifiant>@hedy.mesocentre.univ-amu.fr

Pour éviter de préciser le port à chaque connexion, ajoutez dans ~/.ssh/config sur votre poste :

Host hedy
    HostName hedy.mesocentre.univ-amu.fr
    Port <portssh>
    User <identifiant>

La connexion se fait alors avec ssh hedy. Les transferts utilisent le même port : scp -P <portssh> … (P majuscule) ou rsync -e "ssh -p <portssh>" ….

NB : la commande ssh-copy-id ne fonctionne pas : l’utilisation de l’interface copernicus est obligatoire pour l’ajout des clefs publiques ssh.

3. Espaces de stockage

Le scratch est un espace de travail temporaire ; les espaces de l’ancien Rheticus sont accessibles en lecture seule pour la récupération des données.

Aucune écriture n’est possible dans /home-reth et /save-reth : copiez les fichiers nécessaires à vos calculs. Le scratch ne doit pas servir à l’archivage ; les résultats à conserver doivent être rapatriés sur vos propres espaces de stockage.

4. Politique d’utilisation du scratch si l’occupation globale du scratch dépasse 60 %

Le scratch est réservé aux données des calculs en cours.
La politique suivante ne sera mise en place que :

• si l’occupation globale du scratch dépasse 60 %
• en attendant que nous mettions en place une offre de stockage (fin 2026, début 2027)

Pour qu’il ne serve pas d’espace de stockage, les cinq plus gros consommateurs sont identifiés chaque jour. Lorsque l’occupation globale du scratch dépasse 60 %, ils doivent réduire leur occupation de moitié sous 14 jours, faute de quoi toutes leurs données sur le scratch sont supprimées.

Cette politique a vocation à évoluer selon l’utilisation faite du scratch.

4.1 Relevé quotidien

1. Chaque jour, le volume occupé sur le scratch par chaque utilisateur est mesuré (volume total des fichiers dont il est propriétaire), ainsi que le taux d’occupation global du scratch.
2. Les utilisateurs sont classés par volume décroissant. Les cinq premiers constituent le « top 5 » du jour.

4.2 Notification

Lorsque le taux d’occupation global relevé est strictement supérieur à 60 %, tout utilisateur figurant dans le top 5 et qui n’est pas déjà en cours de procédure reçoit un avis par courriel, à l’adresse associée à son compte. Aucun avis n’est émis si l’occupation est inférieure ou égale à 60 %. Le jour de l’avis est noté J0. L’avis indique :

• le volume de référence V0, égal au volume mesuré lors du relevé de J0 ;
• le seuil à atteindre, égal à V0 / 2 ;
• la date d’échéance, égale à J0 + 14 jours.

4.3 Condition de levée

La procédure est close sans suppression si le volume occupé par l’utilisateur reste inférieur ou égal à V0 / 2 pendant au moins 72 heures consécutives, cette période étant entièrement comprise entre J0 et l’échéance.

• Tout dépassement du seuil pendant ces 72 heures remet le décompte à zéro.
• La réduction doit donc être effective au plus tard à J0 + 11 jours.
• Le respect de la condition est vérifié par des mesures effectuées [fréquence à compléter, par exemple toutes les heures].

4.4 Issue de la procédure

• Condition remplie : la procédure est close et l’utilisateur en est informé par courriel.
• Condition non remplie à l’échéance : l’ensemble des données de l’utilisateur sur le scratch est supprimé à J0 + 14 jours. Le scratch n’étant pas sauvegardé, ces données ne peuvent pas être récupérées.

4.5 Cas particuliers

• Sortir du top 5 pendant le délai de grâce ne met pas fin à la procédure, pas plus qu’une baisse de l’occupation globale du scratch sous 60 % : seule la condition de la section 4.3 la clôt.
• Un utilisateur en cours de procédure ne reçoit pas de nouvel avis ; V0 et l’échéance restent ceux de J0.
• Après clôture, toute nouvelle entrée dans le top 5 déclenche une nouvelle procédure complète, avec un nouveau V0 et un nouveau délai de 14 jours.

4.6 Exemple

Un utilisateur occupant 2 To est notifié le lundi 2 novembre (J0), jour où le scratch est occupé à 65 %. Son seuil est de 1 To et son échéance le lundi 16 novembre. S’il descend à 0,9 To le vendredi 6 novembre et y reste jusqu’au lundi 9 novembre à la même heure, la procédure est close. S’il ne descend sous 1 To que le samedi 14 novembre, les 72 heures ne peuvent pas s’achever avant l’échéance : ses données sont supprimées le 16 novembre.

Pour toute question : mesocentre-techn@univ-amu.fr