A study of meta-scheduling architectures for high throughput computing

Eddy Caron (1) , Vincent Garonne (1) , Andreï Tsaregorodtsev (1)

1 LIP - Laboratoire de l'Informatique du Parallélisme

In this paper we present a model and a simulator for large-scale system. Such platforms are composed of heterogeneous clusters of PCs belonging to a local network. These clusters are then connected to each other through a global network. Moreover each cluster is managed via a local scheduler and is shared by many users. We validate our simulator by comparing the experimental results and the analytical results of a M/M/4 queuing system. These studies indicate that the simulator is consistent. After that we do the comparison with a real batch system and we obtain a mean error of 10.5 \% for the response time and 12 \% for the makespan. We conclude that our simulator is realistic and describes well the behavior of a large-scale system. Thus we can study the scheduling of our system called \dirac in a high throughput context. We justify our decentralized, adaptive and opportunistic approach in comparison to a centralized approach in such a context.

Dans cet article, nous présentons une modélisation et un simulateur de grands systèmes de calcul distribué. Une telle plateforme se compose de grappes de PCs hétérogènes appartenant à un réseau local interconnectées entre elles par un réseau global. Ces grappes sont accessibles via un ordonnanceur local et sont partagées entre les utilisateurs. La confrontation du simulateur avec les résultats théoriques d’un système M/M/4 nous permet de conclure qu’il est analytiquement valide. Une deuxième confrontation avec un système batch réel,nous donne une différence moyenne de 10.5 % par rapport à la réalité pour les temps de réponse et de 12% pour le makespan. Notre simulateur est donc réa-liste et décrit le comportement d’un système de batch réel. Fort de cet outil,nous avons analysé l’ordonnancement de notre système (appel ́eDIRAC) dans un contexte de calcul intensif. Nous avons justifié l’approche distribuée, adaptative et opportuniste utilisée dans notre système par rapport à une approche centralisée.

Mots clés: Grid computing; Metascheduler

Mots clés: Plateforme multi-grappes; Méta-ordonnancement; Grilles de calcul

Domaines: Informatique [cs]

Eddy Caron, Vincent Garonne, Andreï Tsaregorodtsev. A study of meta-scheduling architectures for high throughput computing. [Research Report] LIP RR-2005-13, Laboratoire de l'informatique du parallélisme. 2005, 2+13p. ⟨hal-02101915⟩