An Efficient Network API for in-Kernel Applications in Clusters

Brice Goglin (1) , Olivier Glück (1) , Primet, Pascale Vicat-Blanc (1)

1 LIP - Laboratoire de l'Informatique du Parallélisme

Running parallel applications on clusters with high-speed local networks requires fast communication between computing nodes but also low latency and high bandwidth file access. However, the application programming interfaces of high-speed local networks were designed for MPI communication and do not always meet the requirements of other applications like distributed file systems. In this paper, we explore several solutions to improve the use of high-speed network for in-kernel applications. Distributed file systems implemented on top of the GM interface of Myrinet are first examined to demonstrate how hard it is to get an efficient interaction between such applications and the network. Then, we propose solutions to simplify and improve this interaction and integrate them into the kernel interface of the new Myrinet driver, MX. Performance comparisons between MX and GM, and their usage in both a distributed file system and a zero-copy protocol show nice improvements. Moreover, we are able to improve the performance of the flexible kernel API we designed in MX that allows to remove some intermediate copy.

L’exécution performante d’applications parallèles sur une grappe nécessite de scommunications rapides entre les nœuds,mais aussi des accès aux fichiers à faible latence et grande bande passante. Cependant, les interfaces logicielles de programmation des réseaux rapides ont été conçues pour les communications MPI et ne conviennent pas toujours aux besoin des autres applications, par exemple les systèmes de fichiers distribués. Dans cet article, nous explorons différentes solutions pour améliorer l’utilisation des réseaux rapides pour les applications dans le noyau. Nous examinons tout d’abord l’implantation d’un système de fichiers distribués sur MYRINET/GM pour montrer les difficultés rencontrées lorsqu’on cherche à obtenir une interaction efficace entre ces applications et le réseau. Nous proposons ensuite des solutions pour simplifier et améliorer cette interaction et nous les intégrons dans l’interface noyau du nouveau pilote MYRINET, MX. Les études de performance de MX et GM et de leur utilisation dans un système de fichiers distribués et un protocole socket zéro-copie montrent des gains intéressants. De plus, la flexibilité de l’interface de programmation que nous avons conçue nous permet de supprimer certaines copies intermédiaires.

Mots clés: in-kernel network API; distributed file systems; High-speed local networks; zero-copy socket protocols

Mots clés: Réseaux locaux haute performance; interface de programmation réseau dans le noyau; systèmes de fichiers distribués; protocole socket zéro-copie.

Domaines: Informatique [cs]

Brice Goglin, Olivier Glück, Primet, Pascale Vicat-Blanc. An Efficient Network API for in-Kernel Applications in Clusters. [Research Report] LIP RR-2005-18, Laboratoire de l'informatique du parallélisme. 2005, 3+16p. ⟨hal-02102021⟩