Non Gaussian and long memory statistical characterisations for Internet traffic with anomalies

Antoine Scherrer (1) , Nicolas Larrieu (2) , Philippe Owezarski (2) , Pierre Borgnat (1) , Patrice Abry (1)

1 LIP - Laboratoire de l'Informatique du Parallélisme
2 LAAS - Laboratoire d'analyse et d'architecture des systèmes

The Internet aims at providing a wide range of services for a large variety of applications. Hence, it is highly sensitive to traffic anomalies (e.g., failures, flash crowds,...) as well as to DoS attacks, which are likely to significantly reduce the Quality of Service level. Current intrusion detection systems, specially those based on anomaly detection, are not providing efficient nor satisfactory solutions for DoS attack tracking. This is mainly due to difficulties in distinguishing between strong but legitimate traffic variations and DoS attack induced changes. The goal of this work is to compare relevant statistical characteristics of regular traffic to those of traffic presenting anomalies. To do so, we introduce a non Gaussian long memory model and develop estimators for the corresponding parameters. First, we show that this model relevantly describes Internet traffic for a wide range of aggregation levels, using both a large set of data taken from public reference repositories (Bellcore, LBL, Auckland, UNC, CAIDA) and data collected by ourselves. Second, we show that the proposed model also describes meaningfully traffic with anomalies such as flash crowd and DoS attacks which we generated and collected. We show that the behaviors of the parameters of the model enables us to discriminate between regular and anomalous traffic, and between flash crowds and DoS attacks. We also derive analytically procedures to numerically synthesize realizations of stochastic processes with prescribed non Gaussian marginals and long range dependent covariances. This enables us to validate the relevance and accuracy of our characterization procedures. Finally, we describe various applications based on the proposed model.

Internet fournit de multiples services de communication de qualités variées à un très grand nombre d’applications. C’est pourquoi il est très sensible aux anomalies du trafic (dysfonctionnement, flash crowds,...) ainsi qu’aux attaques DoS (d´eni de service) qui réduisent sensiblement la qualité de service fournie par le réseau. Les mécanismes actuels de détection d’intrusion, notamment ceux basés sur la recherche d’anomalies, ne parviennent pas à lutter efficacement contre les DoS car il est très difficile de différencier les variations légitimes de trafic des variations dues à des attaques.Nous présentons ici une étude statistique de ces différentes variations (légitime et illégitime), dans le but d’aider les détecteurs d’intrusion à être plus efficace. Pour cela, nous introduisons un modèle stochastique de trafic basé sur des processus à longue mémoire non gaussien. Nous montrons que ce modèle parvient à capturer les caractéristiques statistiques d’ordre 1 et 2 du trafic de manière satisfaisante sur des traces de trafic classiques (Bellcore, LBL, Auckland, UNC, CAIDA), ainsi que sur des traces de trafic contenant des anomalies. Nous montrons aussi que les variations des paramètres de ce modèle permettent de différencier les flash crowds et les attaques DoS. Nous présentons enfin une méthode pour générer des traces de trafic synthétiques en accord avec le modèle, ce qui nous permet de valider les performances de nos outils d’analyse.

Mots clés: DoS attack; Flash crowd; Intrusion detection; Non Gaussian long range dependent process

Mots clés: Détectiond’intrusion; AttaquesDoS; Processusà longue mémoire non gaussiens

Domaines: Informatique [cs]

Antoine Scherrer, Nicolas Larrieu, Philippe Owezarski, Pierre Borgnat, Patrice Abry. Non Gaussian and long memory statistical characterisations for Internet traffic with anomalies. [Research Report] LIP RR-2005-35, Laboratoire de l'informatique du parallélisme. 2005, 2+21p. ⟨hal-02102189⟩