
© G

rad

uat

e S

cho

ol ,

Ch

ines

e ac

adem

y o

f S

cien

ces.

Queueing System V

Self-similarity Traffic


© G

rad

uat

e S

cho

ol ,

Ch

ines

e ac

adem

y o

f S

cien

ces.

Self-similarity Traffic

Self-similar phenomena

Application of self-similarity to data traffic

Performance Implications

Overview of Source Models for ATM


© G

rad

uat

e S

cho

ol ,

Ch

ines

e ac

adem

y o

f S

cien

ces.

Burstiness(1)


© G

rad

uat

e S

cho

ol ,

Ch

ines

e ac

adem

y o

f S

cien

ces.

Burstiness(2)


© G

rad

uat

e S

cho

ol ,

Ch

ines

e ac

adem

y o

f S

cien

ces.

Self-similar phenomena

• A phenomenon that is self-similar looks or behaves the same when viewed at different degrees of “magnification” or different scales on a dimension (time or space)

• We are concerned w/ time series and stochastic processes that exhibit self-similarity with respect to time

• Aggregating streams of such traffic intensifies the self-similarity instead of smoothing it.

• Aggregation causes more burstiness and requires larger buffers.


© G

rad

uat

e S

cho

ol ,

Ch

ines

e ac

adem

y o

f S

cien

ces.

Example 1.1(1)

• 1Mbs 传输链路， 4000bits 的帧，每一个帧的传输时间为4ms 。

• 在接收者接收帧到达的时间 ( 每一个帧的第 1 位到达 ) ： 0 8 24 32 72 80 96 104 216 224 240 248 288 296

312 320 648 656 672 680 720 728 744 752 864 872 888 896 936 944 960 968

• 特点 :– 很难给出到达的统计规律和特性– 呈现出突发性– 一些到达时间紧密组合在一起，一些到达时间松散，最大间隔 328

ms （从 320 到 648 ），很多比较小的间隔 40 ms 左右。


© G

rad

uat

e S

cho

ol ,

Ch

ines

e ac

adem

y o

f S

cien

ces.

Example 1.1(2)

• 压缩这个传输，分成集群，在每个集群中到达帧之间的间隔不超过 5 个帧的传输时间（ 20 ms ），并且记录每个集群的开始时间 :

72 216 288 648 720 864 936

• 进行更大的压缩，在每个集群中到达帧之间的间隔不超过 10个帧的传输时间（ 40 ms ），并且记录每个集群的开始时间 :

0 216 648 864

• 特点 :

– 时间序列呈现相同的样式，与压缩或解的程度无关。– 自相似的本质


© G

rad

uat

e S

cho

ol ,

Ch

ines

e ac

adem

y o

f S

cien

ces.

Example 1.1(3)


© G

rad

uat

e S

cho

ol ,

Ch

ines

e ac

adem

y o

f S

cien

ces.

Example 1.2 : Cantor Set

• Begin with closed interval [0,1] represented by a line segment

• Remove the middle third of the line

• At each step, remove the middle third of the segments created by the previous step


© G

rad

uat

e S

cho

ol ,

Ch

ines

e ac

adem

y o

f S

cien

ces.

Example 1.3


© G

rad

uat

e S

cho

ol ,

Ch

ines

e ac

adem

y o

f S

cien

ces.

Properties(1)

1. Self-similar phenomena have structure at arbitrarily small scales

(contrast w/ a smooth continuous curve)

2. A self-similar structure contains smaller replicas of itself at all scales

(for real phenomena, properties don’t hold indefinitely; however, they hold over a large range of scales)


© G

rad

uat

e S

cho

ol ,

Ch

ines

e ac

adem

y o

f S

cien

ces.

Properties(2)

• Queue size builds up more than would be expected.

• Aggregation of self-similar sources is not smooth.

• Just as Stochastic processes are invariant to time, self-similar processes are invariant to scale.


© G

rad

uat

e S

cho

ol ,

Ch

ines

e ac

adem

y o

f S

cien

ces.


© G

rad

uat

e S

cho

ol ,

Ch

ines

e ac

adem

y o

f S

cien

ces.

Why do we care?

• If network traffic is self-similar, there is significant amount of clustering at all time scales, requiring more buffering.

• Contrast with Poisson traffic, where clustering occurs in the short term but traffic smoothes out over the long term.


© G

rad

uat

e S

cho

ol ,

Ch

ines

e ac

adem

y o

f S

cien

ces.

Impact on Network Engineering

• Queuing delays are much higher in the presence of long range dependence than for Poisson traffic

• To avoid dropping packets , buffers have to be huge

• You have to be very careful predicting future traffic based on past measurement


© G

rad

uat

e S

cho

ol ,

Ch

ines

e ac

adem

y o

f S

cien

ces.

Continuous-time Definition

Defn 1.1 - A stochastic process X(t) is statistically self-similar with parameter H (0.5 H 1) if for any real a > 0 :

Or we can say a stochastic process X(t) is statistically self-similar with parameter H (0.5H1) if for any >0, the process -HX(t) has the same statistical properties as X(t).


© G

rad

uat

e S

cho

ol ,

Ch

ines

e ac

adem

y o

f S

cien

ces.

The Hurst Parameter

• H is the Hurst Parameter, a key measure of self-similarity

• H=0.5 indicates the absence of self-similarity

• H closer to 1 indicates a higher degree of persistence of long-range dependence


© G

rad

uat

e S

cho

ol ,

Ch

ines

e ac

adem

y o

f S

cien

ces.

布朗运动 (1)

• 布朗运动是悬浮在液体或气体中的极小粒子由于周围介质分子的碰撞而产生的随机走动 . 它是布朗运动随机过程定义的基础

• 令函数 B(t) 表示做布朗运动的粒子在一个维度内经过时间 t 后离开一个开始点的位移 , 具有独立增量 .


© G

rad

uat

e S

cho

ol ,

Ch

ines

e ac

adem

y o

f S

cien

ces.

布朗运动 (2)

• B(t) 可以定义为满足下面的过程

1. {B(t), 0 t <} 有平稳随机过程

2. 对于每一个 t>0, 随机变量 B(t) 有一个正态分布函数

3. 对于所有的 t>0, E[B(t)]=0

4. B(0)=0

对布朗运动 : Var[B(t)]=t

Var[B(t)-B(s)]=|t-s|

RB(t1, t2)=E[B(t1) B(t2)]=min{t1, t2}


© G

rad

uat

e S

cho

ol ,

Ch

ines

e ac

adem

y o

f S

cien

ces.

布朗运动 (3)

• 布朗运动是自相似的 : H=0.5

(1) E[B(at)]=0 E[B(t)]=0

(2) Var[B(at)]=at=aVar[B(t)]

(3) RB(at, as)=min{at, as}=a min{t,s}

=aRB(t, s)


© G

rad

uat

e S

cho

ol ,

Ch

ines

e ac

adem

y o

f S

cien

ces.

分数布朗运动 (FBM) （ 1 ）

• FBM 是布朗运动的一个变体 , 是通过放松对独立增量要求得到的 .

• 一个 FBM 过程 BH(t) 定义如下：

BH(t) = XtH (t>0, 0.5 H1 )

X 是一个正态分布的随机变量，它的均值为 0，方差为 1 。


© G

rad

uat

e S

cho

ol ,

Ch

ines

e ac

adem

y o

f S

cien

ces.


a) Mean

1 ） E[BH(t)]=E[XtH]=tHE[X]=0

2) E[BH(at)]=

b) Variance

1 ） Var[BH(t)]=Var[XtH]=t2HVar[X]=t2H

2) Var[BH(at)]=

0][)(])([ XEatatXE HH

HHH atXVaratatXVar 22 )(][)(])([


© G

rad

uat

e S

cho

ol ,

Ch

ines

e ac

adem

y o

f S

cien

ces.


c) 自相关系数：


© G

rad

uat

e S

cho

ol ,

Ch

ines

e ac

adem

y o

f S

cien

ces.



© G

rad

uat

e S

cho

ol ,

Ch

ines

e ac

adem

y o

f S

cien

ces.

分数布朗运动 (FBM) （ 5 ）布朗运动过程和 FBM 过程最显著的区别在于前者有孤立和无关的间隔

，而后者有无限长运行相关。注意• 当 H ＝ 0.5 时， FBM 描述了一个一般布朗运动过程，过去增量和进一

步增量的相互关系消失了，它有孤立增量。


© G

rad

uat

e S

cho

ol ,

Ch

ines

e ac

adem

y o

f S

cien

ces.

分数布朗运动 (FBM) （ 6 ）• 当 H > 0.5 时， FBM 过程有值得注意的持续特性。在这种

情况下，在过去的某个时刻我们有一个正增量，那么平均在将来也将有一个正增量。因此，在过去的一个增量 ( 减量 )趋势意味着在将来的一个增量 ( 减量 ) 趋势。这个相互关系可应用于任意大的 t 值，并且随着 H 值的增大而加强。

• 持续行为与随机现象常规的假定是冲突的。一些随机过程，例如布朗运动过程，有孤立的增量。对于许多其他过程，当间隔时间增量很小时，我们可以认为事件之间是相互关联的；但当间隔时间增量很大时，我们就一定假定它们变成无关的。


© G

rad

uat

e S

cho

ol ,

Ch

ines

e ac

adem

y o

f S

cien

ces.

• We now turn to two concepts that are related to self-similarity

– Long-range dependence

– Heavy-tailed distribution


© G

rad

uat

e S

cho

ol ,

Ch

ines

e ac

adem

y o

f S

cien

ces.

Long-range dependence （ 1 ）• 长程相关定义—若一个随机过程满足自相似的条件 1 和条件2 ，即其自相关函数随时滞的增加呈双曲线衰减（幂律衰减），则该随机过程呈现长程相关性

• 长程相关≠自相似，自相似是长程相关的特例 / 简单模型• 长程相关特性以 τ 增加时自协方差 C(τ) 的行为来定义。• 对许多过程来说，自协方差随着 τ 快速减弱。例如，泊松增

加过程具有增量 L 和均值 λ ，对于 τ> L ，自协方差是：

0)()( 222 RC


© G

rad

uat

e S

cho

ol ,

Ch

ines

e ac

adem

y o

f S

cien

ces.

Long-range dependence （ 2 ）• 一般，一个短程相关 (short-rang dependent) 过程满足条件：它的自

协方差减弱速率至少同指数一样快，有

其中 ~ 表示两边的表达式是彼此渐进成比例。• 一个长程相关有双曲线减弱的自协方差：

其中 β 是相关的突发参数， H = 1 - (β/2) 。

( ) ~ , 0 1kC k a k a 当

( ) ~ , 0 1C k k k 当


© G

rad

uat

e S

cho

ol ,

Ch

ines

e ac

adem

y o

f S

cien

ces.

Long-range dependence （ 3 ）

• 长程相关直观地影响自相似过程的持续性，亦即，在所有时间级别上集群和突发特性的存在。

• 不可和性，即∑ kC(k) ＝∞。不可和性的物理意义在于高滞后的相关虽然是个别的小量，但其累计的结果则十分重要

• 短相关过程自相关函数呈指数衰减，其自相关函数是可和的，即 0 ＜∑ k C(k) ＜∞


© G

rad

uat

e S

cho

ol ,

Ch

ines

e ac

adem

y o

f S

cien

ces.

Heavy-tailed Distributions(1)

• 重尾分布可由概率密度表达，概率密度函数用于描述传输过程，例如，分组到达的间隔时间和突发长度。

• 一个随机过程 X 的分布说是重尾的，如果：

• 一般，具有重尾分布的随机变量具有较高甚至无穷大的方差。具有重尾分布的随机变量将会以不可忽略的概率取到非常大的数值

11 ( ) [ ] ,0

aF x P X x x a

x 当


© G

rad

uat

e S

cho

ol ,

Ch

ines

e ac

adem

y o

f S

cien

ces.

Heavy-tailed Distributions(2)


© G

rad

uat

e S

cho

ol ,

Ch

ines

e ac

adem

y o

f S

cien

ces.

The Pareto Distribution (1/3)

最简单的重尾分布是 Pareto 分布 , 具有参数 k , > 0

0

( )1 , 0

x k

F x kx k

x

1

0

( ), 0

x k

f x kx k

k x


© G

rad

uat

e S

cho

ol ,

Ch

ines

e ac

adem

y o

f S

cien

ces.

The Pareto Distribution (2/3)

• 参数 k 规定随机变量可取的最小值。参数决定随机变量的均值和方差：如果 2 ，分布有无限的方差；如果 1 ，它有无限的均值和方差。

1 1

1 )(

kXE


© G

rad

uat

e S

cho

ol ,

Ch

ines

e ac

adem

y o

f S

cien

ces.

The Pareto Distribution (3/3)网络变量 ( 如文件长度和连接的持续时间 ) 的重尾分布可能是导致网络通信量的长程相关性和自相似的根本原因


© G

rad

uat

e S

cho

ol ,

Ch

ines

e ac

adem

y o

f S

cien

ces.

自相似数据传输的建模与估计

• 一般的自相似数据传输分析的方法：首先判断实际数据到达时间序列是否自相似；如果是自相似的，估价自相似参数H

• 常用的方法主要有 :

– 方差时间图– R/S图– Whittle估价

• 周期图 • 估价 H


© G

rad

uat

e S

cho

ol ,

Ch

ines

e ac

adem

y o

f S

cien

ces.

方差时间图

• 一自相似过程的压缩时间序列，对于大的 m ，方差服从：

其中自相似参数 H = 1 - (β/2) 。这个式子可以写作：

由于 log[Var(x)] 是与 m 无关的常数，如果我们在 log-log图上画 Var()作为 m 函数曲线，结果将得到一条斜率为 -β的直线

( ) ( )( ) ~m Var x

Var xm

( )log ~ log logmVar x Var x m


© G

rad

uat

e S

cho

ol ,

Ch

ines

e ac

adem

y o

f S

cien

ces.

R/S 图 (1)

• 对于离散时间取值的随机过程 X(t), 在时间段 N上规范化定义为 :

M(N) 是在时间段 N上的样本均值• 原始的时间序列分为大小为 n 的块，对每个块计算其 R/S

• R/S 式中的分子是过程变化范围的度量 , 分母是样本标准差 .

1 111

2

1

max ( ( )) min ( ( ))

1( ( ))

j j

K KK Kj Nj N

N

kk

X M N X M NR

SX M N

N


© G

rad

uat

e S

cho

ol ,

Ch

ines

e ac

adem

y o

f S

cien

ces.

R/S 图 (2)

• 对于一个自相似过程 ,R/S 在 N 很大的时候有下面特性 :

重写为 :

如果将 [R/S] 与 N 的关系画在一张对数 - 对数图上 ,则所得的曲线应符合一条斜率为 H 的直线 .

/ ~ ( / 2) , 0.5HR S N H 这里

log[ / ] ~ log( ) log(2)R S H N H


© G

rad

uat

e S

cho

ol ,

Ch

ines

e ac

adem

y o

f S

cien

ces.

Whittle估价

• 方差时间图和 R/S图属于启发式或直观的方法 , 不能用于获得 H 的精确估价，但可以得到粗略的值– 估计一个给定的数据序列是否具有自相似特性 (H >

0.5) ，或者给定的数据序列属于传统短范围相关模型(H≈0.5)

– Whittle估价属于精确的估价• 频域分析• 协方差函数傅立叶变换功率谱• 用周期图近似估计功率谱• 从谱密度中找到参数 H


© G

rad

uat

e S

cho

ol ,

Ch

ines

e ac

adem

y o

f S

cien

ces.

周期图 (1)

• 在随机过程理论中，一个典型的问题是估价静态过程 x(t)的功率频谱 S(w) , 也就是只有 x(t) 在一段有限时间内的一个样本 .

• 对于一个离散时间静态随机过程，自动相关和频谱密度定义如下：

• 如果假定这个过程是遍历的 ( 时间平均等于样本空间平均 ) ，那么就能用下式估价自动相关函数

jwk

k

ekRwSktxtxEkR )()()()()(

1

0

)()(1

)(N

nN nXknX

NkR


© G

rad

uat

e S

cho

ol ,

Ch

ines

e ac

adem

y o

f S

cien

ces.

周期图 (2)

• 定义在离散时刻 {xt, t = 0, 1, 2, …}上随机过程 x(t) 的频谱密度可通过在时间段 N上取 Fourier级数得出估计值

2

12

1)(

N

k

jkwkN ex

NwI


© G

rad

uat

e S

cho

ol ,

Ch

ines

e ac

adem

y o

f S

cien

ces.

估计 H

• 假设所观察的时间序列是一个具有参数 H 的自相似随机过程，并且假设它具有一定的形式，例如分数布朗运动过程。那么，这个过程的频谱密度能够表达为 S(w, H) ，其中密度形式可知，但参数 H未知。

• H 值可以通过使下式最小化得到 :

这成为 Whittle 估计器。如果序列 {xt} 有长度 N ，那么向前积分容易转换成在频率 w = 2π/N, 4π/N, …, 2π上的离散和。这个方法的一个优点是它不仅产生 H 的估价，而且产生样本的方差，以致于置信区间可以计算。

• 方差时间图和 R/S图是用于测试一个时间序列是否是一个自相似，如果是，就获得 H 的一个粗略估价。而 Whittle估价不同于方差时间曲线方法，它假定一个时间序列是一个实际形式的自相似过程，然后提供 H估价的一个置信区间

dwHwS

wI N

),(

)(


© G

rad

uat

e S

cho

ol ,

Ch

ines

e ac

adem

y o

f S

cien

ces.

Plots Showing Self-Similarity

H=0.5

H=1

Estimate H 0.8


© G

rad

uat

e S

cho

ol ,

Ch

ines

e ac

adem

y o

f S

cien

ces.

Application of Self-Similarity

to Data TrafficIt turns out data traffic is well-modeled as a

self-similar process in many practical networking situations, including:

• Ethernet traffic

• WWW traffic

• SS7 traffic

• TCP, FTP, Telnet traffic

• VBR video


© G

rad

uat

e S

cho

ol ,

Ch

ines

e ac

adem

y o

f S

cien

ces.

Ethernet Traffic

• Leland et al. “On the Self-Similar Nature of Ethernet Traffic” ACM SIGComm’93.

• Straight-forward queuing analysis using Poisson traffic assumptions inadequate to model Ethernet traffic

– Triggered a flood of research into self-similarity


© G

rad

uat

e S

cho

ol ,

Ch

ines

e ac

adem

y o

f S

cien

ces.

Self-Similarity of Ethernet Traffic

– Pictorial Proof (1/2)


© G

rad

uat

e S

cho

ol ,

Ch

ines

e ac

adem

y o

f S

cien

ces.

Self-Similarity of Ethernet Traffic

– Pictorial Proof (2/2)


© G

rad

uat

e S

cho

ol ,

Ch

ines

e ac

adem

y o

f S

cien

ces.

Ethernet Traffic - Conclusions

• Authors estimated H = 0.9

– The higher the load, the higher H

• Aggregating several streams does not get rid of self-similarity

• We know that Poisson is not a good model in this case. But what is?

– Superposition of many Pareto-like ON/OFF sources with H=(3-)/2.


© G

rad

uat

e S

cho

ol ,

Ch

ines

e ac

adem

y o

f S

cien

ces.

Traffic Model

• Each source alternates between ON and OFF states

– In ON, a burst of packets is transmitted

– OFF period is idle period

• Model the ON/OFF time periods with distributions of infinite variance

– Pareto distribution (parameter between 1 and 2)

– For Ethernet model, typical source had of 1.2, resulting in H of 0.9


© G

rad

uat

e S

cho

ol ,

Ch

ines

e ac

adem

y o

f S

cien

ces.

World Wide Web Traffic

• Crovella and Bestavros studied > .5 M requests for web documents

• Traffic generated by browsers was self-similar

– Good fit by modeling each browser as an on/off source w/ Pareto distribution

• Size distribution of files available over the web is heavy-tailed

• Source: Crovella and Bestavros, “Self-similarity in World-Wide Web Traffic: Evidence and Possible Causes,” ACM Sigmetrics, May 1996


© G

rad

uat

e S

cho

ol ,

Ch

ines

e ac

adem

y o

f S

cien

ces.

SS7 Traffic

• Signaling System 7 is the control signal protocol for digital telecommunication networks such as ISDN

• Duffy et al., “Statistical Analysis of CCSN/SS7 Traffic Data from Working CCS Subnetworks,” IEEE JSAC, April 1994

• Duff et al. studied 170E6 signaling messages from different SS7-controlled networks

• Self-similar traffic models produced a better fit to data than Poisson models


© G

rad

uat

e S

cho

ol ,

Ch

ines

e ac

adem

y o

f S

cien

ces.

TCP, FTP and Telnet (1/2)

• Paxson and Floyd, “Wide Area Traffic: The Failure of the Poisson Model,” IEEE/ACM Transactions on Networking, June 1995

• Poisson models underestimate the burstiness of TCP traffic under a wide range of time scales

• For Telnet, connection arrivals are well modeled as Poisson, but Poisson assumption for arrivals is not warranted


© G

rad

uat

e S

cho

ol ,

Ch

ines

e ac

adem

y o

f S

cien

ces.

TCP, FTP and Telnet (2/2)

• FTP session arrivals are well modeled as Poisson, but packet arrivals much more bursty

• For FTP, the distribution of number of bytes in each burst has a heavy upper tail


© G

rad

uat

e S

cho

ol ,

Ch

ines

e ac

adem

y o

f S

cien

ces.

Variable Bit Rate Video

• JPEG video and MPEG video

– Variable-length frames due to compression/encoding algorithm

• Experiments with “Star Wars” and others

– Video transmission exhibits self-similarity

– Frame length conforms to Pareto distribution (at least in the tail of distribution)


© G

rad

uat

e S

cho

ol ,

Ch

ines

e ac

adem

y o

f S

cien

ces.

2.3. Performance Implications of

Self-Similarity

• If actual data is more bursty than originally modeled, then the original models underestimate average delay, blocking

• In other words, poor fit with traditional queuing theory results


© G

rad

uat

e S

cho

ol ,

Ch

ines

e ac

adem

y o

f S

cien

ces.

Storage model with self-similar input

The buffer requirement q as a function of the mean utilization obeys:

For H=0.5, this relationship simplifies to q=/(1-)., which is the classic queueing result for M/M/1.

For M/D/1 queue, the classic queueing result is

H

H

H

q

1

)1(2

1

)1(

)1(21

2

q


© G

rad

uat

e S

cho

ol ,

Ch

ines

e ac

adem

y o

f S

cien

ces.

Comments

• Traditional queuing theory underestimates delay, blocking

• These are important results, applicable to the design of ATM, frame relay and 100BASET switches, WAN routers, etc.

• Some progress in obtaining analytical results

• Application-level self-similarity versus network-level self-similarity

Network Design and Analysis

Documents

Transcript of Network Design and Analysis