Fundamentals ofMachine Learning

Mohammad Emtiyaz KhanEPFL

Aug 25, 2015

©Mohammad Emtiyaz Khan 2014

1

Contents

List of concepts 2

1 Course Goals 3

2 Regression 4

3 Model: Linear Regression 7

4 Cost Function: MSE 9

5 Algorithm: Gradient Descent 11

6 Classification 13

7 Overfitting 15

8 Linear basis function model 18

9 Regularization and CV 20

10 Bias-Variance Decomposition 22

1

List of concepts

classification, 12cost functions, 8overfitting, 15regression, 3underfitting, 15cross-validation, 18data-size, 3data, 3dimensionality, 3estimating, 7expected test error, 22expected train error, 21generalization error, 21in-sample test error, 21

inputs, 3interpretation, 3learning, 7likelihood, 13model, 6optimization, 10output, 3parameters, 7prediction, 3test data, 18test error, 21train error, 21training data, 18

2

1 Course Goals

Understand (some of) the fundamentals of Machine learning.

Understand the basic set-up to analyze data un-der a machine-learning framework.

1. Regression.

2. Model: Linear Regression.

3. Cost Function: MSE.

4. Algorithm: Gradient Descent.

5. Classification.

Understand what can go wrong when learningfrom data and how to correct it.

6. Overfitting.

7. Linear basis function model.

8. Regularization and CV.

9. Bias-Variance Decomposition.

3

2 Regression

What is regression?

Regression is to relate input vari-ables to the output variable, to ei-ther predict outputs for new inputsand/or to understand the effect ofthe input on the output.

Dataset for regression

In regression, data consists of pairs(yn,xn), where yn is the n’th out-put and xn is a vector of D inputs.Number of pairs N is the data-sizeand D is the dimensionality.

Examples of regression

(a) Height is correlated with

weight. Taken from “Machine Learn-

ing for Hackers”

(b) Do rich people vote for republicans?

Taken from Avi Feller et. al. 2013, Red

state/blue state in 2012 elections.

4

(c) How does advertisement in TV, radio, and newspaper affect sales? Taken from the book ”An

Introduction to statistical learning”

Two goals of regression

In prediction, we wish to predictthe output for a new input vector,e.g. what is the weight of a personwho is 170 cm tall?

In interpretation, we wish to under-stand the effect of inputs on output,e.g. are taller people heavier too?

The regression function

For both the goals, we need to find afunction that approximates the out-put “well enough” given inputs.

yn ≈ f (xn), for all n

5

Correlation 6= Causation

Regression finds correlation not acausal relationship, so interpret yourresults with caution.

Image taken from http://www.venganza.org/.

Also see Spurious correlations page.

6

3 Model: Linear Regression

What is it?

Linear regression is a model that as-sumes a linear relationship betweeninputs and the output.

Why learn about linearregression?

Plenty of reasons: simple, easy tounderstand, most widely used, eas-ily generalized to non-linear mod-els. Most importantly, you can learnalmost all fundamental concepts ofML with regression alone.

7

Simple linear regression

With only one input dimension, it issimple linear regression.

yn ≈ f (xn) := β0 + β1xn

Here, β0 and β1 are parameters ofthe model.

Multiple linear regres-sion

With multiple input dimension, it ismultiple linear regression.

yn ≈ f (xn) := β0+β1xn1+. . .+βDxnD

Learning/estimation

Given data, we would like to findβ = [β0, β1, . . . , βD]. This is calledlearning or estimating the parame-ters.

8

4 Cost Function: MSE

What is a cost function?

Cost functions (or utilities or en-ergy) are used to learn parametersthat explain the data well. They de-fine how costly our mistakes are.

Two desirable propertiesof a cost function

When y is real-valued, it is desirablethat the cost is symmetric around0, since both +ve and -ve errorsshould be penalized equally.

Also, our cost function should pe-nalize “large” mistakes and “very-large” mistakes almost equally.

Mean square error

It is the most popular choice.

MSE :=1

2N

N∑n=1

[yn − f (xn)]2

An example for f (xn) = β0.

9

Convexity

A function is convex iff a line joiningtwo points never intersect with thefunction anywhere else.

Importance of convexity

A convex function has only oneglobal minimum value.

Sum of convex functions is also con-vex. Therefore, MSE has only oneglobal minimum value.

Advanced topics

Outliers and other cost functions,Statistical vs computational trade-off.

10

5 Algorithm: Gradient Descent

Learning/estimation/fitting

The goal is to find the parameterwith minimum cost.

min∑n

[yn − β0]2

This is an optimization problem.

Grid search

Grid search is the simplest algo-rithm where we compute cost overa grid to find the minimum.

But, for large number of parameters,grid search has many “for-loops”.This implies exponential computa-tional complexity.

Follow the gradient

A gradient (at a point) is the slope ofthe tangent (at that point). It pointsto the direction of largest increase ofthe function.

11

Batch gradient-descent

Take a step in the direction of thegradient

βk+1 ← βk + α

N∑n=1

∂

∂βMSEn(βk)

where α > 0 is the step-size (orlearning rate).

When to stop? When g is (closeto) zero. If second-order derivativeis positive, it is a minimum.

Stochastic grad-descent

When N is large, choose a randompair i and take a step.

βk+1 ← βk + αi∂

∂βMSEi(β

k)

For convergence, decay αi → 0 us-ing Robbins-Monroe construction.

Least-squares

Least-squares uses the closed-formexpression for the minimum. It isalso related to maximum likelihood.

12

6 ClassificationClassification is same as regressionbut now yn is binary. Examples:fraud detection, face detection.

0 500 1000 1500 2000 2500

020000

40000

60000

Balance

Inco

me

Model: Lin Reg

Predict yn using linear regression.If f (xn) > 0.5, yn = 1 or else 0.

0 500 1000 1500 2000 2500

0.0

0.2

0.4

0.6

0.8

1.0

Balance

Pro

babili

ty o

f D

efa

ult

| | || | ||| ||| || | ||| || || | || | || || ||| | | | ||| || || || || ||| || | ||| || ||| ||| || ||| |||| | ||| ||| | || | || | || || | ||| | || ||| || || | || | ||| || | ||| || ||| | ||| || || ||| | ||

|

|| ||| || || | |||| | || || | ||| || || || | || | | | |

|

||| | ||| |||| | || || ||| || ||| || |

|

| || |

|

| |

|

|| || ||| | || || ||| | || || || || |||| | ||

|

|

|

| ||| | || || || || ||| || |

|

|| | ||| | | ||| ||| || | || | | || || ||| || || | || || |||||||| || || | || | |||| | || || || || | || ||| || |||

|

|||

|

| | |

|

| | |||||

|

|| || || || || || ||| | || || |||| || | | ||| ||| | | | || || || || | ||

|

| | || || || ||| || | ||| ||| | ||| |||| | || |

||

| || ||| | | | ||| ||| | || | | |||| | || | ||||| || | ||| || || || |

|

| || || | ||||| | | || || | |||| | ||| | ||| | | ||| | | ||| || ||| | || ||||

|

| || |

|

| || || | || | | | || || | || || ||| |||| |||

|

| |||

|

|| | | || ||| | || ||| || || | ||| || | || || || |||| | ||| | | ||| || ||| | ||| |||| |

|

||| || | | ||

|

| || || |||| ||| ||| | | || | || || ||| ||| ||| | ||| || | || ||| || | | ||| || || ||| ||

|

| || || || | || || || || || || |||| ||

|

| |||| | | | ||| || |||| || |

|

||| | ||| ||| || || | || || || || |||| || | | ||| | |||| | |

|

||| | ||||| || || | || || || | ||| || || |

|

|||| |||| | | || || || || | || || |||| | | ||| |

|

|| || | | |||| || || || | |||| || || || || ||| || || | || | | || || | || || ||

|

|| | ||| | ||| |

|

|||||| | | ||| || | || || | | ||| | | | | || ||| | | |||| | ||

|

|| | || |

|

| ||| || | ||| | || || ||

|

| || | || | | || | || || | | |

|

| |||

|

||| | || || || | | | || || ||

|

|| || | | ||| | |||| || ||| || || || || || ||| ||| | ||| | | |||| || ||| | | ||

|

|| | | || ||| || | ||| || ||| || || || | || || || || ||

|

|| || |

||

|| | || ||| |||| | |||

|

| || | | ||| || | ||| ||| | || | | | ||| || || || | ||| || | ||| || || ||

|

|| | ||

|

|| | | || ||| || ||| ||| | || ||| |||| | || | | || |||| |

|

|| || | || ||| || | || || | || | ||| | || ||| || || || || | || || | || || || || | || | |||| | ||| | || || | || || || || ||| || | | || | ||| ||| | ||| | | |||

|

|

|

|||| || | | || | ||| ||| || | ||| || | | | |||| |

|

||| | || ||| | || |||| || | || || | | || || ||| ||| | ||| || || || || | |

|

|

|

|| || | ||| ||||| | | | ||| | | ||| || || || || || | |

|

||

|

|||| ||| |

|

| ||| |

|

||| ||| | ||||| | || || || || | | || || || || || ||| ||| | || | ||

|

||| | ||| || | ||| | |||| || | | || |||| | || || || || || | |

|

||| | | || |||| | || || | |

|

|| | || | || |||| | ||

|

| || || ||| || | | ||| || || ||

|

|| || ||| ||| || || || ||| || || ||| || | | | ||| || || ||||| || | ||| | || | |

|

| || || |

|

| || | | || || | ||||| || | || || || || || | || || || | ||

|

|| ||| || || || ||| | || |||| | | || || || | |

|

|| | || || ||| | ||| || ||| | | ||| ||| || || ||| || ||| || || ||||

|

|||

|

||| | || || || |

|

| || || ||| ||| || | |||

|

||| || || ||| || |

|

|| || || | ||| || | || | || |

|

| || ||| | | ||| || ||| | || | || | || | | || || || | || || | |||

|

|

|

|||| | || | | || | || | ||| | ||| | || | || || || || ||| || |||| || | ||| || || || || | ||

|

||| || | |

|

| | ||| | || || ||||| ||| ||| |

|

|| | ||| ||| ||| | ||

|

|| | || || ||| || | |

|

| | || ||||| ||| | || || ||| || || ||

|

|| | |

|

||| || | || | || | | ||||| | || ||| || |||

|

|| | | |||| | | || | || | |||| | | | | | ||| | |||

|

|||| || ||| || ||

|

||| || |

|

|| | || || || | || | |||||| |

|

|| |

|

||| | | || ||| |

|

| | ||| ||||| ||| | | || || || |

|

| || | ||| || || || || | | ||| || | | | ||| | || || || |||| || |

|

| || | ||| | | || ||| || | | ||| | | ||| | | ||| ||| ||| | |

|

| || | ||| || ||| | || |

|

| ||| | || ||| |||

|

||| | | || || || |||| ||| | ||| ||| ||| || || ||| | ||| |||| | || ||| | || || | || ||| || || || || || || | || || || |||| || || || ||| |

|

|| || || ||| ||

|

|| | ||| | || ||| | || | | | ||| | || || || | ||| |||| || | || || | | |||| | || ||| || | ||| ||| || | || | | | ||| ||

|

| ||| | || | | | |

|

|||| || || | ||| | || |||||| || || || ||| ||| | || ||| | |||| ||| | || || |

|

| || | || || || || || ||| | || || || || | ||| || | || ||| || || |||| ||

|

|| | ||| || || || || | | ||| ||| ||| || ||| |||| ||||| |

|

|||| | | || |||| ||| ||| || || ||| || || || || ||||| ||| | || || | || | ||| ||| |

|

| ||| || || || || || || |||| || |||| || || |

|

||| || || || || | |||

|

|| ||| | ||| || ||| || ||||| ||| | | || |||| || || | ||| || | || ||| | | ||||| | ||| ||| || | | | | || | | || || || | || |||| | ||

|

| || || || || || || || | | || || | | || | ||| ||| | | ||| ||

|

|| ||| || ||| || | || || ||| |||| | ||| || || ||| | | | ||| || | ||| |||| || || |||| || | || | ||| || | || | ||| || || || || ||| || |||| ||| || ||||| | || || |

|

|| || | ||| || ||

|

|| | | |||| | ||| ||| ||| || || || ||| || || || | || || || ||| | | ||||

|

|| | |||| || || ||

|

| || | |

|

|| || | |||| || | ||| ||| | || || || | || | | ||

|

|| || |

|

|| | ||| || |||| ||| || |

|

|| | || ||

|

|| | | || | || ||| ||| || | || |

|

| || ||| | |||| |||| || | ||||| | | |

|

|| ||| ||||

|

||| | || || ||| || | ||| | || || | || || || | ||| || |

|

|| || || | || ||

|

| || ||| ||

|

| || | | ||

|

|| || | || |

|

|| |||| | ||||| | | || | | |||||| || ||| ||| || || |||| | | || |||| || ||

|

| |

|

||| ||

|

| || | |

|

|| || | || | | |||| || | | || | | || || || || || | || ||| | | |||| | |

|

| || || || || || || ||| | | || || ||| || | |||| | || ||| | |||| |||||

|

| | |

|

| | ||| | |||| | || || || || || || | || | || | | | || || | || | |||| | || | || || | ||| | || || ||| || || |||

|

| || ||| | || | || || || ||| | || |||| || | || | ||

|

| | ||| ||| || | |||

|

|| ||| || || || | | || | ||| | || ||| | ||

|

|| || | || | | || ||| | |||| || || | || ||||| || ||| || || || ||| ||| ||| | ||| || ||| ||| || || | ||| |

|

|| |

|

| ||||| | || ||| || || || || | ||| || || | | | ||| | || ||| ||| ||| |||| ||| ||| || || | || | |

|

| || | ||| ||| || || || ||| || ||| | || || | | || | || || || | || | ||| | || || || ||| ||| || || | || | ||

|

| || ||| || || ||| || | ||| || | || |

|

| || | ||| ||| || ||| | ||| || || | | ||| | ||

|

| | || | | |

|

|| | ||| || || | | ||| | | ||| | | || || |||| | || ||

|

|| | | || | | | ||

|

| ||| | | || | || ||| || || | ||| | ||| || |||| | ||| ||| || | || || ||| ||| | ||| ||| ||||| |||| ||| | | |||| ||

|

| |||| | || | |

|

||| ||| || || ||

|

|| |

|

|

|

||| ||| | |||| || ||| | || ||| | | || ||| ||

|

| ||| || |||| || | || | || || | | |||| || | |||

|

||||| || | |||| ||

|

| ||| || |

|

|| || || ||||| | | ||| | ||| | || | ||| || | || | || | | || |||

|

| || |||| ||| | | |

|

| || |||

|

|| || | || | ||||| | | ||| || || | | ||| || || | | | | || ||| | |||| | | || | |||| || | ||| | || |||| | | || ||| ||

|

|| || | || | | || | ||| ||| || || | | || || | || || ||| || || || | | | || | |||| | | || || ||| |

|

|| || | || || || || | ||| | || || || | ||| | || ||| ||

|

|| || || ||

|

| || ||| || || | |

|

| || | | || | ||| | || || ||| || |||| || || | ||

|

|| || || || | | |||

|

|| || | ||| || ||| || | | || |||| | | || ||| |

|

| | |

|

| || | ||| || | | ||| || | || ||| || | | || | | ||| | || | | ||| || ||| | ||| || ||

|

|| || ||| ||| || || ||| || |

||

|| |

|

| | || | || || | ||| || | ||| | | | || | || | || | | |||| | ||| | ||| ||| ||| || | ||| || || || | || |||| | | |||| ||| | | | |||| |

|

|

|

| || || |||| | || |

|

|| || || | |||

| |

| ||| ||| | || | | | |||

|

| ||| | ||| || || || || || | ||| || | || ||| ||| | | || |||| | |||||

|

| || | ||| ||| || || | | ||||| ||| | || || || ||| | ||| || | | || | || || |||| || | ||| | ||| | || || || | || ||| ||| ||| || | ||| | || ||| || || ||| || || | |||| || ||| || ||| | ||| ||| | || | || || || ||| | || ||| | || | || ||| | | ||| | |

|

| | ||||| | ||

|

|| |

|

|||| || |||||

|

|| | | || |||| | || || ||

|

|| ||| || || || ||| |||| || ||| | |||| | | |

|

| | | |||| || ||| | ||| | | || || |

|

|| | || | || | |

|

| | |

|

||| | || | ||| || || || ||| |||| || || ||| || || |||

|

| | | || | || ||| || | ||| ||| || || | ||| || | || || || ||| || ||| | || | || | || || ||| | || ||||| | |

|

|| | | | |||| || ||| || || || || | | || |

|

||| | || || ||| || | || |||

|

|| || ||| | | ||| ||| | || || || || || || | | | ||| | || | | || || | | || ||| || ||| | || || | |||| || || ||| || |

|

|| | || | | || ||| |||| | || | | || ||| | || || || |||| || ||| ||| || || || || || | ||| ||| |||| | |

|

| ||| | ||| ||| || || || |||| || | ||||| | || | ||||| | ||

|

| | || || ||| || | |||| | ||| | || ||| ||| | | || |

|

|| ||| ||

|

| || | ||| || || || |||| || ||

|

||| | || |||| || | || ||| || || | || | || | || || ||| |||| ||| |

|

||| ||| || | || || || | || || | | ||| || || | ||| ||| | ||| ||| |||| | || | || || ||| | || || ||| |

|

|| | ||| ||| | || || || || | || | | ||| || | ||| | || || || || | | || | | || | | |||| || ||| | | || || || ||| || || | |

|

| | ||| || || || |

|

| || || |||

|

| | || |||| ||| | || | ||| || | || | || ||| | || || || || |||||| || | || || | ||| ||| | | || | | || || ||| | ||| || ||||| | || ||| | ||| |||| | || | || ||| ||

|

|||||| | ||| || | || || || ||| || || || || | | || | ||

|

|| || || || ||| | ||| ||| ||| || || || || | || || ||

|

||| | || || || | ||| | || || | || ||| | || || ||

|

| | || | ||| || || | | ||| | || | |||| |||| || || | || | | ||| | || | | |||| || | |||| | || || | || || | ||| || || | ||| || | || ||| |||

|

| || || |||| || || |||| | ||| |||| | |||| |||| || |

|

|| | || | | || | | |

|

| ||||| | |||||| | || | | || || || || | || ||| || | || || || |

|

|

|

| ||| | || | ||| ||| |||| |

|

|| || || || || | | || | ||| | | | ||

|

|| || | || | |||| | ||

|

| || |||| || | ||||| || || | ||| | | ||| ||| | || |||| ||| |

|

| |||| || | ||

|

|| || | |||| | || ||||| | || | ||| | | || || | | | || ||| ||| || | | || | ||

|

|| ||| |

|

| | || || |||| |

|

|| | ||| | || || | ||| || || ||| | || || | ||| || || | || | || |||| || ||| ||| ||| || | ||| | || || | |||

| |

||| || || || | || |||| | |||| || ||| || || | ||| ||

|

| || || ||| || || | | ||| | || | |||| ||

|

|| ||| || | || | | | || | ||| | |

|

| || || || | || || || | ||| || ||| || ||

|

| || | |||| |||

|

| ||| || || | || |

|

| || ||| || | || || |||| || | ||| | || | || | ||| | || | || ||||| |

|

|| | || || | | | ||| | || ||||

|

|

|

| | | | |||| ||| |||| |||| | | | ||| | || | || || | || | |||| | || | | ||| || |

|

||||

|

| ||| | ||| ||

|

| || || ||| ||| || |||| ||| |

|

||| || | ||

|

||| | | || ||| | || |||| || | || ||| || || | ||| | ||| || |||

|

|| ||| || ||| | | || || | || | ||| | || | | || | ||| |||| || || ||||| | ||| | || || || || | || | ||||

|

|| ||| || ||| | | || || | ||| |||| | |

|

|| | | ||| || ||

|

| || || || |

|

| | | || | || ||| ||| | | | || || || |||

|

| || || ||||| | | || ||

|

||

|

|| | || || | ||| || | || | ||| |

|

|| | || | |||

|

|| | |||| || ||| | ||| | | ||| || | || || || | | || |||| ||

|

| || | || || | || ||| | ||| ||| ||| | ||| | || | ||| ||||| | | | ||

|

| | | || | ||| || || ||

|

| || |||| | ||| | |||| || | | ||| || | ||

|

|| | | ||||| | || ||| || || || ||| |||| |||

|

| | | ||| |||| | || |||| | || | | || || | | || || || | ||||| ||| |||

|

|| ||| ||| ||

|

| | || | || ||||| ||| || || || || | ||| || | | | | ||

|

| ||| | || || | | || ||| || |||| ||| || | | ||| | ||| | || || || | || | || | || || | || |

|

| || || |||| ||||| | || | || | || |||| | || | || || |||| | | ||| ||

|

| || || || ||| || || | ||||| || || | ||| || |||| | || ||| ||| || || | |||| || | ||| ||| || | ||| | | || | || || | | || | | || | || |

|

|

|

||| | | ||| ||| || | || | || ||| | |

|

| ||| || || | | || ||| | | | || | || ||| || | || || | || || || || || || || ||| | || || || | || ||||

|

| ||| ||| |

|

| ||| | || | | ||||| | ||| || || || ||| || | ||| | || || ||| || | || | |

|

| |

|

||| ||||| | |||| || || ||| || | || | || ||| | ||

|

| | ||| | ||| | |||| || || | |||| | | ||

|

||| | | || | | ||| || | ||| || ||| || || ||| ||| ||| | || | | | || || ||| || | ||| |||| || || ||| | ||| |||| ||||| || ||| || || | | ||| || || || |||| ||| ||

|

||| ||| ||| | || | ||| | || | | || ||| | || || ||| | || | ||| || | | || ||| | ||| | || || || |||| | | ||

|

||||| || | | || || || ||||| | ||| || ||| ||| | || || || | | || || ||| || | |

|

|| | || |||| || ||

|

|| || | | || | | ||

|

|

|

|

|

|| || | || || ||

|

| || || || || | || ||| | || | | ||| | || || |||| |||| || | ||

|

| || || | || || ||| | | || ||| || || || | | | ||||

|

|| ||| ||| || || || | || || || | | || | || | ||| | || ||| || | || ||| || | || || || || ||| ||| | | ||| | || | || || || || | |||| || || | || || ||| | || | |||| | || | || | | | || || | || || ||| | | ||| |||| | ||| || | || ||| | || | ||| || ||| || || || ||| || | || || || | || |||| || | || || || ||| || || ||| | | | || | | | || |||

|

|| || || ||||| || | |||| |

|

| | | || | | | |||||| ||| || | | ||| | ||| | ||| |||| | | | | || |||| | ||

|

| ||

|

| | || || ||| || || ||| || | || || | ||| || || || || || || | || | ||| ||

|

|| | | || || | || ||| ||| || |

|

|| |||| | || | || || | | || | |||| || ||| || | | || | || | || || ||

|

| | || | |||| | || || | || |||| |||| | || | |||

|

|||| | ||| || | | |

|

| | || |||

|

| ||| |||| | | || | | ||| || | | || | | || | || | || |

|

||| || ||| | |

|

||| || ||| ||| ||| ||

|

|| | || || |||| ||| | || || | ||| || | ||

|

||

|

| |

| |

|| ||||| || | || | ||

|

| || ||| || |

|

|| | ||

|

| |||| || | || | ||| | ||| ||| || || || || || |||| | ||| | ||| |||

|

| || || | | || ||| || | || ||| || ||||| | |||

|

|| |||| | ||| | |||| |||| || || || | ||| | ||| ||| || | || | | || ||| || ||| | | | || ||| | | | || || | | || || || || || | ||| | ||| ||| | || | ||| || | || | || || | ||| ||| || || || | ||||| | ||

|

|| |||| || ||| ||| | |||

|

|| || | | ||| | | |

|

| | || | || || ||| || || || | || | || || || | | | ||| |||| || | || ||| | || || | | |

|

|| || || || || ||||| | | || || ||| | | ||| | ||| ||| | | |

|

||

|

| | ||| || || ||| || || || || || || | ||||| || | || || | || || || | | ||| || || | ||| || | | ||| ||| ||| |

|

||| || ||| || |

|

||| || | || ||| || ||| ||| | || | ||| ||| || ||| ||| || | | | || || | || || | | | ||| | | || || || | || | | ||

|

|| | || || || || ||| | || |||| || || || | | ||| | || | ||| | || || | ||

|

| |||

|

| || || || | |||| || ||| | || ||||

|

||| | || ||

|

| |||

|

| | || | ||||| ||| || || || | | | ||| | | || |||| || | ||||| ||| ||| | |||| | | || ||| || || || |||| || || | || ||| || |||| |||| | | | ||

|

|| ||| ||| || | || | || |||| |||| | || ||| ||| ||||||| || ||| | || | || ||| | | | || || |||| || || || | || | |

|

| || || || | || ||||

|

| || ||| | | || ||| || | ||| | | | |

|

||| | | |||| || || || || | || | ||| | || | ||| |

|

| || | || || ||| | || | | || | |||| || || ||| | || ||| ||| |

|

| || ||| || | ||| | || | || | ||| ||| || || |||| || | || ||| | || | ||| || || |||| ||| || |

|

||||

|

| ||||| ||| |

|

| | || ||| | |

|

|| | || ||||| | ||| || | |

|

| || || ||

|

||| || | | |||||| |

|

|||| | || ||

|

|| | |

|

|||| | |

|

| | || || | ||| || | ||

|

| | ||| || ||| || ||| || || | | || ||| | || ||| | || |||| ||||| || | ||||| | | || || ||| | ||| | || || |

|

|| || ||| || || ||| | || || || | || |||| || || | | |||| | | | ||

|

|| | | || ||| | | | | || ||| || || ||| ||| || | || || ||| ||| ||| ||| || || || | | | || | | || ||| | || || ||| ||| || || | | ||| ||| || |||| | | || | || | || || ||| | | || || | ||| || ||| | || |

|

||

|

| ||| || || |

|

|| || ||| ||| | || || |

|

|| || | ||| ||| || | |||| | || || ||| || ||||| || || | || ||

|

|| |||| | || || || || | || | ||| || | |

|

| |||| ||| |

|

| ||| || ||| | ||| || | | |

|

| |||||| |

|

| | || |||| || ||| || || || | || |||||

|

|

|

| | ||| ||| | | || | | ||| | || | | ||| |

|

| |||| ||| || || | ||| | | | ||

0 500 1000 1500 2000 2500

0.0

0.2

0.4

0.6

0.8

1.0

Balance

Pro

babili

ty o

f D

efa

ult

| | || | ||| ||| || | ||| || || | || | || || ||| | | | ||| || || || || ||| || | ||| || ||| ||| || ||| |||| | ||| ||| | || | || | || || | ||| | || ||| || || | || | ||| || | ||| || ||| | ||| || || ||| | ||

|

|| ||| || || | |||| | || || | ||| || || || | || | | | |

|

||| | ||| |||| | || || ||| || ||| || |

|

| || |

|

| |

|

|| || ||| | || || ||| | || || || || |||| | ||

|

|

|

| ||| | || || || || ||| || |

|

|| | ||| | | ||| ||| || | || | | || || ||| || || | || || |||||||| || || | || | |||| | || || || || | || ||| || |||

|

|||

|

| | |

|

| | |||||

|

|| || || || || || ||| | || || |||| || | | ||| ||| | | | || || || || | ||

|

| | || || || ||| || | ||| ||| | ||| |||| | || |

||

| || ||| | | | ||| ||| | || | | |||| | || | ||||| || | ||| || || || |

|

| || || | ||||| | | || || | |||| | ||| | ||| | | ||| | | ||| || ||| | || ||||

|

| || |

|

| || || | || | | | || || | || || ||| |||| |||

|

| |||

|

|| | | || ||| | || ||| || || | ||| || | || || || |||| | ||| | | ||| || ||| | ||| |||| |

|

||| || | | ||

|

| || || |||| ||| ||| | | || | || || ||| ||| ||| | ||| || | || ||| || | | ||| || || ||| ||

|

| || || || | || || || || || || |||| ||

|

| |||| | | | ||| || |||| || |

|

||| | ||| ||| || || | || || || || |||| || | | ||| | |||| | |

|

||| | ||||| || || | || || || | ||| || || |

|

|||| |||| | | || || || || | || || |||| | | ||| |

|

|| || | | |||| || || || | |||| || || || || ||| || || | || | | || || | || || ||

|

|| | ||| | ||| |

|

|||||| | | ||| || | || || | | ||| | | | | || ||| | | |||| | ||

|

|| | || |

|

| ||| || | ||| | || || ||

|

| || | || | | || | || || | | |

|

| |||

|

||| | || || || | | | || || ||

|

|| || | | ||| | |||| || ||| || || || || || ||| ||| | ||| | | |||| || ||| | | ||

|

|| | | || ||| || | ||| || ||| || || || | || || || || ||

|

|| || |

||

|| | || ||| |||| | |||

|

| || | | ||| || | ||| ||| | || | | | ||| || || || | ||| || | ||| || || ||

|

|| | ||

|

|| | | || ||| || ||| ||| | || ||| |||| | || | | || |||| |

|

|| || | || ||| || | || || | || | ||| | || ||| || || || || | || || | || || || || | || | |||| | ||| | || || | || || || || ||| || | | || | ||| ||| | ||| | | |||

|

|

|

|||| || | | || | ||| ||| || | ||| || | | | |||| |

|

||| | || ||| | || |||| || | || || | | || || ||| ||| | ||| || || || || | |

|

|

|

|| || | ||| ||||| | | | ||| | | ||| || || || || || | |

|

||

|

|||| ||| |

|

| ||| |

|

||| ||| | ||||| | || || || || | | || || || || || ||| ||| | || | ||

|

||| | ||| || | ||| | |||| || | | || |||| | || || || || || | |

|

||| | | || |||| | || || | |

|

|| | || | || |||| | ||

|

| || || ||| || | | ||| || || ||

|

|| || ||| ||| || || || ||| || || ||| || | | | ||| || || ||||| || | ||| | || | |

|

| || || |

|

| || | | || || | ||||| || | || || || || || | || || || | ||

|

|| ||| || || || ||| | || |||| | | || || || | |

|

|| | || || ||| | ||| || ||| | | ||| ||| || || ||| || ||| || || ||||

|

|||

|

||| | || || || |

|

| || || ||| ||| || | |||

|

||| || || ||| || |

|

|| || || | ||| || | || | || |

|

| || ||| | | ||| || ||| | || | || | || | | || || || | || || | |||

|

|

|

|||| | || | | || | || | ||| | ||| | || | || || || || ||| || |||| || | ||| || || || || | ||

|

||| || | |

|

| | ||| | || || ||||| ||| ||| |

|

|| | ||| ||| ||| | ||

|

|| | || || ||| || | |

|

| | || ||||| ||| | || || ||| || || ||

|

|| | |

|

||| || | || | || | | ||||| | || ||| || |||

|

|| | | |||| | | || | || | |||| | | | | | ||| | |||

|

|||| || ||| || ||

|

||| || |

|

|| | || || || | || | |||||| |

|

|| |

|

||| | | || ||| |

|

| | ||| ||||| ||| | | || || || |

|

| || | ||| || || || || | | ||| || | | | ||| | || || || |||| || |

|

| || | ||| | | || ||| || | | ||| | | ||| | | ||| ||| ||| | |

|

| || | ||| || ||| | || |

|

| ||| | || ||| |||

|

||| | | || || || |||| ||| | ||| ||| ||| || || ||| | ||| |||| | || ||| | || || | || ||| || || || || || || | || || || |||| || || || ||| |

|

|| || || ||| ||

|

|| | ||| | || ||| | || | | | ||| | || || || | ||| |||| || | || || | | |||| | || ||| || | ||| ||| || | || | | | ||| ||

|

| ||| | || | | | |

|

|||| || || | ||| | || |||||| || || || ||| ||| | || ||| | |||| ||| | || || |

|

| || | || || || || || ||| | || || || || | ||| || | || ||| || || |||| ||

|

|| | ||| || || || || | | ||| ||| ||| || ||| |||| ||||| |

|

|||| | | || |||| ||| ||| || || ||| || || || || ||||| ||| | || || | || | ||| ||| |

|

| ||| || || || || || || |||| || |||| || || |

|

||| || || || || | |||

|

|| ||| | ||| || ||| || ||||| ||| | | || |||| || || | ||| || | || ||| | | ||||| | ||| ||| || | | | | || | | || || || | || |||| | ||

|

| || || || || || || || | | || || | | || | ||| ||| | | ||| ||

|

|| ||| || ||| || | || || ||| |||| | ||| || || ||| | | | ||| || | ||| |||| || || |||| || | || | ||| || | || | ||| || || || || ||| || |||| ||| || ||||| | || || |

|

|| || | ||| || ||

|

|| | | |||| | ||| ||| ||| || || || ||| || || || | || || || ||| | | ||||

|

|| | |||| || || ||

|

| || | |

|

|| || | |||| || | ||| ||| | || || || | || | | ||

|

|| || |

|

|| | ||| || |||| ||| || |

|

|| | || ||

|

|| | | || | || ||| ||| || | || |

|

| || ||| | |||| |||| || | ||||| | | |

|

|| ||| ||||

|

||| | || || ||| || | ||| | || || | || || || | ||| || |

|

|| || || | || ||

|

| || ||| ||

|

| || | | ||

|

|| || | || |

|

|| |||| | ||||| | | || | | |||||| || ||| ||| || || |||| | | || |||| || ||

|

| |

|

||| ||

|

| || | |

|

|| || | || | | |||| || | | || | | || || || || || | || ||| | | |||| | |

|

| || || || || || || ||| | | || || ||| || | |||| | || ||| | |||| |||||

|

| | |

|

| | ||| | |||| | || || || || || || | || | || | | | || || | || | |||| | || | || || | ||| | || || ||| || || |||

|

| || ||| | || | || || || ||| | || |||| || | || | ||

|

| | ||| ||| || | |||

|

|| ||| || || || | | || | ||| | || ||| | ||

|

|| || | || | | || ||| | |||| || || | || ||||| || ||| || || || ||| ||| ||| | ||| || ||| ||| || || | ||| |

|

|| |

|

| ||||| | || ||| || || || || | ||| || || | | | ||| | || ||| ||| ||| |||| ||| ||| || || | || | |

|

| || | ||| ||| || || || ||| || ||| | || || | | || | || || || | || | ||| | || || || ||| ||| || || | || | ||

|

| || ||| || || ||| || | ||| || | || |

|

| || | ||| ||| || ||| | ||| || || | | ||| | ||

|

| | || | | |

|

|| | ||| || || | | ||| | | ||| | | || || |||| | || ||

|

|| | | || | | | ||

|

| ||| | | || | || ||| || || | ||| | ||| || |||| | ||| ||| || | || || ||| ||| | ||| ||| ||||| |||| ||| | | |||| ||

|

| |||| | || | |

|

||| ||| || || ||

|

|| |

|

|

|

||| ||| | |||| || ||| | || ||| | | || ||| ||

|

| ||| || |||| || | || | || || | | |||| || | |||

|

||||| || | |||| ||

|

| ||| || |

|

|| || || ||||| | | ||| | ||| | || | ||| || | || | || | | || |||

|

| || |||| ||| | | |

|

| || |||

|

|| || | || | ||||| | | ||| || || | | ||| || || | | | | || ||| | |||| | | || | |||| || | ||| | || |||| | | || ||| ||

|

|| || | || | | || | ||| ||| || || | | || || | || || ||| || || || | | | || | |||| | | || || ||| |

|

|| || | || || || || | ||| | || || || | ||| | || ||| ||

|

|| || || ||

|

| || ||| || || | |

|

| || | | || | ||| | || || ||| || |||| || || | ||

|

|| || || || | | |||

|

|| || | ||| || ||| || | | || |||| | | || ||| |

|

| | |

|

| || | ||| || | | ||| || | || ||| || | | || | | ||| | || | | ||| || ||| | ||| || ||

|

|| || ||| ||| || || ||| || |

||

|| |

|

| | || | || || | ||| || | ||| | | | || | || | || | | |||| | ||| | ||| ||| ||| || | ||| || || || | || |||| | | |||| ||| | | | |||| |

|

|

|

| || || |||| | || |

|

|| || || | |||

| |

| ||| ||| | || | | | |||

|

| ||| | ||| || || || || || | ||| || | || ||| ||| | | || |||| | |||||

|

| || | ||| ||| || || | | ||||| ||| | || || || ||| | ||| || | | || | || || |||| || | ||| | ||| | || || || | || ||| ||| ||| || | ||| | || ||| || || ||| || || | |||| || ||| || ||| | ||| ||| | || | || || || ||| | || ||| | || | || ||| | | ||| | |

|

| | ||||| | ||

|

|| |

|

|||| || |||||

|

|| | | || |||| | || || ||

|

|| ||| || || || ||| |||| || ||| | |||| | | |

|

| | | |||| || ||| | ||| | | || || |

|

|| | || | || | |

|

| | |

|

||| | || | ||| || || || ||| |||| || || ||| || || |||

|

| | | || | || ||| || | ||| ||| || || | ||| || | || || || ||| || ||| | || | || | || || ||| | || ||||| | |

|

|| | | | |||| || ||| || || || || | | || |

|

||| | || || ||| || | || |||

|

|| || ||| | | ||| ||| | || || || || || || | | | ||| | || | | || || | | || ||| || ||| | || || | |||| || || ||| || |

|

|| | || | | || ||| |||| | || | | || ||| | || || || |||| || ||| ||| || || || || || | ||| ||| |||| | |

|

| ||| | ||| ||| || || || |||| || | ||||| | || | ||||| | ||

|

| | || || ||| || | |||| | ||| | || ||| ||| | | || |

|

|| ||| ||

|

| || | ||| || || || |||| || ||

|

||| | || |||| || | || ||| || || | || | || | || || ||| |||| ||| |

|

||| ||| || | || || || | || || | | ||| || || | ||| ||| | ||| ||| |||| | || | || || ||| | || || ||| |

|

|| | ||| ||| | || || || || | || | | ||| || | ||| | || || || || | | || | | || | | |||| || ||| | | || || || ||| || || | |

|

| | ||| || || || |

|

| || || |||

|

| | || |||| ||| | || | ||| || | || | || ||| | || || || || |||||| || | || || | ||| ||| | | || | | || || ||| | ||| || ||||| | || ||| | ||| |||| | || | || ||| ||

|

|||||| | ||| || | || || || ||| || || || || | | || | ||

|

|| || || || ||| | ||| ||| ||| || || || || | || || ||

|

||| | || || || | ||| | || || | || ||| | || || ||

|

| | || | ||| || || | | ||| | || | |||| |||| || || | || | | ||| | || | | |||| || | |||| | || || | || || | ||| || || | ||| || | || ||| |||

|

| || || |||| || || |||| | ||| |||| | |||| |||| || |

|

|| | || | | || | | |

|

| ||||| | |||||| | || | | || || || || | || ||| || | || || || |

|

|

|

| ||| | || | ||| ||| |||| |

|

|| || || || || | | || | ||| | | | ||

|

|| || | || | |||| | ||

|

| || |||| || | ||||| || || | ||| | | ||| ||| | || |||| ||| |

|

| |||| || | ||

|

|| || | |||| | || ||||| | || | ||| | | || || | | | || ||| ||| || | | || | ||

|

|| ||| |

|

| | || || |||| |

|

|| | ||| | || || | ||| || || ||| | || || | ||| || || | || | || |||| || ||| ||| ||| || | ||| | || || | |||

| |

||| || || || | || |||| | |||| || ||| || || | ||| ||

|

| || || ||| || || | | ||| | || | |||| ||

|

|| ||| || | || | | | || | ||| | |

|

| || || || | || || || | ||| || ||| || ||

|

| || | |||| |||

|

| ||| || || | || |

|

| || ||| || | || || |||| || | ||| | || | || | ||| | || | || ||||| |

|

|| | || || | | | ||| | || ||||

|

|

|

| | | | |||| ||| |||| |||| | | | ||| | || | || || | || | |||| | || | | ||| || |

|

||||

|

| ||| | ||| ||

|

| || || ||| ||| || |||| ||| |

|

||| || | ||

|

||| | | || ||| | || |||| || | || ||| || || | ||| | ||| || |||

|

|| ||| || ||| | | || || | || | ||| | || | | || | ||| |||| || || ||||| | ||| | || || || || | || | ||||

|

|| ||| || ||| | | || || | ||| |||| | |

|

|| | | ||| || ||

|

| || || || |

|

| | | || | || ||| ||| | | | || || || |||

|

| || || ||||| | | || ||

|

||

|

|| | || || | ||| || | || | ||| |

|

|| | || | |||

|

|| | |||| || ||| | ||| | | ||| || | || || || | | || |||| ||

|

| || | || || | || ||| | ||| ||| ||| | ||| | || | ||| ||||| | | | ||

|

| | | || | ||| || || ||

|

| || |||| | ||| | |||| || | | ||| || | ||

|

|| | | ||||| | || ||| || || || ||| |||| |||

|

| | | ||| |||| | || |||| | || | | || || | | || || || | ||||| ||| |||

|

|| ||| ||| ||

|

| | || | || ||||| ||| || || || || | ||| || | | | | ||

|

| ||| | || || | | || ||| || |||| ||| || | | ||| | ||| | || || || | || | || | || || | || |

|

| || || |||| ||||| | || | || | || |||| | || | || || |||| | | ||| ||

|

| || || || ||| || || | ||||| || || | ||| || |||| | || ||| ||| || || | |||| || | ||| ||| || | ||| | | || | || || | | || | | || | || |

|

|

|

||| | | ||| ||| || | || | || ||| | |

|

| ||| || || | | || ||| | | | || | || ||| || | || || | || || || || || || || ||| | || || || | || ||||

|

| ||| ||| |

|

| ||| | || | | ||||| | ||| || || || ||| || | ||| | || || ||| || | || | |

|

| |

|

||| ||||| | |||| || || ||| || | || | || ||| | ||

|

| | ||| | ||| | |||| || || | |||| | | ||

|

||| | | || | | ||| || | ||| || ||| || || ||| ||| ||| | || | | | || || ||| || | ||| |||| || || ||| | ||| |||| ||||| || ||| || || | | ||| || || || |||| ||| ||

|

||| ||| ||| | || | ||| | || | | || ||| | || || ||| | || | ||| || | | || ||| | ||| | || || || |||| | | ||

|

||||| || | | || || || ||||| | ||| || ||| ||| | || || || | | || || ||| || | |

|

|| | || |||| || ||

|

|| || | | || | | ||

|

|

|

|

|

|| || | || || ||

|

| || || || || | || ||| | || | | ||| | || || |||| |||| || | ||

|

| || || | || || ||| | | || ||| || || || | | | ||||

|

|| ||| ||| || || || | || || || | | || | || | ||| | || ||| || | || ||| || | || || || || ||| ||| | | ||| | || | || || || || | |||| || || | || || ||| | || | |||| | || | || | | | || || | || || ||| | | ||| |||| | ||| || | || ||| | || | ||| || ||| || || || ||| || | || || || | || |||| || | || || || ||| || || ||| | | | || | | | || |||

|

|| || || ||||| || | |||| |

|

| | | || | | | |||||| ||| || | | ||| | ||| | ||| |||| | | | | || |||| | ||

|

| ||

|

| | || || ||| || || ||| || | || || | ||| || || || || || || | || | ||| ||

|

|| | | || || | || ||| ||| || |

|

|| |||| | || | || || | | || | |||| || ||| || | | || | || | || || ||

|

| | || | |||| | || || | || |||| |||| | || | |||

|

|||| | ||| || | | |

|

| | || |||

|

| ||| |||| | | || | | ||| || | | || | | || | || | || |

|

||| || ||| | |

|

||| || ||| ||| ||| ||

|

|| | || || |||| ||| | || || | ||| || | ||

|

||

|

| |

| |

|| ||||| || | || | ||

|

| || ||| || |

|

|| | ||

|

| |||| || | || | ||| | ||| ||| || || || || || |||| | ||| | ||| |||

|

| || || | | || ||| || | || ||| || ||||| | |||

|

|| |||| | ||| | |||| |||| || || || | ||| | ||| ||| || | || | | || ||| || ||| | | | || ||| | | | || || | | || || || || || | ||| | ||| ||| | || | ||| || | || | || || | ||| ||| || || || | ||||| | ||

|

|| |||| || ||| ||| | |||

|

|| || | | ||| | | |

|

| | || | || || ||| || || || | || | || || || | | | ||| |||| || | || ||| | || || | | |

|

|| || || || || ||||| | | || || ||| | | ||| | ||| ||| | | |

|

||

|

| | ||| || || ||| || || || || || || | ||||| || | || || | || || || | | ||| || || | ||| || | | ||| ||| ||| |

|

||| || ||| || |

|

||| || | || ||| || ||| ||| | || | ||| ||| || ||| ||| || | | | || || | || || | | | ||| | | || || || | || | | ||

|

|| | || || || || ||| | || |||| || || || | | ||| | || | ||| | || || | ||

|

| |||

|

| || || || | |||| || ||| | || ||||

|

||| | || ||

|

| |||

|

| | || | ||||| ||| || || || | | | ||| | | || |||| || | ||||| ||| ||| | |||| | | || ||| || || || |||| || || | || ||| || |||| |||| | | | ||

|

|| ||| ||| || | || | || |||| |||| | || ||| ||| ||||||| || ||| | || | || ||| | | | || || |||| || || || | || | |

|

| || || || | || ||||

|

| || ||| | | || ||| || | ||| | | | |

|

||| | | |||| || || || || | || | ||| | || | ||| |

|

| || | || || ||| | || | | || | |||| || || ||| | || ||| ||| |

|

| || ||| || | ||| | || | || | ||| ||| || || |||| || | || ||| | || | ||| || || |||| ||| || |

|

||||

|

| ||||| ||| |

|

| | || ||| | |

|

|| | || ||||| | ||| || | |

|

| || || ||

|

||| || | | |||||| |

|

|||| | || ||

|

|| | |

|

|||| | |

|

| | || || | ||| || | ||

|

| | ||| || ||| || ||| || || | | || ||| | || ||| | || |||| ||||| || | ||||| | | || || ||| | ||| | || || |

|

|| || ||| || || ||| | || || || | || |||| || || | | |||| | | | ||

|

|| | | || ||| | | | | || ||| || || ||| ||| || | || || ||| ||| ||| ||| || || || | | | || | | || ||| | || || ||| ||| || || | | ||| ||| || |||| | | || | || | || || ||| | | || || | ||| || ||| | || |

|

||

|

| ||| || || |

|

|| || ||| ||| | || || |

|

|| || | ||| ||| || | |||| | || || ||| || ||||| || || | || ||

|

|| |||| | || || || || | || | ||| || | |

|

| |||| ||| |

|

| ||| || ||| | ||| || | | |

|

| |||||| |

|

| | || |||| || ||| || || || | || |||||

|

|

|

| | ||| ||| | | || | | ||| | || | | ||| |

|

| |||| ||| || || | ||| | | | ||

This is not a good model since it ig-nores that yn is binary.

13

Model: Logistic Reg

We can map f (xn) to a value be-tween 0 and 1. We can treat thisvalue as “the probability of yn = 1”.

0 500 1000 1500 2000 2500

0.0

0.2

0.4

0.6

0.8

1.0

Balance

Pro

babili

ty o

f D

efa

ult

| | || | ||| ||| || | ||| || || | || | || || ||| | | | ||| || || || || ||| || | ||| || ||| ||| || ||| |||| | ||| ||| | || | || | || || | ||| | || ||| || || | || | ||| || | ||| || ||| | ||| || || ||| | ||

|

|| ||| || || | |||| | || || | ||| || || || | || | | | |

|

||| | ||| |||| | || || ||| || ||| || |

|

| || |

|

| |

|

|| || ||| | || || ||| | || || || || |||| | ||

|

|

|

| ||| | || || || || ||| || |

|

|| | ||| | | ||| ||| || | || | | || || ||| || || | || || |||||||| || || | || | |||| | || || || || | || ||| || |||

|

|||

|

| | |

|

| | |||||

|

|| || || || || || ||| | || || |||| || | | ||| ||| | | | || || || || | ||

|

| | || || || ||| || | ||| ||| | ||| |||| | || |

||

| || ||| | | | ||| ||| | || | | |||| | || | ||||| || | ||| || || || |

|

| || || | ||||| | | || || | |||| | ||| | ||| | | ||| | | ||| || ||| | || ||||

|

| || |

|

| || || | || | | | || || | || || ||| |||| |||

|

| |||

|

|| | | || ||| | || ||| || || | ||| || | || || || |||| | ||| | | ||| || ||| | ||| |||| |

|

||| || | | ||

|

| || || |||| ||| ||| | | || | || || ||| ||| ||| | ||| || | || ||| || | | ||| || || ||| ||

|

| || || || | || || || || || || |||| ||

|

| |||| | | | ||| || |||| || |

|

||| | ||| ||| || || | || || || || |||| || | | ||| | |||| | |

|

||| | ||||| || || | || || || | ||| || || |

|

|||| |||| | | || || || || | || || |||| | | ||| |

|

|| || | | |||| || || || | |||| || || || || ||| || || | || | | || || | || || ||

|

|| | ||| | ||| |

|

|||||| | | ||| || | || || | | ||| | | | | || ||| | | |||| | ||

|

|| | || |

|

| ||| || | ||| | || || ||

|

| || | || | | || | || || | | |

|

| |||

|

||| | || || || | | | || || ||

|

|| || | | ||| | |||| || ||| || || || || || ||| ||| | ||| | | |||| || ||| | | ||

|

|| | | || ||| || | ||| || ||| || || || | || || || || ||

|

|| || |

||

|| | || ||| |||| | |||

|

| || | | ||| || | ||| ||| | || | | | ||| || || || | ||| || | ||| || || ||

|

|| | ||

|

|| | | || ||| || ||| ||| | || ||| |||| | || | | || |||| |

|

|| || | || ||| || | || || | || | ||| | || ||| || || || || | || || | || || || || | || | |||| | ||| | || || | || || || || ||| || | | || | ||| ||| | ||| | | |||

|

|

|

|||| || | | || | ||| ||| || | ||| || | | | |||| |

|

||| | || ||| | || |||| || | || || | | || || ||| ||| | ||| || || || || | |

|

|

|

|| || | ||| ||||| | | | ||| | | ||| || || || || || | |

|

||

|

|||| ||| |

|

| ||| |

|

||| ||| | ||||| | || || || || | | || || || || || ||| ||| | || | ||

|

||| | ||| || | ||| | |||| || | | || |||| | || || || || || | |

|

||| | | || |||| | || || | |

|

|| | || | || |||| | ||

|

| || || ||| || | | ||| || || ||

|

|| || ||| ||| || || || ||| || || ||| || | | | ||| || || ||||| || | ||| | || | |

|

| || || |

|

| || | | || || | ||||| || | || || || || || | || || || | ||

|

|| ||| || || || ||| | || |||| | | || || || | |

|

|| | || || ||| | ||| || ||| | | ||| ||| || || ||| || ||| || || ||||

|

|||

|

||| | || || || |

|

| || || ||| ||| || | |||

|

||| || || ||| || |

|

|| || || | ||| || | || | || |

|

| || ||| | | ||| || ||| | || | || | || | | || || || | || || | |||

|

|

|

|||| | || | | || | || | ||| | ||| | || | || || || || ||| || |||| || | ||| || || || || | ||

|

||| || | |

|

| | ||| | || || ||||| ||| ||| |

|

|| | ||| ||| ||| | ||

|

|| | || || ||| || | |

|

| | || ||||| ||| | || || ||| || || ||

|

|| | |

|

||| || | || | || | | ||||| | || ||| || |||

|

|| | | |||| | | || | || | |||| | | | | | ||| | |||

|

|||| || ||| || ||

|

||| || |

|

|| | || || || | || | |||||| |

|

|| |

|

||| | | || ||| |

|

| | ||| ||||| ||| | | || || || |

|

| || | ||| || || || || | | ||| || | | | ||| | || || || |||| || |

|

| || | ||| | | || ||| || | | ||| | | ||| | | ||| ||| ||| | |

|

| || | ||| || ||| | || |

|

| ||| | || ||| |||

|

||| | | || || || |||| ||| | ||| ||| ||| || || ||| | ||| |||| | || ||| | || || | || ||| || || || || || || | || || || |||| || || || ||| |

|

|| || || ||| ||

|

|| | ||| | || ||| | || | | | ||| | || || || | ||| |||| || | || || | | |||| | || ||| || | ||| ||| || | || | | | ||| ||

|

| ||| | || | | | |

|

|||| || || | ||| | || |||||| || || || ||| ||| | || ||| | |||| ||| | || || |

|

| || | || || || || || ||| | || || || || | ||| || | || ||| || || |||| ||

|

|| | ||| || || || || | | ||| ||| ||| || ||| |||| ||||| |

|

|||| | | || |||| ||| ||| || || ||| || || || || ||||| ||| | || || | || | ||| ||| |

|

| ||| || || || || || || |||| || |||| || || |

|

||| || || || || | |||

|

|| ||| | ||| || ||| || ||||| ||| | | || |||| || || | ||| || | || ||| | | ||||| | ||| ||| || | | | | || | | || || || | || |||| | ||

|

| || || || || || || || | | || || | | || | ||| ||| | | ||| ||

|

|| ||| || ||| || | || || ||| |||| | ||| || || ||| | | | ||| || | ||| |||| || || |||| || | || | ||| || | || | ||| || || || || ||| || |||| ||| || ||||| | || || |

|

|| || | ||| || ||

|

|| | | |||| | ||| ||| ||| || || || ||| || || || | || || || ||| | | ||||

|

|| | |||| || || ||

|

| || | |

|

|| || | |||| || | ||| ||| | || || || | || | | ||

|

|| || |

|

|| | ||| || |||| ||| || |

|

|| | || ||

|

|| | | || | || ||| ||| || | || |

|

| || ||| | |||| |||| || | ||||| | | |

|

|| ||| ||||

|

||| | || || ||| || | ||| | || || | || || || | ||| || |

|

|| || || | || ||

|

| || ||| ||

|

| || | | ||

|

|| || | || |

|

|| |||| | ||||| | | || | | |||||| || ||| ||| || || |||| | | || |||| || ||

|

| |

|

||| ||

|

| || | |

|

|| || | || | | |||| || | | || | | || || || || || | || ||| | | |||| | |

|

| || || || || || || ||| | | || || ||| || | |||| | || ||| | |||| |||||

|

| | |

|

| | ||| | |||| | || || || || || || | || | || | | | || || | || | |||| | || | || || | ||| | || || ||| || || |||

|

| || ||| | || | || || || ||| | || |||| || | || | ||

|

| | ||| ||| || | |||

|

|| ||| || || || | | || | ||| | || ||| | ||

|

|| || | || | | || ||| | |||| || || | || ||||| || ||| || || || ||| ||| ||| | ||| || ||| ||| || || | ||| |

|

|| |

|

| ||||| | || ||| || || || || | ||| || || | | | ||| | || ||| ||| ||| |||| ||| ||| || || | || | |

|

| || | ||| ||| || || || ||| || ||| | || || | | || | || || || | || | ||| | || || || ||| ||| || || | || | ||

|

| || ||| || || ||| || | ||| || | || |

|

| || | ||| ||| || ||| | ||| || || | | ||| | ||

|

| | || | | |

|

|| | ||| || || | | ||| | | ||| | | || || |||| | || ||

|

|| | | || | | | ||

|

| ||| | | || | || ||| || || | ||| | ||| || |||| | ||| ||| || | || || ||| ||| | ||| ||| ||||| |||| ||| | | |||| ||

|

| |||| | || | |

|

||| ||| || || ||

|

|| |

|

|

|

||| ||| | |||| || ||| | || ||| | | || ||| ||

|

| ||| || |||| || | || | || || | | |||| || | |||

|

||||| || | |||| ||

|

| ||| || |

|

|| || || ||||| | | ||| | ||| | || | ||| || | || | || | | || |||

|

| || |||| ||| | | |

|

| || |||

|

|| || | || | ||||| | | ||| || || | | ||| || || | | | | || ||| | |||| | | || | |||| || | ||| | || |||| | | || ||| ||

|

|| || | || | | || | ||| ||| || || | | || || | || || ||| || || || | | | || | |||| | | || || ||| |

|

|| || | || || || || | ||| | || || || | ||| | || ||| ||

|

|| || || ||

|

| || ||| || || | |

|

| || | | || | ||| | || || ||| || |||| || || | ||

|

|| || || || | | |||

|

|| || | ||| || ||| || | | || |||| | | || ||| |

|

| | |

|

| || | ||| || | | ||| || | || ||| || | | || | | ||| | || | | ||| || ||| | ||| || ||

|

|| || ||| ||| || || ||| || |

||

|| |

|

| | || | || || | ||| || | ||| | | | || | || | || | | |||| | ||| | ||| ||| ||| || | ||| || || || | || |||| | | |||| ||| | | | |||| |

|

|

|

| || || |||| | || |

|

|| || || | |||

| |

| ||| ||| | || | | | |||

|

| ||| | ||| || || || || || | ||| || | || ||| ||| | | || |||| | |||||

|

| || | ||| ||| || || | | ||||| ||| | || || || ||| | ||| || | | || | || || |||| || | ||| | ||| | || || || | || ||| ||| ||| || | ||| | || ||| || || ||| || || | |||| || ||| || ||| | ||| ||| | || | || || || ||| | || ||| | || | || ||| | | ||| | |

|

| | ||||| | ||

|

|| |

|

|||| || |||||

|

|| | | || |||| | || || ||

|

|| ||| || || || ||| |||| || ||| | |||| | | |

|

| | | |||| || ||| | ||| | | || || |

|

|| | || | || | |

|

| | |

|

||| | || | ||| || || || ||| |||| || || ||| || || |||

|

| | | || | || ||| || | ||| ||| || || | ||| || | || || || ||| || ||| | || | || | || || ||| | || ||||| | |

|

|| | | | |||| || ||| || || || || | | || |

|

||| | || || ||| || | || |||

|

|| || ||| | | ||| ||| | || || || || || || | | | ||| | || | | || || | | || ||| || ||| | || || | |||| || || ||| || |

|

|| | || | | || ||| |||| | || | | || ||| | || || || |||| || ||| ||| || || || || || | ||| ||| |||| | |

|

| ||| | ||| ||| || || || |||| || | ||||| | || | ||||| | ||

|

| | || || ||| || | |||| | ||| | || ||| ||| | | || |

|

|| ||| ||

|

| || | ||| || || || |||| || ||

|

||| | || |||| || | || ||| || || | || | || | || || ||| |||| ||| |

|

||| ||| || | || || || | || || | | ||| || || | ||| ||| | ||| ||| |||| | || | || || ||| | || || ||| |

|

|| | ||| ||| | || || || || | || | | ||| || | ||| | || || || || | | || | | || | | |||| || ||| | | || || || ||| || || | |

|

| | ||| || || || |

|

| || || |||

|

| | || |||| ||| | || | ||| || | || | || ||| | || || || || |||||| || | || || | ||| ||| | | || | | || || ||| | ||| || ||||| | || ||| | ||| |||| | || | || ||| ||

|

|||||| | ||| || | || || || ||| || || || || | | || | ||

|

|| || || || ||| | ||| ||| ||| || || || || | || || ||

|

||| | || || || | ||| | || || | || ||| | || || ||

|

| | || | ||| || || | | ||| | || | |||| |||| || || | || | | ||| | || | | |||| || | |||| | || || | || || | ||| || || | ||| || | || ||| |||

|

| || || |||| || || |||| | ||| |||| | |||| |||| || |

|

|| | || | | || | | |

|

| ||||| | |||||| | || | | || || || || | || ||| || | || || || |

|

|

|

| ||| | || | ||| ||| |||| |

|

|| || || || || | | || | ||| | | | ||

|

|| || | || | |||| | ||

|

| || |||| || | ||||| || || | ||| | | ||| ||| | || |||| ||| |

|

| |||| || | ||

|

|| || | |||| | || ||||| | || | ||| | | || || | | | || ||| ||| || | | || | ||

|

|| ||| |

|

| | || || |||| |

|

|| | ||| | || || | ||| || || ||| | || || | ||| || || | || | || |||| || ||| ||| ||| || | ||| | || || | |||

| |

||| || || || | || |||| | |||| || ||| || || | ||| ||

|

| || || ||| || || | | ||| | || | |||| ||

|

|| ||| || | || | | | || | ||| | |

|

| || || || | || || || | ||| || ||| || ||

|

| || | |||| |||

|

| ||| || || | || |

|

| || ||| || | || || |||| || | ||| | || | || | ||| | || | || ||||| |

|

|| | || || | | | ||| | || ||||

|

|

|

| | | | |||| ||| |||| |||| | | | ||| | || | || || | || | |||| | || | | ||| || |

|

||||

|

| ||| | ||| ||

|

| || || ||| ||| || |||| ||| |

|

||| || | ||

|

||| | | || ||| | || |||| || | || ||| || || | ||| | ||| || |||

|

|| ||| || ||| | | || || | || | ||| | || | | || | ||| |||| || || ||||| | ||| | || || || || | || | ||||

|

|| ||| || ||| | | || || | ||| |||| | |

|

|| | | ||| || ||

|

| || || || |

|

| | | || | || ||| ||| | | | || || || |||

|

| || || ||||| | | || ||

|

||

|

|| | || || | ||| || | || | ||| |

|

|| | || | |||

|

|| | |||| || ||| | ||| | | ||| || | || || || | | || |||| ||

|

| || | || || | || ||| | ||| ||| ||| | ||| | || | ||| ||||| | | | ||

|

| | | || | ||| || || ||

|

| || |||| | ||| | |||| || | | ||| || | ||

|

|| | | ||||| | || ||| || || || ||| |||| |||

|

| | | ||| |||| | || |||| | || | | || || | | || || || | ||||| ||| |||

|

|| ||| ||| ||

|

| | || | || ||||| ||| || || || || | ||| || | | | | ||

|

| ||| | || || | | || ||| || |||| ||| || | | ||| | ||| | || || || | || | || | || || | || |

|

| || || |||| ||||| | || | || | || |||| | || | || || |||| | | ||| ||

|

| || || || ||| || || | ||||| || || | ||| || |||| | || ||| ||| || || | |||| || | ||| ||| || | ||| | | || | || || | | || | | || | || |

|

|

|

||| | | ||| ||| || | || | || ||| | |

|

| ||| || || | | || ||| | | | || | || ||| || | || || | || || || || || || || ||| | || || || | || ||||

|

| ||| ||| |

|

| ||| | || | | ||||| | ||| || || || ||| || | ||| | || || ||| || | || | |

|

| |

|

||| ||||| | |||| || || ||| || | || | || ||| | ||

|

| | ||| | ||| | |||| || || | |||| | | ||

|

||| | | || | | ||| || | ||| || ||| || || ||| ||| ||| | || | | | || || ||| || | ||| |||| || || ||| | ||| |||| ||||| || ||| || || | | ||| || || || |||| ||| ||

|

||| ||| ||| | || | ||| | || | | || ||| | || || ||| | || | ||| || | | || ||| | ||| | || || || |||| | | ||

|

||||| || | | || || || ||||| | ||| || ||| ||| | || || || | | || || ||| || | |

|

|| | || |||| || ||

|

|| || | | || | | ||

|

|

|

|

|

|| || | || || ||

|

| || || || || | || ||| | || | | ||| | || || |||| |||| || | ||

|

| || || | || || ||| | | || ||| || || || | | | ||||

|

|| ||| ||| || || || | || || || | | || | || | ||| | || ||| || | || ||| || | || || || || ||| ||| | | ||| | || | || || || || | |||| || || | || || ||| | || | |||| | || | || | | | || || | || || ||| | | ||| |||| | ||| || | || ||| | || | ||| || ||| || || || ||| || | || || || | || |||| || | || || || ||| || || ||| | | | || | | | || |||

|

|| || || ||||| || | |||| |

|

| | | || | | | |||||| ||| || | | ||| | ||| | ||| |||| | | | | || |||| | ||

|

| ||

|

| | || || ||| || || ||| || | || || | ||| || || || || || || | || | ||| ||

|

|| | | || || | || ||| ||| || |

|

|| |||| | || | || || | | || | |||| || ||| || | | || | || | || || ||

|

| | || | |||| | || || | || |||| |||| | || | |||

|

|||| | ||| || | | |

|

| | || |||

|

| ||| |||| | | || | | ||| || | | || | | || | || | || |

|

||| || ||| | |

|

||| || ||| ||| ||| ||

|

|| | || || |||| ||| | || || | ||| || | ||

|

||

|

| |

| |

|| ||||| || | || | ||

|

| || ||| || |

|

|| | ||

|

| |||| || | || | ||| | ||| ||| || || || || || |||| | ||| | ||| |||

|

| || || | | || ||| || | || ||| || ||||| | |||

|

|| |||| | ||| | |||| |||| || || || | ||| | ||| ||| || | || | | || ||| || ||| | | | || ||| | | | || || | | || || || || || | ||| | ||| ||| | || | ||| || | || | || || | ||| ||| || || || | ||||| | ||

|

|| |||| || ||| ||| | |||

|

|| || | | ||| | | |

|

| | || | || || ||| || || || | || | || || || | | | ||| |||| || | || ||| | || || | | |

|

|| || || || || ||||| | | || || ||| | | ||| | ||| ||| | | |

|

||

|

| | ||| || || ||| || || || || || || | ||||| || | || || | || || || | | ||| || || | ||| || | | ||| ||| ||| |

|

||| || ||| || |

|

||| || | || ||| || ||| ||| | || | ||| ||| || ||| ||| || | | | || || | || || | | | ||| | | || || || | || | | ||

|

|| | || || || || ||| | || |||| || || || | | ||| | || | ||| | || || | ||

|

| |||

|

| || || || | |||| || ||| | || ||||

|

||| | || ||

|

| |||

|

| | || | ||||| ||| || || || | | | ||| | | || |||| || | ||||| ||| ||| | |||| | | || ||| || || || |||| || || | || ||| || |||| |||| | | | ||

|

|| ||| ||| || | || | || |||| |||| | || ||| ||| ||||||| || ||| | || | || ||| | | | || || |||| || || || | || | |

|

| || || || | || ||||

|

| || ||| | | || ||| || | ||| | | | |

|

||| | | |||| || || || || | || | ||| | || | ||| |

|

| || | || || ||| | || | | || | |||| || || ||| | || ||| ||| |

|

| || ||| || | ||| | || | || | ||| ||| || || |||| || | || ||| | || | ||| || || |||| ||| || |

|

||||

|

| ||||| ||| |

|

| | || ||| | |

|

|| | || ||||| | ||| || | |

|

| || || ||

|

||| || | | |||||| |

|

|||| | || ||

|

|| | |

|

|||| | |

|

| | || || | ||| || | ||

|

| | ||| || ||| || ||| || || | | || ||| | || ||| | || |||| ||||| || | ||||| | | || || ||| | ||| | || || |

|

|| || ||| || || ||| | || || || | || |||| || || | | |||| | | | ||

|

|| | | || ||| | | | | || ||| || || ||| ||| || | || || ||| ||| ||| ||| || || || | | | || | | || ||| | || || ||| ||| || || | | ||| ||| || |||| | | || | || | || || ||| | | || || | ||| || ||| | || |

|

||

|

| ||| || || |

|

|| || ||| ||| | || || |

|

|| || | ||| ||| || | |||| | || || ||| || ||||| || || | || ||

|

|| |||| | || || || || | || | ||| || | |

|

| |||| ||| |

|

| ||| || ||| | ||| || | | |

|

| |||||| |

|

| | || |||| || ||| || || || | || |||||

|

|

|

| | ||| ||| | | || | | ||| | || | | ||| |

|

| |||| ||| || || | ||| | | | ||

0 500 1000 1500 2000 2500

0.0

0.2

0.4

0.6

0.8

1.0

Balance

Pro

babili

ty o

f D

efa

ult

| | || | ||| ||| || | ||| || || | || | || || ||| | | | ||| || || || || ||| || | ||| || ||| ||| || ||| |||| | ||| ||| | || | || | || || | ||| | || ||| || || | || | ||| || | ||| || ||| | ||| || || ||| | ||

|

|| ||| || || | |||| | || || | ||| || || || | || | | | |

|

||| | ||| |||| | || || ||| || ||| || |

|

| || |

|

| |

|

|| || ||| | || || ||| | || || || || |||| | ||

|

|

|

| ||| | || || || || ||| || |

|

|| | ||| | | ||| ||| || | || | | || || ||| || || | || || |||||||| || || | || | |||| | || || || || | || ||| || |||

|

|||

|

| | |

|

| | |||||

|

|| || || || || || ||| | || || |||| || | | ||| ||| | | | || || || || | ||

|

| | || || || ||| || | ||| ||| | ||| |||| | || |

||

| || ||| | | | ||| ||| | || | | |||| | || | ||||| || | ||| || || || |

|

| || || | ||||| | | || || | |||| | ||| | ||| | | ||| | | ||| || ||| | || ||||

|

| || |

|

| || || | || | | | || || | || || ||| |||| |||

|

| |||

|

|| | | || ||| | || ||| || || | ||| || | || || || |||| | ||| | | ||| || ||| | ||| |||| |

|

||| || | | ||

|

| || || |||| ||| ||| | | || | || || ||| ||| ||| | ||| || | || ||| || | | ||| || || ||| ||

|

| || || || | || || || || || || |||| ||

|

| |||| | | | ||| || |||| || |

|

||| | ||| ||| || || | || || || || |||| || | | ||| | |||| | |

|

||| | ||||| || || | || || || | ||| || || |

|

|||| |||| | | || || || || | || || |||| | | ||| |

|

|| || | | |||| || || || | |||| || || || || ||| || || | || | | || || | || || ||

|

|| | ||| | ||| |

|

|||||| | | ||| || | || || | | ||| | | | | || ||| | | |||| | ||

|

|| | || |

|

| ||| || | ||| | || || ||

|

| || | || | | || | || || | | |

|

| |||

|

||| | || || || | | | || || ||

|

|| || | | ||| | |||| || ||| || || || || || ||| ||| | ||| | | |||| || ||| | | ||

|

|| | | || ||| || | ||| || ||| || || || | || || || || ||

|

|| || |

||

|| | || ||| |||| | |||

|

| || | | ||| || | ||| ||| | || | | | ||| || || || | ||| || | ||| || || ||

|

|| | ||

|

|| | | || ||| || ||| ||| | || ||| |||| | || | | || |||| |

|

|| || | || ||| || | || || | || | ||| | || ||| || || || || | || || | || || || || | || | |||| | ||| | || || | || || || || ||| || | | || | ||| ||| | ||| | | |||

|

|

|

|||| || | | || | ||| ||| || | ||| || | | | |||| |

|

||| | || ||| | || |||| || | || || | | || || ||| ||| | ||| || || || || | |

|

|

|

|| || | ||| ||||| | | | ||| | | ||| || || || || || | |

|

||

|

|||| ||| |

|

| ||| |

|

||| ||| | ||||| | || || || || | | || || || || || ||| ||| | || | ||

|

||| | ||| || | ||| | |||| || | | || |||| | || || || || || | |

|

||| | | || |||| | || || | |

|

|| | || | || |||| | ||

|

| || || ||| || | | ||| || || ||

|

|| || ||| ||| || || || ||| || || ||| || | | | ||| || || ||||| || | ||| | || | |

|

| || || |

|

| || | | || || | ||||| || | || || || || || | || || || | ||

|

|| ||| || || || ||| | || |||| | | || || || | |

|

|| | || || ||| | ||| || ||| | | ||| ||| || || ||| || ||| || || ||||

|

|||

|

||| | || || || |

|

| || || ||| ||| || | |||

|

||| || || ||| || |

|

|| || || | ||| || | || | || |

|

| || ||| | | ||| || ||| | || | || | || | | || || || | || || | |||

|

|

|

|||| | || | | || | || | ||| | ||| | || | || || || || ||| || |||| || | ||| || || || || | ||

|

||| || | |

|

| | ||| | || || ||||| ||| ||| |

|

|| | ||| ||| ||| | ||

|

|| | || || ||| || | |

|

| | || ||||| ||| | || || ||| || || ||

|

|| | |

|

||| || | || | || | | ||||| | || ||| || |||

|

|| | | |||| | | || | || | |||| | | | | | ||| | |||

|

|||| || ||| || ||

|

||| || |

|

|| | || || || | || | |||||| |

|

|| |

|

||| | | || ||| |

|

| | ||| ||||| ||| | | || || || |

|

| || | ||| || || || || | | ||| || | | | ||| | || || || |||| || |

|

| || | ||| | | || ||| || | | ||| | | ||| | | ||| ||| ||| | |

|

| || | ||| || ||| | || |

|

| ||| | || ||| |||

|

||| | | || || || |||| ||| | ||| ||| ||| || || ||| | ||| |||| | || ||| | || || | || ||| || || || || || || | || || || |||| || || || ||| |

|

|| || || ||| ||

|

|| | ||| | || ||| | || | | | ||| | || || || | ||| |||| || | || || | | |||| | || ||| || | ||| ||| || | || | | | ||| ||

|

| ||| | || | | | |

|

|||| || || | ||| | || |||||| || || || ||| ||| | || ||| | |||| ||| | || || |

|

| || | || || || || || ||| | || || || || | ||| || | || ||| || || |||| ||

|

|| | ||| || || || || | | ||| ||| ||| || ||| |||| ||||| |

|

|||| | | || |||| ||| ||| || || ||| || || || || ||||| ||| | || || | || | ||| ||| |

|

| ||| || || || || || || |||| || |||| || || |

|

||| || || || || | |||

|

|| ||| | ||| || ||| || ||||| ||| | | || |||| || || | ||| || | || ||| | | ||||| | ||| ||| || | | | | || | | || || || | || |||| | ||

|

| || || || || || || || | | || || | | || | ||| ||| | | ||| ||

|

|| ||| || ||| || | || || ||| |||| | ||| || || ||| | | | ||| || | ||| |||| || || |||| || | || | ||| || | || | ||| || || || || ||| || |||| ||| || ||||| | || || |

|

|| || | ||| || ||

|

|| | | |||| | ||| ||| ||| || || || ||| || || || | || || || ||| | | ||||

|

|| | |||| || || ||

|

| || | |

|

|| || | |||| || | ||| ||| | || || || | || | | ||

|

|| || |

|

|| | ||| || |||| ||| || |

|

|| | || ||

|

|| | | || | || ||| ||| || | || |

|

| || ||| | |||| |||| || | ||||| | | |

|

|| ||| ||||

|

||| | || || ||| || | ||| | || || | || || || | ||| || |

|

|| || || | || ||

|

| || ||| ||

|

| || | | ||

|

|| || | || |

|

|| |||| | ||||| | | || | | |||||| || ||| ||| || || |||| | | || |||| || ||

|

| |

|

||| ||

|

| || | |

|

|| || | || | | |||| || | | || | | || || || || || | || ||| | | |||| | |

|

| || || || || || || ||| | | || || ||| || | |||| | || ||| | |||| |||||

|

| | |

|

| | ||| | |||| | || || || || || || | || | || | | | || || | || | |||| | || | || || | ||| | || || ||| || || |||

|

| || ||| | || | || || || ||| | || |||| || | || | ||

|

| | ||| ||| || | |||

|

|| ||| || || || | | || | ||| | || ||| | ||

|

|| || | || | | || ||| | |||| || || | || ||||| || ||| || || || ||| ||| ||| | ||| || ||| ||| || || | ||| |

|

|| |

|

| ||||| | || ||| || || || || | ||| || || | | | ||| | || ||| ||| ||| |||| ||| ||| || || | || | |

|

| || | ||| ||| || || || ||| || ||| | || || | | || | || || || | || | ||| | || || || ||| ||| || || | || | ||

|

| || ||| || || ||| || | ||| || | || |

|

| || | ||| ||| || ||| | ||| || || | | ||| | ||

|

| | || | | |

|

|| | ||| || || | | ||| | | ||| | | || || |||| | || ||

|

|| | | || | | | ||

|

| ||| | | || | || ||| || || | ||| | ||| || |||| | ||| ||| || | || || ||| ||| | ||| ||| ||||| |||| ||| | | |||| ||

|

| |||| | || | |

|

||| ||| || || ||

|

|| |

|

|

|

||| ||| | |||| || ||| | || ||| | | || ||| ||

|

| ||| || |||| || | || | || || | | |||| || | |||

|

||||| || | |||| ||

|

| ||| || |

|

|| || || ||||| | | ||| | ||| | || | ||| || | || | || | | || |||

|

| || |||| ||| | | |

|

| || |||

|

|| || | || | ||||| | | ||| || || | | ||| || || | | | | || ||| | |||| | | || | |||| || | ||| | || |||| | | || ||| ||

|

|| || | || | | || | ||| ||| || || | | || || | || || ||| || || || | | | || | |||| | | || || ||| |

|

|| || | || || || || | ||| | || || || | ||| | || ||| ||

|

|| || || ||

|

| || ||| || || | |

|

| || | | || | ||| | || || ||| || |||| || || | ||

|

|| || || || | | |||

|

|| || | ||| || ||| || | | || |||| | | || ||| |

|

| | |

|

| || | ||| || | | ||| || | || ||| || | | || | | ||| | || | | ||| || ||| | ||| || ||

|

|| || ||| ||| || || ||| || |

||

|| |

|

| | || | || || | ||| || | ||| | | | || | || | || | | |||| | ||| | ||| ||| ||| || | ||| || || || | || |||| | | |||| ||| | | | |||| |

|

|

|

| || || |||| | || |

|

|| || || | |||

| |

| ||| ||| | || | | | |||

|

| ||| | ||| || || || || || | ||| || | || ||| ||| | | || |||| | |||||

|

| || | ||| ||| || || | | ||||| ||| | || || || ||| | ||| || | | || | || || |||| || | ||| | ||| | || || || | || ||| ||| ||| || | ||| | || ||| || || ||| || || | |||| || ||| || ||| | ||| ||| | || | || || || ||| | || ||| | || | || ||| | | ||| | |

|

| | ||||| | ||

|

|| |

|

|||| || |||||

|

|| | | || |||| | || || ||

|

|| ||| || || || ||| |||| || ||| | |||| | | |

|

| | | |||| || ||| | ||| | | || || |

|

|| | || | || | |

|

| | |

|

||| | || | ||| || || || ||| |||| || || ||| || || |||

|

| | | || | || ||| || | ||| ||| || || | ||| || | || || || ||| || ||| | || | || | || || ||| | || ||||| | |

|

|| | | | |||| || ||| || || || || | | || |

|

||| | || || ||| || | || |||

|

|| || ||| | | ||| ||| | || || || || || || | | | ||| | || | | || || | | || ||| || ||| | || || | |||| || || ||| || |

|

|| | || | | || ||| |||| | || | | || ||| | || || || |||| || ||| ||| || || || || || | ||| ||| |||| | |

|

| ||| | ||| ||| || || || |||| || | ||||| | || | ||||| | ||

|

| | || || ||| || | |||| | ||| | || ||| ||| | | || |

|

|| ||| ||

|

| || | ||| || || || |||| || ||

|

||| | || |||| || | || ||| || || | || | || | || || ||| |||| ||| |

|

||| ||| || | || || || | || || | | ||| || || | ||| ||| | ||| ||| |||| | || | || || ||| | || || ||| |

|

|| | ||| ||| | || || || || | || | | ||| || | ||| | || || || || | | || | | || | | |||| || ||| | | || || || ||| || || | |

|

| | ||| || || || |

|

| || || |||

|

| | || |||| ||| | || | ||| || | || | || ||| | || || || || |||||| || | || || | ||| ||| | | || | | || || ||| | ||| || ||||| | || ||| | ||| |||| | || | || ||| ||

|

|||||| | ||| || | || || || ||| || || || || | | || | ||

|

|| || || || ||| | ||| ||| ||| || || || || | || || ||

|

||| | || || || | ||| | || || | || ||| | || || ||

|

| | || | ||| || || | | ||| | || | |||| |||| || || | || | | ||| | || | | |||| || | |||| | || || | || || | ||| || || | ||| || | || ||| |||

|

| || || |||| || || |||| | ||| |||| | |||| |||| || |

|

|| | || | | || | | |

|

| ||||| | |||||| | || | | || || || || | || ||| || | || || || |

|

|

|

| ||| | || | ||| ||| |||| |

|

|| || || || || | | || | ||| | | | ||

|

|| || | || | |||| | ||

|

| || |||| || | ||||| || || | ||| | | ||| ||| | || |||| ||| |

|

| |||| || | ||

|

|| || | |||| | || ||||| | || | ||| | | || || | | | || ||| ||| || | | || | ||

|

|| ||| |

|

| | || || |||| |

|

|| | ||| | || || | ||| || || ||| | || || | ||| || || | || | || |||| || ||| ||| ||| || | ||| | || || | |||

| |

||| || || || | || |||| | |||| || ||| || || | ||| ||

|

| || || ||| || || | | ||| | || | |||| ||

|

|| ||| || | || | | | || | ||| | |

|

| || || || | || || || | ||| || ||| || ||

|

| || | |||| |||

|

| ||| || || | || |

|

| || ||| || | || || |||| || | ||| | || | || | ||| | || | || ||||| |

|

|| | || || | | | ||| | || ||||

|

|

|

| | | | |||| ||| |||| |||| | | | ||| | || | || || | || | |||| | || | | ||| || |

|

||||

|

| ||| | ||| ||

|

| || || ||| ||| || |||| ||| |

|

||| || | ||

|

||| | | || ||| | || |||| || | || ||| || || | ||| | ||| || |||

|

|| ||| || ||| | | || || | || | ||| | || | | || | ||| |||| || || ||||| | ||| | || || || || | || | ||||

|

|| ||| || ||| | | || || | ||| |||| | |

|

|| | | ||| || ||

|

| || || || |

|

| | | || | || ||| ||| | | | || || || |||

|

| || || ||||| | | || ||

|

||

|

|| | || || | ||| || | || | ||| |

|

|| | || | |||

|

|| | |||| || ||| | ||| | | ||| || | || || || | | || |||| ||

|

| || | || || | || ||| | ||| ||| ||| | ||| | || | ||| ||||| | | | ||

|

| | | || | ||| || || ||

|

| || |||| | ||| | |||| || | | ||| || | ||

|

|| | | ||||| | || ||| || || || ||| |||| |||

|

| | | ||| |||| | || |||| | || | | || || | | || || || | ||||| ||| |||

|

|| ||| ||| ||

|

| | || | || ||||| ||| || || || || | ||| || | | | | ||

|

| ||| | || || | | || ||| || |||| ||| || | | ||| | ||| | || || || | || | || | || || | || |

|

| || || |||| ||||| | || | || | || |||| | || | || || |||| | | ||| ||

|

| || || || ||| || || | ||||| || || | ||| || |||| | || ||| ||| || || | |||| || | ||| ||| || | ||| | | || | || || | | || | | || | || |

|

|

|

||| | | ||| ||| || | || | || ||| | |

|

| ||| || || | | || ||| | | | || | || ||| || | || || | || || || || || || || ||| | || || || | || ||||

|

| ||| ||| |

|

| ||| | || | | ||||| | ||| || || || ||| || | ||| | || || ||| || | || | |

|

| |

|

||| ||||| | |||| || || ||| || | || | || ||| | ||

|

| | ||| | ||| | |||| || || | |||| | | ||

|

||| | | || | | ||| || | ||| || ||| || || ||| ||| ||| | || | | | || || ||| || | ||| |||| || || ||| | ||| |||| ||||| || ||| || || | | ||| || || || |||| ||| ||

|

||| ||| ||| | || | ||| | || | | || ||| | || || ||| | || | ||| || | | || ||| | ||| | || || || |||| | | ||

|

||||| || | | || || || ||||| | ||| || ||| ||| | || || || | | || || ||| || | |

|

|| | || |||| || ||

|

|| || | | || | | ||

|

|

|

|

|

|| || | || || ||

|

| || || || || | || ||| | || | | ||| | || || |||| |||| || | ||

|

| || || | || || ||| | | || ||| || || || | | | ||||

|

|| ||| ||| || || || | || || || | | || | || | ||| | || ||| || | || ||| || | || || || || ||| ||| | | ||| | || | || || || || | |||| || || | || || ||| | || | |||| | || | || | | | || || | || || ||| | | ||| |||| | ||| || | || ||| | || | ||| || ||| || || || ||| || | || || || | || |||| || | || || || ||| || || ||| | | | || | | | || |||

|

|| || || ||||| || | |||| |

|

| | | || | | | |||||| ||| || | | ||| | ||| | ||| |||| | | | | || |||| | ||

|

| ||

|

| | || || ||| || || ||| || | || || | ||| || || || || || || | || | ||| ||

|

|| | | || || | || ||| ||| || |

|

|| |||| | || | || || | | || | |||| || ||| || | | || | || | || || ||

|

| | || | |||| | || || | || |||| |||| | || | |||

|

|||| | ||| || | | |

|

| | || |||

|

| ||| |||| | | || | | ||| || | | || | | || | || | || |

|

||| || ||| | |

|

||| || ||| ||| ||| ||

|

|| | || || |||| ||| | || || | ||| || | ||

|

||

|

| |

| |

|| ||||| || | || | ||

|

| || ||| || |

|

|| | ||

|

| |||| || | || | ||| | ||| ||| || || || || || |||| | ||| | ||| |||

|

| || || | | || ||| || | || ||| || ||||| | |||

|

|| |||| | ||| | |||| |||| || || || | ||| | ||| ||| || | || | | || ||| || ||| | | | || ||| | | | || || | | || || || || || | ||| | ||| ||| | || | ||| || | || | || || | ||| ||| || || || | ||||| | ||

|

|| |||| || ||| ||| | |||

|

|| || | | ||| | | |

|

| | || | || || ||| || || || | || | || || || | | | ||| |||| || | || ||| | || || | | |

|

|| || || || || ||||| | | || || ||| | | ||| | ||| ||| | | |

|

||

|

| | ||| || || ||| || || || || || || | ||||| || | || || | || || || | | ||| || || | ||| || | | ||| ||| ||| |

|

||| || ||| || |

|

||| || | || ||| || ||| ||| | || | ||| ||| || ||| ||| || | | | || || | || || | | | ||| | | || || || | || | | ||

|

|| | || || || || ||| | || |||| || || || | | ||| | || | ||| | || || | ||

|

| |||

|

| || || || | |||| || ||| | || ||||

|

||| | || ||

|

| |||

|

| | || | ||||| ||| || || || | | | ||| | | || |||| || | ||||| ||| ||| | |||| | | || ||| || || || |||| || || | || ||| || |||| |||| | | | ||

|

|| ||| ||| || | || | || |||| |||| | || ||| ||| ||||||| || ||| | || | || ||| | | | || || |||| || || || | || | |

|

| || || || | || ||||

|

| || ||| | | || ||| || | ||| | | | |

|

||| | | |||| || || || || | || | ||| | || | ||| |

|

| || | || || ||| | || | | || | |||| || || ||| | || ||| ||| |

|

| || ||| || | ||| | || | || | ||| ||| || || |||| || | || ||| | || | ||| || || |||| ||| || |

|

||||

|

| ||||| ||| |

|

| | || ||| | |

|

|| | || ||||| | ||| || | |

|

| || || ||

|

||| || | | |||||| |

|

|||| | || ||

|

|| | |

|

|||| | |

|

| | || || | ||| || | ||

|

| | ||| || ||| || ||| || || | | || ||| | || ||| | || |||| ||||| || | ||||| | | || || ||| | ||| | || || |

|

|| || ||| || || ||| | || || || | || |||| || || | | |||| | | | ||

|

|| | | || ||| | | | | || ||| || || ||| ||| || | || || ||| ||| ||| ||| || || || | | | || | | || ||| | || || ||| ||| || || | | ||| ||| || |||| | | || | || | || || ||| | | || || | ||| || ||| | || |

|

||

|

| ||| || || |

|

|| || ||| ||| | || || |

|

|| || | ||| ||| || | |||| | || || ||| || ||||| || || | || ||

|

|| |||| | || || || || | || | ||| || | |

|

| |||| ||| |

|

| ||| || ||| | ||| || | | |

|

| |||||| |

|

| | || |||| || ||| || || || | || |||||

|

|

|

| | ||| ||| | | || | | ||| | || | | ||| |

|

| |||| ||| || || | ||| | | | ||

We will use logistic function for this.

σ(f ) = 1/[1 + exp(−f )]

Cost: Log-Likelihood

Instead of minimizing mistakes, wecan maximize the likelihood.

max∑n

yn log[1 + exp(−fn)]

+ (1− yn) log[1 + exp(fn)]

In fact, MSE == maximum likeli-hood (ML) for linear regression.

14

7 Overfitting

What is Overfitting?

Overfitting is fitting the noise inaddition to the signal. Underfittingis not fitting the signal well.

In reality, it is very difficult to beable to tell the signal from the noise.

Which is a better fit?

Data is denoted by circle. Whichmodel is a better fit? black or red?

15

Which is a better fit?

Try a real situation. Below, y-axis isthe frequency of an event and x-axisis the magnitude. It is clear that asmagnitude increases, frequency de-creases. Which model is better fit?blue or red?

16

Occam’s razor

One solution is dictated by Occam’srazor which states that “Simplermodels are better - in absence ofcertainty.”

Sometimes, if you increase theamount of data, you might reduceoverfitting. But, when unsure,choose a simple model over a com-plicated one.

But how do we do this in practice?

17

8 Linear basis function model

Why basis function?

Linear model can be too limited andusually underfit. One way is to use“non-linear” basis functions instead.

Polynomial basis

Consider simple linear regression.Given one dimensional input xn, wecan generate a polynomial basis.

φ(xn) = [1, xn, x2n, x

3n, . . . , x

3M ]

Then we fit a linear model

yn ≈ β0+β1xn+β2x2n+ . . .+βMx

3M

−1 0 1−1

−0.5

0

0.5

1

18

Complex model overfit easily.

Circles are data, Green is truth & red is the fit.

x

t

M = 0

0 1

−1

0

1

x

t

M = 1

0 1

−1

0

1

x

t

M = 3

0 1

−1

0

1

x

t

M = 9

0 1

−1

0

1

If you increase the amount of data, overfitting might reduce.

x

t

N = 15

0 1

−1

0

1

x

t

N = 100

0 1

−1

0

1

Question: How do you control the model complexity?

19

9 Regularization and CV

What is regularization?

We can reduce model complexity byforcing many βi to be zero. Regu-larization achieves this by penalizinghigh values of βi.

min

N∑n=1

[yn − f (xn)]2 + λ

M∑i=1

β2i

where second term is the regularizer,λ > 0 (regularization parameter).

RegularizationParameter

The parameter λ can be tuned toreduce overfitting by reducing modelcomplexity. But, how do you chooseλ?

Simulating the future

Ideally, we should choose λ to reduceerror in our future predictions, i.e.on the data that we have not seenyet. Unfortunately, we do not havethe future dataset. However, we cansimulate the future using data inhand.

20

Splitting the data

We split the data into train and val-idation sets, e.g. 80% into train-ing data and 20% as validation data.We can then train on first set andpredict the rest to compute test-MSE. This gives us one instant ofthe future. We can repeat this pro-cess many times.

Cross-validation

K-fold cross-validation allows usto do this efficiently. We par-tition the data into K groups.We train on K − 1 groups andtest on remaining groups. We re-peat this until we have tested on allK sets. We then average the results.

run 1

run 2

run 3

run 4

Cross-validation returns an estimateof the generalization error.

21

10 Bias-Variance Decomposition

What is bias-variance?

One natural question is how doesthe test error vary wrt λ? Whenλ is high, the model underfits,while when λ is small, the modeloverfits. Therefore, a good value issomewhere in between.

Bias-variance decomposition ex-plains the shape of this curve.

Generalization error

Given training data Dtr of size N ,we would like to estimate the ex-pected error made in future predic-tion. This error is the generalizationerror. Below is a definition supposethat we have infinite test data Dte,

teErr(Dtr) := EDte[{y∗ − f (x∗)}2]

Generalization error is different fromthe training error which measureshow well you fit the data.

trErr(Dtr) :=

N∑n=1

[{yn − f (xn)}2]

22

Errors vs model com-plexity

As we increase the model complex-ity, how do these errors vary? Theblue line shows training error for adataset with N = 50, while the redline shows the generalization errorfor that dataset.

Simple model have high train andgeneralization error since they havea high bias, while complex modelhave low train but high generaliza-tion error because they have highvariance.

Elements of Statistical Learning (2nd Ed.) c!Hastie, Tibshirani & Friedman 2009 Chap 7

0 5 10 15 20 25 30 35

0.0

0.2

0.4

0.6

0.8

1.0

1.2

Model Complexity (df)

Pred

ictio

n Er

ror

High Bias Low BiasHigh VarianceLow Variance

FIGURE 7.1. Behavior of test sample and trainingsample error as the model complexity is varied. Thelight blue curves show the training error err, while thelight red curves show the conditional test error ErrTfor 100 training sets of size 50 each, as the model com-plexity is increased. The solid curves show the expectedtest error Err and the expected training error E[err].

23

Bias-variance decompo-sition

The shape of these curves canbe explained using bias-variancedecomposition which says that bothbias and variance contribute togeneralization error. For bias, bothmodel-bias and estimation-biasare important. When we increasemodel complexity, we increase gen-eralization error due to increasedvariance.

Regularization increases estimationbias while reducing variance.

Comments about CV

Cross validation estimates both ex-pected train and test error. Whenlearning curve is steep, then CVoverestimates the true objectivefunction.

24