Josias Jônatas Data Mining Consultant StatSoft South America Consulting Services.
Wykorzystanie i monitorowanie scoringumedia.statsoft.nazwa.pl/.../wykorzystanie_scoringu.pdf ·...
Transcript of Wykorzystanie i monitorowanie scoringumedia.statsoft.nazwa.pl/.../wykorzystanie_scoringu.pdf ·...
StatSoft Polska Sp. z o.o. • ul. Kraszewskiego 36 • 30-110 Kraków • www.StatSoft.pl
Analiza danych • Data mining • Sterowanie jakością • Analityka przez Internet
Wykorzystanie i monitorowanie scoringu
Tomasz SudakowskiBiuro Informacji Kredytowej S.A.
2© Copyright StatSoft Polska, 2007
Wykorzystanie i monitorowanie scoringu
obszary wykorzystania scoringu w Banku miejsce scoringu w procesie decyzyjnymsposoby ustalania punktu cut-offmiary efektywności modelu a oczekiwania Bankumonitorowanie modelu scoringowego
3© Copyright StatSoft Polska, 2007
obszary wykorzystania scoringu w Bankuocena scoringowa
Klienci Banku
110 - 120
120 - 130
130 - 140
140 - 150
150 - 160
160 - 170
170 - 180
180 - 190
190 - 200
200 - 210
prawdopodobieństwo wystąpienia modelowanego zjawiska
średnie
niskie
wysokie
4© Copyright StatSoft Polska, 2007
obszary wykorzystania scoringu w Bankumożna zatem mówić o scoringu:
marketingowymaplikacyjnymbehawioralnym
kontynuacji kredytowejodejścia klientaprzedwindykacyjnymoceny ryzyka kredytowego
aplikacyjnymbehawioralnymbiura kredytowego
antyfraudowym………
5© Copyright StatSoft Polska, 2007
miejsce scoringu w procesie decyzyjnym
Klienci Bankuproces
decyzyjnyscenariusz 1
scenariusz 2
scenariusz 3
scenariusz n
reguły
………………..
6© Copyright StatSoft Polska, 2007
scoring behawioralny oceny ryzyka
scoring aplikacyjny oceny ryzyka
ocena zdolności kredytowej
informacja z wewnętrznych baz
informacja z MIG-BR
scoring odejścia
scoring marketingowy
scoringprzedwindykacyjny
scoring BIK
scoring kontynuacji kredytowej
miejsce scoringu w procesie decyzyjnym
scoring antyfraudowy
raport kredytowy BIKw tym informacja z MIG-BZ i BIG
7© Copyright StatSoft Polska, 2007
scoring behawioralny oceny ryzyka
/ scoring BIK
scoring aplikacyjny oceny ryzyka
ocena zdolności kredytowej
miejsce scoringu w procesie decyzyjnymprzykład procesu oceny wniosków kredytowych
akceptacja
odrzucenie
informacja z wewnętrznych baz
informacja z MIG-BR
scoring antyfraudowy
reguły
raport kredytowy BIKw tym informacja z MIG-BZ i BIG
8© Copyright StatSoft Polska, 2007
miejsce scoringu w procesie decyzyjnymmacierze scoringowe
75040030025015010050>700
600 3002501501005025651 – 700
500250175100502010601 – 650
3501501205020106551 – 600
200120100301574501 – 550
1007050151052401 – 500
40302010521000 – 400
>735720 –734
690 –719
660 –689
630 –659
600–629
000 –599
ocen
a pu
nkto
wa
BIKSco
300
200
100
50
25
10
2
Oddsdobry/zły
500250100301052Oddsdobry/zły
ocena punktowa Banku
9© Copyright StatSoft Polska, 2007
miejsce scoringu w procesie decyzyjnymłączenie modeli
18 - 20 21 – 30 31 – 40 41 - 50 >50 brak informacji
10 15 20 25 20 15< 1 1 – 3 4 – 10 >10 brak
informacji10 15 20 15 10
własne wynajęte z rodzicami służbowe brak informacji
30 15 20 15 20=< 250 251 – 350 351 – 450 >450 KKU brak
informacji0 5 10 20 10 5
ocena punktowa BIKSco
status zamieszkania
staż pracy
wiek
10© Copyright StatSoft Polska, 2007
miejsce scoringu w procesie decyzyjnymakcja marketingowa
informacja z wewnętrznych baz oraz MIG-BR, MIG-BZ, BIG
raport monitorujący BIK
reguły
czyszczenie danych
Klienci Banku
reguły / macierze scorinngowe
scoring odejścia
scoring behawioralny oceny ryzyka
/ scoring BIK
scoring marketingowy
scoring kontynuacji kredytowej
250-300
120-140
140-160
180-200
160-180
100-120
350-400300-350200-250
scoring marketingowy
scor
ing
ryzy
ka
11© Copyright StatSoft Polska, 2007
punkt odcięcia (cut-off) jest to minimalna liczba punktów, która jest wymagana do akceptacji wniosku (klienta)
sposoby ustalania punktu cut-off
punkt cut-off powinien być ustalony tak, aby:
⇒ zminimalizować udział „złych” kredytów w portfelu
⇒ zapewnić pożądany poziom akceptowalności wniosków
⇒ maksymalizować zyski
scoring oceny ryzyka
12© Copyright StatSoft Polska, 2007
sposoby ustalania punktu cut-offzbyt niski punkt odcięcia
zbyt wysoki punkt odcięcia
wysoka akceptowalność wniosków niski udział złych kredytów
duży udział złych kredytów
niższe zyski (ewentualnie strata) z uwagi na dużą liczbę udzielonych złych kredytów
brak istotnych zmian w stosunku do sytuacji, kiedy nie jest stosowany scoring
niska akceptowalność wniosków
niższe zyski z uwagi na dużą liczbę odrzuceń potencjalnie dobrych kredytów
13© Copyright StatSoft Polska, 2007
sposoby ustalania punktu cut-off% rozkład klientów wg punktacji i statusu
0
5
10
15
20
25
100-110 110-120 120-130 130-140 140-150 150-160 160-170 170-180 180-190 190-200
punkty
% k
lient
ów
dobryzły
Cut-off
14© Copyright StatSoft Polska, 2007
sposoby ustalania punktu cut-offrozkład klientów wg punktacji i statusu
0
20
40
60
80
100
120
140
160
180
200
100-110 110-120 120-130 130-140 140-150 150-160 160-170 170-180 180-190 190-200
punkty
liczb
a kl
ient
ów
dobryzły
Cut-off
15© Copyright StatSoft Polska, 2007
sposoby ustalania punktu cut-off% akceptowanych klientów wg punktu cut-off
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
100-110 110-120 120-130 130-140 140-150 150-160 160-170 170-180 180-190 190-200
punkt cut-off
% k
lient
ów
dobryzły
Cut-off
16© Copyright StatSoft Polska, 2007
sposoby ustalania punktu cut-offzysk w zależności od punktu cut-off
-300
-200
-100
0
100
200
300
100-110 110-120 120-130 130-140 140-150 150-160 160-170 170-180 180-190 190-200
punkt cut-off
zysk
Cut-off
17© Copyright StatSoft Polska, 2007
sposoby ustalania punktu cut-offpoziom akceptacji oraz udzial złych wśród
zaakceptowanych klientów w zależności od punktu cut-off
0%
1%
2%
3%
4%
5%
6%
7%
8%
9%
10%
100-110 110-120 120-130 130-140 140-150 150-160 160-170 170-180 180-190 190-200punkt cut-off
udzi
ał zły
ch k
lient
ów
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
pozi
om a
kcep
tacj
i
cut-off 125poziom akceptacji 87%udział złych 7,1%
cut-off 140poziom akceptacji 69%
udział złych 5,0%cut-off 146poziom akceptacji 60%
udział złych 4,5%
18© Copyright StatSoft Polska, 2007
miary efektywności modelu a oczekiwania Banku
0%
20%
40%
60%
80%
100%
100 120 140 160 180 200
punkty
skum
ulow
any
% k
lient
ów
dobryzły
0%
20%
40%
60%
80%
100%
100 120 140 160 180 200
punkty
skum
ulow
any
% k
lient
ów
dobryzły
0%
20%
40%
60%
80%
100%
100 120 140 160 180 200
punkty
skum
ulow
any
% k
lient
ów
dobryzły
KS=73%
KS=70%
KS=68%
model 1 model 2
model 3
który model jest najlepszy?
19© Copyright StatSoft Polska, 2007
miary efektywności modelu a oczekiwania Banku
0%
20%
40%
60%
80%
100%
100 120 140 160 180 200
punkty
skum
ulow
any
% k
lient
ów
dobryzłypoziom akc.
0%
20%
40%
60%
80%
100%
100 120 140 160 180 200
punkty
skum
ulow
any
% k
lient
ów
dobryzłypoziom akc
0%
20%
40%
60%
80%
100%
100 120 140 160 180 200
punkty
skum
ulow
any
% k
lient
ów
dobryzłypoziom akc
KS=73%
KS=70%
KS=68%
model 1 model 2
model 3
który model jest najlepszy?
20© Copyright StatSoft Polska, 2007
0%
20%
40%
60%
80%
100%
0% 20% 40% 60% 80% 100%
skumulowany % wszystkich
skum
ulow
any
% zły
ch
0%
20%
40%
60%
80%
100%
0% 20% 40% 60% 80% 100%
skumulowany % wszystkich
skum
ulow
any
% zły
ch
miary efektywności modelu a oczekiwania Banku
0%
20%
40%
60%
80%
100%
0% 20% 40% 60% 80% 100%
skumulowany % wszystkich
skum
ulow
any
% zły
ch model 1 model 2
model 3
GINI 74% GINI 74%
GINI 74% który model jest najlepszy?
21© Copyright StatSoft Polska, 2007
0%
20%
40%
60%
80%
100%
0% 20% 40% 60% 80% 100%
skumulowany % wszystkich
skum
ulow
any
% zły
ch
model 1
model 2
model 3
miary efektywności modelu a oczekiwania Banku
Cut-off
22© Copyright StatSoft Polska, 2007
monitorowanie modelu scoringowego
istotne zmiany w populacji wnioskodawcówzmiana warunków oferowanego produktuwpływ konkurencji zmiana przepisów zewnętrznychzmiana stylu życia klientówzmiana możliwości kredytowania się klientów
duży udział przełamań decyzjidezaktualizacja modelu – naturalna utrata zdolności prognostycznych modeludziałania przestępcze inspektorów kredytowychodtajnienie tablicy scoringowej
elementy, które mogą wpływać na nieprawidłowe działanie modelu scoringowego lub nieoczekiwane wyniki jego działania to m.in.:
23© Copyright StatSoft Polska, 2007
monitorowanie modelu scoringowego
punkty % wniosków z populacji bazowej
% wniosków z populacji badanej
WSP - współczynnik stabilności populacji
110-120 21 17 0,008
120-140 22 21 0,000
140-160 43 44 0,000
160-180 9 15 0,031
180-200 5 3 0,010
RAZEM 100 100 0,050
stabilność populacji
( )[ ] ( ){ }∑ −⋅= bazowejbadanejbazowejbadanejWSP %%%/%ln
znaczenie współczynnika WSP:0 - 0.1 - stabilność bez zmian0.1 - 0.25 - stabilność lekko zachwiana>0.25 - istotnie zachwiana stabilność populacji
24© Copyright StatSoft Polska, 2007
monitorowanie modelu scoringowegostabilność cechy
( )[ ]∑ ⋅−= punktacjabazowejbadanejWSC %%
wyliczona wartość -2,45 oznacza, że wnioskodawcy z populacji badanej otrzymali średnio za cechę „wiek” o 2,5 pkt. mniej niż ci z populacji bazowej
wiek % wniosków z populacji bazowej
% wniosków z populacji badanej punkty WSC – współczynnik
stabilności cechy21 i mniej 10 15 15
25
35
50
35
X
0,750
22 - 29 15 22 1,750
30 - 39 40 38 -0,700
40 - 49 20 15 -2,500
50 i więcej 15 10 -1,750
RAZEM 100 100 -2,450
25© Copyright StatSoft Polska, 2007
monitorowanie modelu scoringowego
status zatrudnienia
% wniosków z populacji bazowej
% wniosków z populacji badanej punkty WSC – współczynnik
stabilności cechyna czas określony 10 20 20
40
30
X
2
na czas nieokreślony 70 90 4
emerytura/renta 20 0 -6
RAZEM 100 100 0
stabilność cechy
współczynnik stabilności cechy nie zawsze odzwierciedla zmiany wrozkładzie jej wariantów, wskazuje jedynie jak ew. zmiany wpływają na stabilność punktacji uzyskiwanej w całej populacji wnioskodawców
26© Copyright StatSoft Polska, 2007
monitorowanie modelu scoringowego
punkty liczba wniosków % akceptacja odrzucenie %
akceptacji%
przełamańudziałzłych
100-109 60 4,0% 13 47 21,7% 21,7% 0,0%
110-119 83 5,5% 24 59 28,9% 28,9% 4,2%
120*-129 112 7,5% 99 13 88,4% 11,6% 5,0%
130-139 210 14,0% 198 12 94,3% 5,7% 3,2%
140-149 453 30,2% 432 21 95,4% 4,6% 2,9%
150-169 230 15,3% 225 5 97,8% 2,2% 2,4%
170-179 198 13,2% 194 4 98,0% 2,0% 2,0%
180 i więcej 156 10,4% 154 2 98,7% 1,3% 1,7%
RAZEM 1 502 100,0% 1 339 163 89,1% 10,9% 2,9%< cut-off 143 9,5% 37 106 25,9% 25,9% 2,7%
>= cut-off 1 359 90,5% 1 302 57 95,8% 4,2% 2,9%
raport końcowych (rzeczywistych) decyzji
* punkt cut-off = 120
27© Copyright StatSoft Polska, 2007
monitorowanie modelu scoringowegosiła modelu
0%
20%
40%
60%
80%
100%
0% 20% 40% 60% 80% 100%
skumulowany % wszystkich
skum
ulow
any
% zły
ch
0%
20%
40%
60%
80%
100%
0% 20% 40
skumulosk
umul
owan
y %
zły
ch% 60% 80% 100%
wany % wszystkich
Cut-off
GINI = 74% GINI = 23%
model 3
bezwzględne stosowanie punktu odcięcia
KS = 68% KS = 24%
model 3
28© Copyright StatSoft Polska, 2007
monitorowanie modelu scoringowegojak zatem badać utrzymanie zdolności prognostycznych modelu?
monitorowanie założonych efektów:poziom akceptacji wnioskówdocelowy udział złychrentowność akcji kredytowej
odpowiednie przygotowanie danych, wykluczenia analogiczne do etapu budowy modelu np.:
usunięcie kredytów wyłudzonychwyeliminowanie błędnych danychuwzględnienie powodu niespłacania kredytów
pozyskanie danych o wnioskach odrzuconych śledzenie i rejestrowanie zmian mogących mieć wpływ na działaniemodelu, w tym zachwianie struktury punktowej w populacji klientów
29© Copyright StatSoft Polska, 2007
monitorowanie portfela kredytówudział kredytów złych na koniec miesiącadata udz.
kredytu sie-06 wrz-06 paź-06 lis-06 gru-06 sty-07 lut-07maj-06 2,5 2,6 3,0 3,6 4,1 5,6 6,8cze-06 2,1 2,2 2,3 2,5 3,8 4,5 5,9
lip-06 - 1,8 2,0 2,1 2,3 2,5 2,9sie-06 - - 1,5 1,8 2,0 2,3 2,6
wrz-06 - - - 1,4 1,8 2,1 2,2paź-06 - - - - 1,5 1,8 2,3
lis-06 - - - - - 1,3 1,5gru-06 - - - - - - 1,3sty-07 2,5 2,6 3,0 3,6 4,1 5,6 6,8
czy udzielamy coraz „lepszych” kredytów?
30© Copyright StatSoft Polska, 2007
monitorowanie portfela kredytówudział kredytów złych na koniec miesiącadata udz.
kredytu sie-06 wrz-06 paź-06 lis-06 gru-06 sty-07 lut-07maj-06 2,5 2,6 3,0 3,6 4,1 5,6 6,8cze-06 2,1 2,2 2,3 2,5 3,8 4,5 5,9
lip-06 - 1,8 2,0 2,1 2,3 2,5 2,9sie-06 - - 1,5 1,8 2,0 2,3 2,6
wrz-06 - - - 1,4 1,8 2,1 2,2paź-06 - - - - 1,5 1,8 2,3
lis-06 - - - - - 1,3 1,5gru-06 - - - - - - 1,3sty-07 2,5 2,6 3,0 3,6 4,1 5,6 6,8
czy kredyty z lipca są „lepsze” od kredytów udzielonych w sierpniu?
31© Copyright StatSoft Polska, 2007
monitorowanie portfela kredytówudział kredytów złych na koniec miesiącadata udz.
kredytu sie-06 wrz-06 paź-06 lis-06 gru-06 sty-07 lut-07maj-06 2,5 2,6 3,0 3,6 4,1 5,6 6,8cze-06 2,1 2,2 2,3 2,5 3,8 4,5 5,9
lip-06 - 1,8 2,0 2,1 2,3 2,5 2,9sie-06 - - 1,5 1,8 2,0 2,3 2,6
wrz-06 - - - 1,4 1,8 2,1 2,2paź-06 - - - - 1,5 1,8 2,3
lis-06 - - - - - 1,3 1,5gru-06 - - - - - - 1,3sty-07 2,5 2,6 3,0 3,6 4,1 5,6 6,8
czy kredyty z maja są „lepsze” od kredytów udzielonych w sierpniu?
32© Copyright StatSoft Polska, 2007
data zdarzenie2006/02 zmiana punktu cut-off ze 130 na 125 punktów2006/04 promocja kredytów mieszkaniowych w konkurencyjnym
banku2006/04 zmiana reguł przeglądania wniosków (ręczna ocena
wszystkich wnioskodawców z dochodem > 5 000)2006/09 rozpoczęcie wykorzystywania oceny BIKSco2006/05 akcja marketingowa – list z promocyjną ofertą do klientów,
którzy spłacili kredyt w ostatnich miesiącach2006/07 zmiana oprocentowania kredytów z 10% na 8,5%2006/08 wprowadzenie nowej metodologii oceny zdolności
kredytowej2006/10 zmiana przepisów zewnętrznych dot. ulgi budowlanej2006/11 szkolenia inspektorów kredytowych dotyczące wyłudzeń
kredytów
rejestr zdarzeń mogących mieć wpływ na działanie modelu
33© Copyright StatSoft Polska, 2007
dziękuję za uwagę