Post on 03-Feb-2018
SPEECH ANALYTICS inDIGITAL-ERA MARKETING
dr. sc. Branimir DropuljićData Scientist
e-mail: branimir.dropuljic@in2data.eu
IN2data d. o. o.
Marketing
• Poruka
• Vizualni efekti (predmeti, boje, dinamika)
• Držanje, gestikulacije, mimika
• Zvučni efekti
• Glas ?
The most boring commercial ever!!!https://www.youtube.com/watch?v=_bXw4I6UqZs
Old Spice commercialhttps://www.youtube.com/watch?v=m4HUilNBOKU
Dobar glas daleko se čuje
Što (i koliko) doprinosi utjecaju naše poruke ?– Govor tijela (prvenstveno pozitivne facijalne ekspresije) - 55 %
– Način govora - 38 %
– Riječi koje izgovaramo – 7 %
Što razlikuje dobrog od lošeg prodavača ?– Vokalna raznovrsnost (vs. monotonost)
– Voice quality
– Ugodan glas, dojmljiv, karizmatičan (boja glasa)
Dobar dan, ja sam agent kontaktnog centra i moja vokalna karakteristika govori vam sljedeće …
[monoton (flat) glas] … dosadno mi je i apsolutno me ne interesirato što mi govorite.
[spor i dubok glas] … malo sam spor i ne znam baš što radim.
[brz govor] … ja sam salesman—stereotipni, brzo pričam i neslušam vas.
[naglo ubrzan i glasan govor] … ljut sam i ne baš otvoren za dijalog.
[izgovaranje 140 do 160 riječi u minuti] … profesionalac. Znam ivjerujem u ono što radim.
[lagano užurban glas na početku dijaloga] … neću uzalud trošitivaše vrijeme.
PA JE LI JE LI MOJA SESTRIČNA MOJ ROĐAK ŠUNJEVIĆ PA JESMO LI MI LI KORLEONEOVI
Ilustracija akustičkih i lingvističkihznačajki govora
speech signal
tokens – textual units(n-grams)
speech intensity(energy)
zero-crossings rate(ZCR)
fundamental frequency(F0)
spectral distribution(spectrogram):
• harmonic structure• formant structure
voiced phones voicless phones
Probability: voiced / unvoiced
Primjer: Mishandled callCall Center in the Philippines
https://www.youtube.com/watch?v=yfiGSb1brS0
Mishandled call (Voice quality analysis)
Customer: OK, done.
Customer: Done! Now what?
Agent: OK, please pair it with your phone.
Mishandled call (2D feature space)F0 (speech fundamental frequency) and HFP (high-frequency power)
neutral voiceregion
tense voiceregion
Blokovska struktura sustava
1. F0, intensity, speech rate, spectrogram etc.
2. happiness, sadness, fear, anger etc.
3. valence, arousal
4. stress level
5. whispery voice, breathy, tense, harsh, creaky, falsetto etc.
6. Additionally:1. engagement level2. sentiment analysis3. vocal variety analysis4. satisfaction, enthusiasm5. fatigue etc.
(J. Kane, “Tools for analysing
the voice,” PhD Thesis, 2012)
1
2 3
4
5
Estimacija razine stresa (data mining)- govornik AP (Toastmasters; 8 govora)
• 478 acoustic speech features
– Relief method: selection of 250 most relevant features (input: observation vector)
• Support vector machines: classification (SUD scale 3 classes: low, medium, high stress)
– Accuracy: 92.8%; Recall: Low stress: 92.98%; Mid stress: 95.97%; High stress: 80.74%
• Support vector regression: SUD scale stress level [2, 7]
– Mean squared error: 0.4754
1st sp. 2nd sp. 3rd sp. 4th sp.
6th sp. 7th sp. 8th sp. 9th sp.
all 8 speeches
Primjena – Kontaktni centri /Pozivni centri / CRM
• Unaprjeđenje performansi prodaje.
– Bolji uvid agenta u zainteresiranost korisnika za uslugu.• Identifikacija up-sell i cross-sell mogućnosti.
– Poboljšanje efikasnosti i prodajnih vještina agenata – naprednija obuka.• Analiza ugode glasa agenta, analiza kvalitete glasa, brzine govora, vokalne raznovrsnosti
itd.
• Pomoć agentu u ranom prepoznavanju emocionalnog stanja korisnika.
• Unaprjeđenje korisnikovogiskustva.
Primjena – Reklame
• Efekt/kvaliteta reklame na temelju analize glasa.
– Analize zvučnih efekata.
• Emocije u glasu – mirror neurons – emocionalni impactreklame.
• Post processing glasa – optimizacija željenog efekta.
IN2data Ltd Data Science Company | Marohnićeva 1/1 Croatia, Zagreb | www.in2data.hr