Hi  there,  thank  you  for  coming.  My  name  is  Emily  Greer,  and  I’m  the  co-­‐founder  &  CEO  of  Kongregate,  the  browser  games  plaDorm  and  now  a  mobile  games  publisher  as  well  

1  

That’s  what  I’m  going  to  talk  about  today,  this  is  going  to  be  something  of  a  post-­‐mortem  on  our  first  12  months  as  a  mobile  pubisher  with  the  good,  the  bad,  and  as  much  data  as  I  can  share.      

2  

My  brother,  who  is  my  co-­‐founder,  had  previously  co-­‐founded  a  small  game  studio  and  had  a  bad  experience  with  a  major  publisher  that  failed  to  market  their  game,  then  refused  to  release  the  rights  to  do  the  sequel,  ulMmately  leading  to  the  studio  dissolving.  We  wanted  to  open  up  more  opMons  for  developers  so  they  DIDN’T  need  a  publisher  to  make  money  on  their  game.    There  were  a  ton  of  generic  browser  game  sites  out  there,  with  no  persistence  between  games  and  no  connecMon  beyond  leaderboards  between  players.      7  years  later  we’ve  got  more  than  80,000  games  on  our  plaDorm.  Most  of  our  web  revenue  comes  from  the  400  free-­‐to-­‐play  games,  primarily  MMOs  and  CCGs,  and  the  business  conMnues  to  grow  strongly  despite  dire  predicMons  of  the  death  of  web.  Our  web  traffic  grew  about  30%  in  2013,  and  our  revenue  grew  55%.  GeYng  into  mobile  is  an  expansion  of  our  current  business,  not  a  replacement.  

3  

It’s  not  like  we  just  started  thinking  about  mobile  last  year.  We’ve  been  thinking  about  it  since  the  launch  of  the  iPhone.  But  the  app  store  was  such  a  closed  ecosystem  that  we  didn’t  see  what  sort  of  role  an  social  plaDorm/distributor  could  really  play  without  being  shut  down  by  Apple.  When  Android  came  out  we  thought  there  was  more  of  an  opportunity  since  it  was  a  more  open  system.  So  we  built  a  light  version  of  the  web  plaDorm  for  Android  called  Arcade.  But  it  turned  out  that  Android  isn’t  so  open  to  anything  it  perceives  as  an  alternate  app  store,  and  Arcade  got  yanked  the  first  day  we  launched.  A_er  some  discussion  we  reworked  some  features  and  were  allowed  back  up,  but  we  were  quite  limited  because  we  couldn’t  a)  sell  anything  or  b)  give  the  appearance  of  downloading  games.  UlMmately  those  limitaMons  fundamentally  blocked  any  real  revenue  opportuniMes  for  the  Kongregate  Arcade,  and  we  stopped  development  in  late  2011  when  Adobe  announce  they  were  killing  mobile  Flash.      But  you  learn  as  much  or  more  from  your  failures  as  your  successes  and  we  got  a  lot  out  of  the  experience  of  building  Arcade,  including  a  fair  amount  of  tech.  Some  other  things  we  learned  is  that  despite  the  promises  of  HTML  5  and  Flash  mobile  the  performance  of  browser  games  on  mobile  was  consistently  bad.  On  the  good  side  we  learned  that  we  were  able  to  drive  a  lot  of  traffic  from  Kongregate  &  Gamestop,  and  are  now  up  to  2  million  installs  despite  mediocre  game  experiences  and  zero  UA.  

4  

A_er  we  stopped  development  on  Arcade  we  stepped  back  and  reconsidered  our  strategy.  In  mobile  Apple  &  Google  are  the  game  plaDorms,  but  the  problem  we’ve  always  striven  to  solve  with  our  plaDorm  –  developer  friendly  distribuMon  –  sMll  exists.      Demand  for  games  is  fundamentally  inelasMc,  and  the  race  to  the  bofom  on  pricing  in  the  early  days  of  the  app  store  has  put  developers  in  a  hole  it’s  hard  to  climb  out  of.  Prices  for  paid  games  would  probably  have  to  be  in  the  $9.99-­‐$19.99  range  you  see  in  the  PC  market  for  it  to  be  more  viable    We  know  because  we  got  most  of  it  wrong  when  we  launched  our  kreds  plaDorm  back  in  2008.  But  over  5  years  and  500+  games  doing  F2P  on  our  plaDorm  we’ve  learned  a  lot.  I  expect  a  lot  of  you  have  seen  previous  talks  we’ve  done.    So  who  helps  developers  with  distribuMon  &  moneMzaMon?  A  publisher,  of  course.    

5  

We  announced  a  $10M  publishing  fund  last  February    Since  that’s  what  we  do  well  with  on  the  web  Not  every  game  is  going  to  succeed  but  we  want  every  developer  to  feel  we’ve  treated  them  well  work  with  us  again  To  put  our  skin  in  the  game  along  with  the  dev.  A  publisher  should  share  the  risk  for  it  to  be  a  true  partnership  Cross-­‐promoMon  from  Kongregate  web,  our  parent  company  Gamestop,  and  porDolio  games    

6  

6  of  the  live  games  are  new  Mtles,  but  2  (Lifle  Alchemist  &  Dragon  Storm  Gold)  were  live  games  we’ve  taken  over  in  the  last  couple  of  months.  It’s  about  half  core  Mtles,  including  3  CCGs  (Tyrant,  Bloodrealm,  and  Lifle  Alchemist)  and  half  casual  Mtles  like  Sheep  Happens,  Run,  and  Endless  Boss  Fight.    

7  

Here’s  a  list  of  the  Mtles  we  have  out  and  what  plaDorms  they’re  available  on  –  our  goal  is  to  have  every  game  we  publish  available  on  Kong  web,  iOS,  and  Android  to  maximize  success,  and  several  of  our  iniMal  games  are  properMes  already  successful  on  Kong  web.    Tyrant  and  Sheep  Happens  have  been  out  for  at  least  six  months  on  all  plaDorms,  but  most  of  the  rest  of  the  live  games  are  only  on  one  plaDorm  or  have  launched  very  recently,  usually  both.  Because  of  that  my  talk  is  going  to  concentrate  most  heavily  on  Tyrant,  which  has  been  out  the  longest  and  has  the  best  quality  data.  

8  

Since  I’m  going  to  spend  so  much  of  the  talk  talking  about  Tyrant  I  thought  I’d  give  it  a  larger  introducMon.  Tyrant  is  a  CCG  with  a  grify  sci-­‐fi  theme  built  originally  as  a  Facebook  game  by  Synapse  Games,  a  small  studio  in  Chicago.  They  brought  it  to  Kongregate  three  years  ago  and  it’s  been  one  of  our  most  popular  games  ever  since  with  excepMonal  retenMon  and  good  if  not  great  moneMzaMon.      When  Synapse  started  working  with  us  to  publish  the  mobile  version  moneMzaMon  was  one  of  the  things  we  focused  on  since  we  felt  that  there  was  a  big  opportunity  to  improve  the  depth  of  spend  possible,  mostly  by  adding  in  some  deeper  card  progression  and  fusion  systems,  but  also  by  increasing  the  card  prices.  Those  changes  were  quite  effecMve,  and  though  retenMon  decreased  somewhat  relaMve  to  the  original  version  the  overall  moneMzaMon  improved  significantly.        

9  

It  hit  the  top  60  in  the  gross  ranks  and  has  conMnued  to  grow.  

10  

I  menMoned  paid  UA  in  relaMon  to  scaling  so  let’s  start  with  what  everyone  is  worrying  about.  Here  are  the  CPIs  we  by  paid  by  ad  network  for  Tyrant  in  Decemer:  they  ranged  from  $2-­‐$8,  with  highly  targeted  campaigns  and  video  on  the  high  end.  These  are  prefy  inMmidaMng  #s,  but  with  a  high  LTV  game  like  Tyrant  you  can  sMll  do  it  profitably,  though  not  every  campaign  listed  here  is.  However  with  an  extended  revenue  curve  like  Tyrant  has  (only  ~17%  of  the  6  month  ARPU  comes  in  the  first  month)  it  takes  both  paMence  and  deep  pockets  to  wait  for  the  UA  to  pay  off.    

11  

But  that’s  not  the  whole  story:  CPIs  wary  wildy  by  game.  We’ve  used  just  one  network  to  get  an  apples-­‐to-­‐apples  comparison  there  so  here  our  average  CPIs  since  September  for  most  of  our  games.  Games  in  hard-­‐core,  compeMMve  genres  like  CCGs  and  MMOs  have  much  higher  CPIs  than  more  casual  games,  but  if  the  theme  is  appealing  and/or  the  graphics  are  very  strong  the  price  comes  down  a  lot.  

12  

Now  take  the  daily  #s  here  with  a  grain  of  salt  because  the  sample  size  on  a  lot  of  these  days  is  small  and  there  were  a  lot  of  moving  parts,  but  here  are  the  CPIs  on  Facebook  for  Lionheart  over  the  last  90  days,  all  but  the  last  few  of  which  were  in  test  markets.  As  you  can  see  CPIs  are  both  higher  in  test  markets  than  they  are  globally  and  that  in  each  market  they  start  lower  and  rise  over  Mme.  This  is  a  natural  result  of  saturaMng  a  market  and  a  source,  but  was  exaggerated  in  this  case  because  we  weren’t  tesMng  and  refreshing  creaMves  at  the  rate  that  we  would  for  a  game  in  wide  release.  To  fight  the  CPI  creep  you  need  to  be  tesMng  and  refreshing  creaMves  at  least  every  6  weeks.    

13  

A  lot  of  the  reason  we  can  make  high  CPIs  is  that  we  credit  paid  campaigns  with  some  value  from  organic  users.  In  our  office  there  are  two  camps  on  what  mostly  drives  organics:  one  is  that  paid  installs  are  helping  to  drive  chart  posiMon,  and  chart  posiMon  then  drives  organic  installs,  the  other  that  players  are  telling  their  friends  about  the  game.  I  think  organics  are  a  complicated  phenomenon  with  elements  of  both,  but  long-­‐term  I  think  word  of  mouth  is  more  important,  especially  if  you’re  not  in  the  upper  parts  of  the  charts  that  get  extensive  exposure.    This  chart  shows  our  organic  and  paid  installs  for  Tyrant  on  IOS  since  launch,  along  with  our  retained  DAU,  ie  our  DAU  less  new  installs  to  just  show  returning  users.  Early  on  there’s  a  prefy  clear  relaMon  between  UA  and  organics,  parMcularly  noMceable  where  we  spiked  UA  around  8/28  and  again  in  October.  But  long  term  the  relaMonship  has  gofen  weaker  and  weaker,  to  the  point  now  where  organics  are  higher  than  installs  from  paid  UA,  and  follow  the  pafern  of  our  retained  DAU  much  more  closely.  I  think  that  while  people  are  most  likely  to  share  a  game  when  they  start  playing  it  but  there’s  sMll  some  chance  of  sharing  it  at  any  point  while  they  conMnue  playing  it,  so  the  value  of  paid  UA  to  installs  is  long-­‐term  and  cumulaMve  and  likely  cross-­‐plaDorm,  since  the  friend  of  the  iPhone  user  might  have  an  Android,  and  vice  versa.    Also  changes  in  your  game  can  help  drive  word  of  mouth.    Anyone  who’s  been    

14  

It  was  prefy  clear  from  the  last  chart  that  while  UA  is  important,  the  app  store  feature  we  got  for  Tyrant  along  with  the  Gamestop  promoMon  were  just  as  important  in  building  our  DAU.  The  effect  is  much  more  dramaMc  on  Android  since  we  were  able  to  get  more  and  larger  features  there.      We’ve  been  able  to  secure  features  on  for  almost  all  of  the  games  we  have  live  globally  on  each  plaDorm  so  are  starMng  to  get  a  feel  for  how  many  installs  you  get  from  parMcular  types  of  features.  Apple  generally  features  games  primarily  at  launch,  prefers  indie-­‐feeling  and  more  casual  games,  and  keeps  their  categories/placements  fairly  consistent.  Google  is  more  open  to  non-­‐launch  features  and  refeatures  of  games  with  good  metrics,  which  is  nice,  but  the  feature  value  is  much  more  variable  because  their  arrangement  changes  more.    

15  

And  will  have  similar  qualiMes  as  long  as  the  control  scheme  &  playability  are  similar.  Run  is  a  fast-­‐paced  endless  runner  with  instant  respawn  that’s  been  a  viral  traffic  juggernaut  on  Kongregate  web.  When  it  launched  on  Android  on  December  we  seeded  it  with  some  promoMon  on  Kongregate  and  it  went  viral,  hiYng  1.5M  downloads  without  any  further  markeMng  or  features.  There’s  no  easy  way  to  tell  how  much  was  exisMng  fans  picking  up  the  Mtle  or  new  viral  spread,  though  I  suspect  a  bit  of  both.  But  I  think  that  building  a  fan  base  on  web  and  then  using  that  to  help  launch  a  game  on  mobile  is  a  very  underrated  strategy.  Bloons  Tower  Defense  5  has  been  in  the  top  100  grossing  charts  for  more  than  a  year  with  no  markeMng  fueled  by  the  huge  audience  they  built  for  that  series  on  the  web  over  the  last  5  years.      

16  

Bloodrealm  is  a  CCG  from  Making  Fun,  with  the  same  gameplay  and  features  between  the  web  version  and  mobile  though  with  a  lifle  bit  of  lag.  A_er  a  substanMal  beta  period  on  Kong  (which  allowed  them  to  make  substanMal  improvements  in  metrics)  the  game  was  pushed  broadly  on  both  Kongregate  &  iOS  in  November.  While  day  to  day  there’s  variaMon  the  average  ARPDAU  between  the  two  plaDorms  is  idenMcal  at  $0.19.        Now  there  are  two  caveats  to  this  data:  1)  developers  have  generally  reported  Kongregate  LTVs  as  2-­‐3x  that  of  other  plaDorms  such  as  Facebook,  so  comparison  between  the  FB  version  and  a  mobile  version  would  probably  reflect  a  similar  difference.  2)  ARPDAU  on  its  own  can  be  a  decepMve  stat  because  two  games  with  similar  ARPDAUs  but  different  retenMon  rates  will  have  very  different  LTVs.  In  this  case  however  I  can  confirm  that  the  LTV  by  cohort  is  also  virtually  idenMcal  between  the  two  plaDorms,  and  thus  retenMon  as  well.  And  finally  if  you’re  wondering  why  I’m  using  a  stat  I  don’t  care  for  like  ARPDAU  it’s  because  I  can  safely  talk  about  it  and  downloads  without  revealing  our  total  revenue,  which  as  part  of  a  public  company  I  have  to  be  careful  about,  while  sMll  managing  to  share  relevant  informaMon.  

17  

In  fact  more  than  half  of  our  revenue  is  coming  from  Android  right  now  because  our  top  performing  game,  Tyrant,  has  done  so  well  there.  

18  

Here’s  Tyrant’s  breakdown  of  revenue  by  device.  Overall  our  revenue  is  closer  to  50/50  because  other  games  have  done  befer  on  iOS.  One  factor  besides  the  heavy  Google  features  for  Tyrant  may  be  that  it’s  more  popular  on  phones  than  tablets  for  some  reason,  perhaps  related  to  genre.  Lionheart  TacMcs,  which  we  launched  two  weeks  ago  a_er  an  3  months  in  test  markets,  gets  50-­‐55%  of  it’s  revenue  from  iPad,  and  Tyrant  has  always  ranked  lower  on  the  iPad  grossing  charts  than  the  iPhone.  

19  

So  let’s  dig  into  the  comparaMve  #s  by  plaDorm.  Here’s  a  chart  of  Tyrant’s  ARPDAU  since  global  launch  on  each  plaDorm.  On  average  Android  ARPDAU  runs  10-­‐15%  lower  than  iOS  except  in  the  mid-­‐November  to  early  January  periods  when  there  was  a  big  influx  of  new  traffic  on  Android  from  Google  features.      But  the  overall  #s  are  actually  masking  a  lot,  as  the  traffic  mix  is  quite  different  between  plaDorms.  The  majority  of  our  traffic  on  iOS  has  come  through  paid  user  acquisiMon  and  Gamestop  promoMon  in  North  America  &  Western  Europe  while  on  Android  our  traffic  is  more  geographically  mixed  since  the  majority  came  through  features.      

20  

Here’s  a  breakdown  of  our  installs  and  revenue  by  country.  Installs  are  fairly  diverse  but  revenue  is  completely  dominated  by  English-­‐speaking  countries,  Western  Europe,  and  Scandinavia  though  Russia  is  also  fairly  strong.  

21  

Here  is  the  ARPDAU  by  plaDorm  for  just  US  traffic  –  outside  the  heavy  feature  traffic  periods  Android  ARPDAU  is  very  close  and  o_en  befer  than  iOS.  

22  

In  Germany  Android  ARPDAU  is  usually  befer  than  iOS,  parMcularly  in  the  last  few  months.  

23  

Whereas  the  moneMzaMon  of  our  Russian  Android  traffic  is  quite  low  relaMve  to  both  Russian  iOS  ARPDAU  and  US  or  German  Android  traffic.  

24  

What’s  going  on  becomes  clearer  when  you  dig  into  the  devices.  Most  of  the  German  devices  are  high-­‐end  Samsung  Galaxy  phones,  whereas  Russian  devices  are  mostly  fragmented,  lower-­‐end  devices.  

25  

Devices  are  a  prefy  good  proxy  for  demographics:  people  with  new,  high-­‐end  devices  tend  to  be  more  wealthy  and  willing  to  spend  than  those  with  older  or  cheaper  devices  –  the  iPhone  5s  has2x  the  ARPDAU  of  the  4s.  Children  are  more  likely  to  be  using  iPods.  But  aside  from  the  demographics  of  the  users:  a  lot  of  the  older  devices  may  just  not  play  the  game  very  well.  

26  

Everyone  talks  about  Android  fragmentaMon,  and  it  is  very  real.  But  it’s  been  7  years  since  the  iPhone  launched  and  4  since  the  iPad  and  as  you  can  tell  from  this  chart  there  are  a  lot  of  different  iOS  devices  out  there,  too,  with  different  screen  sizes,  resoluMons,  and  levels  of  processing  power,  and  since  nearly  every  model  sold  well  they’re  sMll  a  lot  of  the  older  devices  in  use.  It’s  easy  to  hit  performance  problem,  crashes  and  instability  from  too  many  high-­‐res  assets  or  3D  effects  on  lower-­‐end  devices.  This  chart  is  the  tutorial  funnel  for  Lionheart  TacMcs  early  in  its  test  market  period.  It’s  a  beauMful  3D  game  that  looks  fabulous  on  reMna  devices  but  as  you  can  see  from  the  chart  had  very  sharp  drop-­‐offs  on  older  iPhones  and  iPod  touches.    The  developer  (Emerald  City  Games)  was  able  to  opMmize  for  the  lower-­‐end  devices  by  using  different  menus  and  textures  there,  and  removing  lightmaps  and  other  visual  effects  during  bafles  but  managing  all  these  different  version  has  been  more  challenging  and  Mme-­‐consuming  than  they  expected.    

27  

While  the  device  fragmentaMon  on  Android  is  worse  than  iOS  the  tools  they  give  you  to  manage  it  are  much,  much  befer.  Detailed  crash  &  freeze  reports  are  extremely  helpful  in  diagnosing  and  fixing  issues  and  if  there  are  devices  that  you  just  can’t  support  you  can  specifically  blacklist  them.  You  can  also  block  downloads  based  on  other  criteria,  such  as  screen  size,  which  is  very  helpful  in  blocking  the  proliferaMon  of  low-­‐end  devices  in  Southeast  Asia.  Being  able  to  push  beta  builds  through  the  developer  console  and  then  test  them  as  if  they  were  live  is  invaluable,  second  only  being  able  to  push  a  build  live  to  users  whenever  you  want  and  need  to.    

28  

Unfortunately  the  google  transacMon  APIs  are  not  as  user  friendly.  A  good  example  is  that  item  prices  are  returned  with  a  currency  symbol  rather  than  a  currency  code,  so  it’s  impossible  to  disMnguish  something  charged  in  US  dollars,  Canadian  dollars,  or  Mexican  pesos,  which  all  use  the  same  sign.  We  work  around  this  by  puYng  the  price  in  the  item  name  and  parsing  it  from  there  but  it’s  a  bit  of  a  pain  to  manage.    What’s  more  than  a  pain  is  that  Google  is  very  slow  to  verify  purchases  and  overzealous  in  their  idenMficaMon  of  fraud,  especially  on  higher-­‐priced  items.  This  causes  customer  frustraMon  and  forces  you  to  ping  their  servers  to  check  all  the  users  transacMons  every  Mme  they  enter  the  game  to  make  sure  they’re  granted  what  they’ve  bought.  

29  

The  receipt  verificaMon  I  menMoned  on  the  last  slide  is  really  important  and  this  graph  shows  why.    It’s  the  first  two  weeks  of  iOS  revenue  reported  by  Sheep  Happens,  a  wacky  endless  runner  we  launched  last  fall,  which  at  the  Mme  was  not  checking  Apple’s  servers  that  a  purchase  was  valid  before  granMng  the  currency  and  many  users  with  jailbroken  phones  took  advantage  of  the  omission.  It  turns  out  when  IAP  is  free  demand  is  very  high!  While  the  game  did  decently  actual  revenue  was  of  course  a  fracMon  of  the  numbers  shown  here.  I  promised  you  real  numbers:  these  are  simultanously  real  and  very  inaccurate.    Nearly  all  of  our  developers  had  some  degree  of  trouble  implemenMng  receipt  verificaMon,  either  in  the  actual  receipt  verificaMon  like  Sheep  Happens  or  incorporaMng  it  correctly  in  analyMcs  calls  and  it  wasted  a  bunch  of  Mme  for  everybody.  We’ve  baked  it  into  our  SDK  now  so  developers  don’t  have  to  deal  with  it  but  it  sMll  causes  legacy  problems  for  some  games,  like  Sheep  Happens,  because  players  aren’t  forced  to  update  so  old  client  versions  conMnue  to  send  bad  data.        

30  

I  did  a  talk  at  GDC  Next  last  fall  about  data  problems  and  piDalls  and  used  this  image  to  talk  about  how  under  the  surface  data  is  o_en  a  steaming  pile  of  corrupted,  inaccurate  shit.  That’s  true  for  web  data  but  it’s  twice  as  true  for  mobile  for  a  several  major  reasons  that  are  interrelated:  connecMon  issues,  client  unreliablity  and  client  fragmentaMon.      On  the  web  there  are  just  a  few  major  clients,  aka  browsers,  that  provide  data  in  a  standardized  way,  events  nearly  always  occur  online  so  you  can  rely  on  your  own  server  for  Mmestamps,  and  your  biggest  headaches  come  from  idenMfying  people  uniquely.      On  mobile  you  need  to  rely  on  the  client  much  more,  both  because  important  events  occur  offline  and  because  the  client  itself  is  crucial  informaMon.  But  even  something  as  basic  as  the  Mmestamp  can  be  reported  very  differently  from  plaDorm  to  device  to  region.  We  recently  had  problems  with  the  data  from  Lionheart  TacMcs  because  a  bunch  of  clients  from  Southeast  Asia  were  reporMng  the  date  in  the  Buddhist  era  calendar,  where  it’s  2557  instead  of  2014  and  if  you  don’t  have  the  right  Mme  for  events  you’re  screwed.  

31  

We’ve  built  our  own  SDK  for  developers  to  use  on  games  we’re  publishing  to  take  advantage  of  Kongregate  logins  and  badges  and  other  features,  and  have  now  rolled  analyMcs  into  it,  but  Swrve,  Leanplum,  Kontagent  and  many  other  commercial  services  will  do  a  much  befer  job  than  you’ll  do  on  your  own.        

32  

It’s  tempMng  to  instrument  your  game  from  the  start  with  everything  you  think  you  might  want  to  know  but  you’re  not  likely  to  get  it  all  right,  it  will  be  overwhelming  to  QA,  and  expensive  to  store,  which  is  especially  frustraMng  if  you  know  it’s  garbage.  We’ve  moved  to  a  staged  approach  with  analyMcs  implementaMons  where  we  have  developers  implement  the  most  crucial  stuff:  player  idenMficaMon,  sessions,  and  transacMons  (crawl).  Once  that  is  QAed  move  on  to  basic  game-­‐specific  informaMon  like  tutorial  compleMon,  level  progress,  win  rates,  and  pvp  parMcipaMon  which  are  the  most  acMonable.  Finally  once  that’s  solid  it’s  Mme  to  run  with  the  really  detailed  informaMon  if  the  game  is  deep  enough  to  warrant  it.  Endless  runners,  ironically,  probably  only  need  crawl/walk  whereas  that  last  stage  of  data  is  very  important  in  most  mulMplayer  games.    

33  

SomeMmes  the  hardest  thing  to  know  is  that  there  IS  a  problem,  but  if  you’re  cross-­‐checking  across  mulMple  sources  they  are  easier  to  find.  We’re  constantly  cross-­‐checking  our  internal  analyMcs  against  AppAnnie  and  Ad-­‐X,  which  we  use  for  markeMng  tracking,  and  will  soon  add  Swrve  which  will  add  another  data  point.      

34  

This  is  something  that  came  up  for  us  in  part  because  of  the  gap  between  a  publisher’s  commitment  to  analyMcs  and  the  developer  –  some  of  our  developers  are  as  into  analyMcs  as  we  are,  but  some  have  been  implemenMng  the  schema  more  for  us  than  for  them.  The  result  is  skimpy  tesMng  on  their  side  and  in  our  hurry  we  haven’t  always  QAed  enough  either.  On  several  games  we  launched  into  test  market  with  fundamentally  bad  data  and  it  was  a  waste  of  both  Mme  and  markeMng  $s.  Everything  doesn’t  have  to  be  perfect  yet  but  you  need  at  least  the  basics  for  retenMon,  revenue,  and  player  progress  tracking.      

35  

A  game  with  bad  data  is  a  black  box.  You  might  have  a  great  game,  and  it  doesn’t  mafer.  More  likely  you  have  a  game  that  could  be  befer  but  without  data  it’s  hard  to  know  even  what  direcMon  to  go.  Now  I’m  not  in  any  way  in  the  school  that  thinks  you  should  be  A/B  tesMng  every  bufon  color  –  for  games  to  have  soul  and  to  innovate  you  need  to  look  beyond  data.  But  data  is  crucial  in  diagnosing  what  is  and  isn’t  working,  generaMng  theories  of  why,  and  eventually  confirming  if  your  changes  had  the  effect  you  expected.      Sheep  Happens  was  a  black  box  –as  you  saw  earlier  the  data  from  the  game  was  quite  messy,  and  we  launched  with  them  only  parMally  fixed  and  a  hazy  view  of  the  metrics  and  issues  with  the  game.  We’ve  done  our  best  guessing  at  what  needed  improvement  but  with  so  much  corrupt  data  in  the  system  it’s  difficult  to  tell  if  it  has  had  much  effect.  Unfortunately  the  answer  is  probably  not.      

36  

And  you  can  really  improve  your  game  over  Mme.  Here’s  Tyrant’s  ARPDAU  chart  again  which  you  can  see  increased  dramaMcally  over  Mme  even  with  conMnuing  influxes  of  new  traffic.  Since  they  launched  last  August  they’ve  pushed  nearly  20  builds,  nearly  all  with  various  fixes  for  UI  issues,  performance  across  devices,  and  bug  along  with  constant  tweaking  of  the  matchmaking  algorithm,  all  working  to  improve  the  base  player  experience.      Along  with  that  every  month  or  so  Synapse  has  done  a  release  of  a  major  new  system  to  increase  the  depth  of  the  game,  parMcularly  the  late  game.  Those  features  don’t  necessarily  drive  moneMzaMon  themselves,  but  they  increase  player  engagement  and  retenMon  without  which  there  can  be  no  moneMzaMon.    What  drives  the  revenue  spikes  you  see  is  the  regular  release  of  new  content,  parMcularly  of  limited  Mme  events  with  rewards,  which  are  Med  to  the  release  of  new  gacha  boxes  and  occasional  special  offers.  

37  

Last  summer  when  we  first  started  launching  games  we  were  expecMng  to  spend  4,  maybe  6  weeks  in  test  markets  and  we  pushed  our  first  two  games,  Tyrant  and  Sheep  Happens  in  that  Mme  frame.  We  had  some  internal  deadlines  that  we  needed  to  hit  –  the  games  needed  to  be  out  on  both  iOS  &  Android  by  the  beginning  of  September  to  get  significant  promoMon  from  Gamestop  because  once  GTA  V  and  the  new  consoles  started  launching  there  wouldn’t  be  an  opportunity  again  unMl  a_er  Christmas.      For  Tyrant  this  was  the  right  call  –  while  the  game  was  missing  some  features  that  we  knew  were  going  to  be  important  long-­‐term,  like  guilds,  and  that  the  UI  and  matchmaking  needed  more  tweaking  the  game  was  in  fundamentally  good  shape  with  solid  data  and  metrics.  We  didn’t  get  the  fullest  possible  value  from  our  early  Apple  feature  but  that  was  more  than  made  up  for  by  the  value  we  got  from  Gamestop  promoMon.      But  Sheep  Happens  was  a  black  box  that  wasn’t  ready.  The  game  did  okay  anyway,  and  has  been  profitable  for  both  us  and  the  developer,  but  the  value  of  the  heavy  Apple  features  we  secured  for  it  at  launch  were  likely  much,  much  less  than  they  could  have  been.      Holding  a  game  longer  in  test  markets  definitely  has  some  costs,  and  the  pros  and  cons  need  to  be  weighed  carefully.  If  you’re  not  going  to  get  a  launch  feature  or    

38  

Staying  longer  in  test  markets  fits  in  with  something  I  like  to  say,  which  is  that  things  are  a  marathon,  not  a  sprint.  It’s  definitely  true  that  free-­‐to-­‐play  games  are  a  marathon.  Good  games  can  grow  and  maintain  revenue  for  years,  as  long  as  the  systems  keep  the  players  engaged  and  the  developer  can  keep  adding  content  and  events.  Tyrant  started  solid,  but  a  lifle  slow,  and  at  launch  both  Synapse  and  us  were  a  lifle  disappointed  since  we  thought  the  game  was  capable  of  more.  Over  8  months  the  game  has  come  to  meet  and  exceed  our  expectaMons,  hiYng  top  50  grossing  in  the  US  iPhone  charts  just  last  week.  A  crucial  part  of  that  long-­‐term  growth  story  is  the  relentless  pace  at  which  Synapse  worked  pushing  content  and  changes,  making  mistakes,  learning  from  them,  fixing  them,  pushing  for  the  kind  of  LTVs  that  make  paid  UA  profitable,  even  for  a  niche  game  with  a  grify  theme.  You  can’t  sprint  forever,  and  since  January  Synapse  has  sefled  into  a  steadier,  more  sustainable  rhythm  but  the  type  of  drive  and  speed  they’ve  shown  is  something  we  now  look  for  in  every  team  we  sign,  because  the  rate  at  which  you  improve  a  game  mafers  as  much  to  its  ulMmate  success  as  the  iniMal  quality.  

39  

40