A Tale of Two SitesAn Explora7ve Study of the Design and Evalua7on of Social Network Sites 

Sameer Ahuja

1

OverviewInstant Background

2

Building soCware that is deployed to a community is different from building soCware that is deployed to 

individual users

3

[...] the success and growth of social so5ware stems from the con7nuous tango between technological advancement and incremental user par3cipa3on, and the net product is neither cleanly social nor technological in nature.

‐ boyd

technological advancementincremental user par3cipa3on

4

technological advancementincremental user par3cipa3on

4

(features)

5

((features) + sociological effects)

6

So when we design, we need to think about the sociological effects we are hoping to achieve.

7

And when we evaluate, we need to see if we are achieving those effects.

8

In this thesis we specifically look at the problem of forma&ve evalua7on of social network sites. 

9

Forma7ve?

10

When the cook tastes the soup, thats forma7ve; when the guests taste the soup, thats summa7ve.

11

But why do it, and why do it at a forma7ve stage?

12

To find fundamental issues and glaring omissions in the support of social ac7ons on the social network site

But why do it, and why do it at a forma7ve stage?

12

To find fundamental issues and glaring omissions in the support of social ac7ons on the social network site

To reduce the risks involved in evalua7ng only when the soCware is in the wild 

But why do it, and why do it at a forma7ve stage?

12

A few defini7ons

13

Social Network Sites

14

(1) construct a public or semi‐public profile within a bounded system

(2) ar7culate a list of other users with whom they share a connec7on 

(3) view and traverse their list of connec7ons and those made by others within a system

‐boyd, Ellison

We define social network sites as web‐based services that allow individuals to 

15

16

Social Networking Sites

16

Social Affordance

17

Social Affordance

The quality of ar7facts in any space physical or virtual, which invite and facilitate social interac7on among the par7cipants in that space

‐ Howarth, Pyla, Yost, and Haciahmetoglu

18

Social Affordance

The quality of ar7facts in any space physical or virtual, which invite and facilitate social interac7on among the par7cipants in that space

‐ Howarth, Pyla, Yost, and Haciahmetoglu

18

Social Affordance

The quality of ar7facts in any space physical or virtual, which invite and facilitate social ac7ons among the par7cipants in that space

19

Social Ac7ons

We define social ac7ons in the context of social network sites as ac7ons that affect the social capital of the community using the site

20

Social Capital

We use James Coleman’s defini7on, which suggests that social capital is anything that facilitates individual or collec7ve ac7on, generated by networks of rela7onships, reciprocity, trust, and social norms.

21

Colloki /Slurp! CATspaceh[p://slurp.cs.vt.edu h[p://apps.facebook.com/catspace

22

Colloki

• Centered around local delibera7on

• Aggrega7on and dissemina7on of content from and to distributed sources

• Uses a set of social and organiza7onal features to promote engagement

23

CATspace

• Computer Science Assignment Repository

• Bring instructors from different ins7tu7ons into a common plaborm (Facebook)

• Leverage already exis7ng social connec7ons on Facebook

• Use social features to promote collabora7on and itera7on over assignments

24

25

Social Ac7ons

26

Social Browsing

“finding new people”

27

Social Search

“finding more about people you know”

28

Interac7on

29

Sharing content

30

Collabora7on

31

Features

32

TaggingSocial Browsing Social Search Interac7on Sharing Content Collabora7on

High High High Good

33

Ac7vity StreamsSocial Browsing Social Search Interac7on Sharing Content Collabora7on

High High

34

User ProfilesSocial Browsing Social Search Interac7on Sharing Content Collabora7on

High High

35

CommentsSocial Browsing Social Search Interac7on Sharing Content Collabora7on

Good Good High Good

36

Ra7ngs / VotesSocial Browsing Social Search Interac7on Sharing Content Collabora7on

Good

37

Design Expecta7ons

Social Browsing Social Search Interac7on Sharing Content Collabora7on

Tagging High High High Good

Ac7vity Streams

High High

Profiles High High

Comments Good Good High Good

Ra7ng/Votes Good

38

Study10 Par7cipants

Graduate Students at Virginia Tech

Colloki: 5 par7cipantsGraduate Students in Departments 

other than Computer Science at Virginia Tech

CATspace: 5 par7cipantsGraduate Students in Department of Computer Science at Virginia Tech

39

Protocol

• Pre‐Evalua7on Survey on usage of SNS, demographics

• 5‐Minute Video demo of the soCware

• Set of tasks to perform on the soCware

• Post‐Evalua7on Ques7onnaire

40

Simulated Community

• Derived from posts and ac7vity of alpha‐stage users, represented ‘expected’ use.

• First fold rule

41

Results

42

Overall Usability

43

Overall Usability

43

Overall Usability

43

Overall Usability

44

Overall Usability

44

Overall Usability

44

“The Tagging thing was odd. I had to click on a tag which took me to a page that had all posts with the tag. Then from there I had to click on one of the posts, then go to its author and see if he or she had that tag in the tag cloud. That’s cumbersome.”

‐ Colloki Par7cipant

45

“I think this profile looks a liFle empty. You can have a list of users with similar stuff here, kindof like facebook friend list. Actually, you could show the person's facebook friends (who are on CATspace) right here.”

‐ CATspace Par7cipant

46

Tagging

47

Tagging

47

Ac7vity Streams

48

Ac7vity Streams

48

Ac7vity Streams

48

Ac7vity Streams

49

Ac7vity Streams

49

Ac7vity Streams

49

Ac7vity Streams

49

Which one of the five topics listed on the homepage do you think has been the most ac7ve recently amongst the slurp community? 

Colloki

Which is the latest assignment that he (Steve Edwards) has published? 

CATspace

50

In almost all cases in CATspace (And all cases in Colloki), par7cipants u7lized other user interface 

elements to find their answers.

51

52

User Profiles

53

User Profiles

53

User Profiles

53

User Profiles

53

“[...] but where can I leave him a message? Do I have to go to the Facebook profile for that? How do I go to the Facebook profile from here?”

‐ CATspace Par7cipant

54

Comments

55

Ra7ngs/Votes

56

Ra7ngs/Votes

56

Ra7ngs/Votes

56

Ra7ngs/Votes

56

Ra7ngs/Votes

56

Ra7ngs/Votes

56

Ra7ngs/Votes

?

56

Discussion

• Collabora7on ac7on didn’t have suppor7ng tasks

• Could have broadened the number of ac7ons, and custom‐chosen ac7ons for features

57

Future Work

• Valida7ng / Evalua7ng user responses to actual usage

• Broader taxonomy of ac7ons

• Figuring out how to do this without overloading the par7cipants with ques7ons

58

Thank You!Q & A

59