Research:Editor milestones

A number of studies have suggested that barnstars and other onwiki rewards motivate Wikipedians to contribute. However, due to the size of the editing community on English Wikipedia, many editors' good work goes unnoticed and therefore unrewarded. To learn more about the population of editors who are on the verge of becoming "established" Wikipedians, and to test the effects of personalized recognition on editing behavior, in April 2012 we began tracking and thanking all users who reach their 1,000th edit to articles on English Wikipedia.

Using a slave database of the English Wikipedia, we began logging the number of times that users on English Wikipedia made their 1,000th edit to the article namespace (including deleted revisions). We then built an analytics dashboard that automatically updates with the username and timestamp of each 1,000 edit event.

We chose 1,000 edits somewhat arbitrarily, with the rationale that...

• it is a significant contribution to the encyclopedia, and therefore inherently praiseworthy
• it is highly unlikely to be a milestone reached by vandals, spammers, or other overtly disruptive editors
• it suggests a possible "power-user" or very highly active Wikipedian in the making

Starting on April 5, 2012, we began thanking each person who reached this milestone with a personalized barnstar, using WikiLove.

Currently, about 5-6 Wikipedians cross the 1,000-edit threshold each day. In our first month of performing this experiment, we thanked about 160 editors and analyzed their contribution history to find when they began editing and what subjects they edited most frequently. We then analyzed their editing activity in the 3-day period after receiving a barnstar for reaching their 1,000-edit milestone.

In addition to what they were currently editing, we also looked at what year these Wikipedians made their first contributions. What we found was that these editors roughly fell into two camps: slow and steady editors who began contributing five or six years ago and accumulated their 1,000 edits over a long period of time, and new users who were among the most active Wikipedians in their first few months of editing and quickly ratcheted up their 1,000 edits.

As demonstrated by the chart to the right, the new Wikipedians outnumber the old – 59% made their first edit in 2009 or later, out of 158 editors to date.

In order to write a personal thank-you message to each editor, we looked at their user pages and contribution histories to determine what subjects they had been most actively working on. What we found was that many of these Wikipedians were intensely focused on one topic or editing activity. The chart on the right illustrates the most common topics and the percentage of users whose edits mostly fall into each topic. These topics were:

• Sports (e.g., football teams, car races, rugby players)
• Music (.e.g., songs, albums, composers)
• Milhist (e.g., battles, military technology)
• Aviation (e.g., airports, air lines)
• Video games
• TV/film/radio
• Bios (e.g., biographies of people, living or dead, not necessarily connected by any particular topic)
• Local culture (e.g., notable places, events, and cultural phenomena in the city/country where the editor is from)
• World culture (e.g., notable places, events, and cultural phenomena in different parts of the world, not where the editor is from)
• Math/science (e.g., theorems, astronomy)
• Technical gnoming (e.g., copyediting, disambiguating/repairing links, adding navboxes)
• Lit/comics (e.g., novels, manga, comic books)
• Vandal-fighting/patrolling
• Other/varied (e.g., a narrow topic not covered above, such as solar power, or diverse editing activity in many subject areas)

Somewhat surprisingly, by far the most common topic of editing for this sample of users was local culture. Whether they self-identified as being from Turkey, Bosnia-Herzegovina, China, the U.S., or the Philippines, these editors tended to create and/or improve articles about their home town, state, or country.

The other common area of interest for this sample of users was popular culture – in the form of television, film, sports, and music. It is also interesting to note that some of the topics covered by the more active and successful WikiProjects, such as military history, aviation, and biology, were either very rare or not found at all in this sample.

• Mean # of edits in 3-day period after 1k event per user: 49.85
• Mean # of blocks in 3-day period after 1k event per user: 0.01 (1%)
• Mean # of warnings in 3-day period after 1k event per user: 0.24 (24%; however, a few users were warned several times)

From the low rate of blocks and warnings and the relatively large number of edits in the 48 hours after these editors are given a barnstar, we can assume this class of editors continues to be of high quality. However, in order to determine whether a barnstar was the cause of an increase or decrease in activity, a control group must be developed.

Here's a supplemental analysis comparing the prevalence of edits over three-day periods, both before and immediately after the barnstar was delivered:

http://meta.wikimedia.org/wiki/User:Renklauf/Barnstarred_Editors_Analyses

Because we are finding patterns in editor behavior that may suggest that thanking editors (via barnstar) for reaching milestones may have a significant impact on their editing, we will iterate on this research by randomly assigning users to a control (no barnstar) and test (barnstar) group. We will then analyze their contributions to determine the following:

Control group

• Average number of contributions per user in the 0-3 day period before 1k edit timestamp
• Average number of contributions per user in the 0-3 day period after 1k edit timestamp
• Averages for new editors (2009-2012) vs old editors (2002-2008)

Test group

• Average number of contributions per user in the 0-3 day period before barnstar timestamp
• Average number of contributions per user in the 0-3 day period after barnstar timestamp
• Average number of contributions per user in the 0-3 day period before 1k edit timestamp
• Average number of contributions per user in the 0-3 day period after 1k edit timestamp (previous month's cohort was 49.85)
• Averages for new editors (2009-2012) vs old editors (2002-2008)

Control group

• Average number of contributions per user in the 0-30 day period before 1k edit timestamp
• Average number of contributions per user in the 0-30 day period after 1k edit timestamp

Test group

• Average number of contributions per user in the 0-30 day period before barnstar timestamp
• Average number of contributions per user in the 0-30 day period after barnstar timestamp
• Average number of contributions per user in the 0-30 day period before 1k edit timestamp
• Average number of contributions per user in the 0-30 day period after 1k edit timestamp

This experiment concerns the measurement of revision activity in all namespaces in the context of the following events:

• 1K Event - the time at which an editor reaches their 1000th edit
• Barnstar Event - the time at which the 1K editor received a Barnstar from WMF recognizing their accomplishment of 1K edits

Below is the list of control users and the timestamp of their 1K event:

ViriiK	2012年05月15日 02:58:25
Treydavis3	2012年05月15日 06:00:16
Listmeister	2012年05月15日 21:12:27
Mike Schwartz	2012年05月16日 06:58:17
Horhey420	2012年05月17日 19:15:05
Adjwilley	2012年05月18日 04:58:54
Loginnigol	2012年05月18日 11:39:58
Olaff	2012年05月18日 16:47:09
Shanghainese.ua	2012年05月18日 20:13:15
Smokeyfire	2012年05月19日 00:53:09
Wikimace08	2012年05月19日 21:35:27
Acsian88	2012年05月20日 02:31:29
Jackl	2012年05月20日 08:12:00
DonBarton	2012年05月20日 19:57:03
Abh87	2012年05月20日 21:03:52
AzseicsoK	2012年05月21日 01:20:31
Bazuz	2012年05月21日 12:08:57
Inscription	2012年05月21日 16:41:46
Ttenchantr	2012年05月21日 18:32:56
Dzlinker	2012年05月21日 22:48:32
Kwesiidun91	2012年05月22日 02:30:50
Dougsim	2012年05月22日 12:39:56
Gwen-chan	2012年05月22日 15:37:50
Room429	2012年05月22日 18:01:19
Ekin	2012年05月23日 12:09:20
JoelWhy	2012年05月23日 22:00:59
M0rphzone	2012年05月24日 01:46:09
KarlcmanRockets	2012年05月24日 11:48:10
Ich	2012年05月24日 16:52:41
Tyrannus Mundi	2012年05月25日 18:40:27
Callanecc	2012年05月26日 02:21:46
BrightStarSky	2012年05月26日 05:22:40
Allkayloh	2012年05月26日 13:46:11
Paulika1995	2012年05月27日 11:43:46
Trafalk09	2012年05月27日 20:52:31
TRLIJC19	2012年05月28日 04:17:44
PaulWicks	2012年05月28日 12:34:14
Beefyt	2012年05月29日 06:02:32
Draganmkd	2012年05月29日 11:50:16
MCTales	2012年05月29日 23:43:51
Tyrogthekreeper	2012年05月30日 09:20:44
JmKissme	2012年05月30日 16:41:03
Soulboost	2012年05月31日 00:15:19
Gbawden	2012年05月31日 13:06:14
Meagles111	2012年06月01日 03:33:38
EllsworthSK	2012年06月01日 20:39:15
SecretStoryStyle	2012年06月01日 22:15:47
MaxPayne888	2012年06月03日 03:04:23
Healy10	2012年06月03日 14:20:28
Mhygelle	2012年06月03日 18:12:41
Sorie	2012年06月03日 22:32:59
Preacher lad	2012年06月04日 08:25:58
Dark Silver Crow	2012年06月04日 15:49:10
Zhinz	2012年06月05日 02:35:28
Karin127	2012年06月05日 10:17:46
Hornymanatee	2012年06月06日 10:31:02
FoCuSandLeArN	2012年06月06日 15:13:28
Anarchangel	2012年06月06日 23:33:58
Anir1uph	2012年06月07日 17:26:18
M samadi	2012年06月08日 11:00:34
Spparky	2012年06月08日 13:42:23
Writerchic99	2012年06月08日 21:35:45
Rudyindarto	2012年06月09日 07:17:40
Bar Code Symmetry	2012年06月09日 15:49:14
Tchaliburton	2012年06月09日 22:30:18
Loupiotte	2012年06月10日 00:47:59
Solarra	2012年06月10日 16:03:34
Samil20	2012年06月11日 05:41:41
Lovysinghal	2012年06月12日 08:59:57
Treki	2012年06月12日 13:25:16

Below is the list of test group editors and the timestamp of their 1K event:

3210	2012年05月15日 02:24:56
Werothegreat	2012年05月15日 15:33:56
Tholme	2012年05月15日 20:31:59
Yutsi	2012年05月15日 22:06:04
Andy4789	2012年05月17日 21:00:10
Redhanker	2012年05月18日 07:16:18
Nikpapag	2012年05月18日 12:29:32
Yachty4000	2012年05月18日 20:18:23
Anderch	2012年05月19日 09:57:31
BuzyBody	2012年05月20日 00:17:06
Thepidding	2012年05月20日 03:42:15
Danrok	2012年05月20日 13:54:27
Rui78901	2012年05月20日 21:01:46
Peetlesnumber1	2012年05月20日 21:35:15
Riley Huntley	2012年05月21日 03:35:55
Alborzagros	2012年05月21日 12:27:12
Yahnatan	2012年05月22日 00:38:41
Jonadin93	2012年05月22日 02:58:11
Jprg1966	2012年05月22日 14:51:18
Editfromwithout	2012年05月22日 22:41:12
Coal town guy	2012年05月23日 14:05:36
Sir Wrestler	2012年05月23日 23:07:22
Treyvo	2012年05月24日 04:20:56
JZCL	2012年05月24日 16:43:38
Idiotchalk	2012年05月24日 17:18:49
JeanneMish	2012年05月25日 13:23:52
Entity of the Void	2012年05月25日 23:40:58
EricEnfermero	2012年05月26日 02:55:56
Xtian06	2012年05月26日 12:23:46
Gylatshalit	2012年05月26日 19:19:51
EagerToddler39	2012年05月27日 03:53:25
Devite	2012年05月27日 15:56:02
Ericleb01	2012年05月28日 01:14:50
Jpaulm	2012年05月28日 22:45:17
Jonathan A Jones	2012年05月29日 07:15:54
Phileasson	2012年05月29日 11:59:18
Dorje108	2012年05月30日 02:56:49
Welshsocialist	2012年05月30日 22:21:45
Tthaas	2012年05月31日 00:16:20
TheSpecialUser	2012年05月31日 16:35:17
Ashok2102	2012年05月31日 16:49:22
David1217	2012年06月01日 03:14:30
DeXXus	2012年06月01日 07:56:18
Jayven09maddie	2012年06月01日 18:28:31
Russ Jericho	2012年06月01日 20:43:16
Witger	2012年06月02日 09:29:45
Rytyho usa	2012年06月02日 22:42:41
Narcis90	2012年06月03日 13:15:09
SolomanMcKenzie	2012年06月03日 16:29:07
Cloptonson	2012年06月03日 20:24:21
Fylbecatulous	2012年06月04日 02:08:04
TuneyLoon	2012年06月04日 20:17:31
Jfd34	2012年06月05日 03:31:44
RJR3333	2012年06月05日 21:31:08
Xxhopingtearsxx	2012年06月06日 22:14:34
Boseritwik	2012年06月07日 05:35:46
Total-MAdMaN	2012年06月07日 22:41:52
FallenAngelII	2012年06月08日 00:12:20
Sidsahu	2012年06月08日 12:50:07
Carcamagnu	2012年06月09日 06:41:29
Run34	2012年06月09日 20:07:35
CodeCat	2012年06月09日 22:57:26
TheTimesAreAChanging	2012年06月10日 22:29:30
VarietyPerson	2012年06月11日 14:24:18
Bearpatch	2012年06月12日 00:47:29

Below is the list of test group editors and the timestamp of their Barnstar event:

Werothegreat	2012年05月16日 16:33:00
3210	2012年05月16日 17:01:00
Yutsi	2012年05月16日 17:08:00
Tholme	2012年05月16日 18:00:00
Andy4789	2012年05月18日 18:07:00
Redhanker	2012年05月18日 18:10:00
Nikpapag	2012年05月18日 18:17:00
Alborzagros	2012年05月21日 19:15:00
Riley Huntley	2012年05月21日 05:40:00
Peetlesnumber1	2012年05月21日 19:28:00
Rui78901	2012年05月21日 19:59:00
Danrok	2012年05月21日 20:02:00
Thepidding	2012年05月21日 20:05:00
BuzyBody	2012年05月21日 20:10:00
Anderch	2012年05月21日 20:15:00
Yachty4000	2012年05月21日 20:18:00
Yahnatan	2012年05月22日 15:58:00
Jonadin93	2012年05月22日 16:02:00
Jprg1966	2012年05月22日 06:08:00
Idiotchalk	2012年05月24日 22:30:00
JZCL	2012年05月24日 22:32:00
Treyvo	2012年05月24日 22:35:00
Sir Wrestler	2012年05月24日 22:37:00
Coal town guy	2012年05月24日 22:41:00
Editfromwithout	2012年05月24日 22:44:00
Tow	2012年05月30日 18:46:00
Cyan Gardevoir	2012年05月30日 18:48:00
JeanneMish	2012年05月30日 18:53:00
Entity of the Void	2012年05月30日 19:02:00
EricEnfermero	2012年05月30日 19:06:00
Xtian06	2012年05月30日 19:19:00
Gylatshalit	2012年05月30日 19:22:00
EagerToddler39	2012年05月30日 19:58:00
Devite	2012年05月30日 20:18:00
Ericleb01	2012年05月30日 20:23:00
Jpaulm	2012年05月30日 20:49:00
Jonathan A Jones	2012年05月30日 23:19:00
Phileasson	2012年05月30日 23:41:00
Dorje108	2012年05月30日 23:44:00
Welshsocialist	2012年05月31日 21:54:00
Tthaas	2012年05月31日 22:11:00
TheSpecialUser	2012年05月31日 22:15:00
Ashok2102	2012年06月01日 22:20:00
David1217	2012年06月01日 22:26:00
DeXXus	2012年06月01日 22:30:00
Jayven09maddie	2012年06月01日 22:34:00
Russ Jericho	2012年06月01日 22:43:00
Witger	2012年06月04日 19:12:00
Rytyho usa	2012年06月04日 19:16:00
Narcis90	2012年06月04日 19:19:00
SolomanMcKenzie	2012年06月12日 17:45:00
Cloptonson	2012年06月04日 19:29:00
Fylbecatulous	2012年06月04日 19:48:00
TuneyLoon	2012年06月05日 18:50:00
Jfd34	2012年06月05日 18:59:00
RJR3333	2012年06月07日 18:42:00
Xxhopingtearsxx	2012年06月07日 18:48:00
Boseritwik	2012年06月07日 18:51:00
Total-MAdMaN	2012年06月08日 18:47:00
FallenAngelII	2012年06月08日 18:52:00
Sidsahu	2012年06月08日 18:55:00
Carcamagnu	2012年06月11日 20:03:00
Mogism	2012年06月11日 20:06:00
Run34	2012年06月11日 20:08:00
CodeCat	2012年06月11日 20:13:00
TheTimesAreAChanging	2012年06月11日 22:25:00
VarietyPerson	2012年06月11日 22:28:00
Bearpatch	2012年06月12日 23:50:00

These are preliminary results showing a comparison of the revision activity in the 0-3 day period after (1) the test 1K event and control 1K event and (2) the test barnstar event and control 1K event. The results are inconclusive.

data: metrics_1K_test_all$revisions_after_0_3 and metrics_1K_control_all$revisions_after_0_3 
t = 0.0575, df = 132.695, p-value = 0.9542
alternative hypothesis: true difference in means is not equal to 0 
95 percent confidence interval:
 -44.85078 47.53869 
sample estimates:
mean of x mean of y 
 69.81538 68.47143 

data: metrics_bStar_test_all$revisions_after_0_3 and metrics_1K_control_all$revisions_after_0_3 
t = -0.4677, df = 121.68, p-value = 0.6409
alternative hypothesis: true difference in means is not equal to 0 
95 percent confidence interval:
 -51.10443 31.57334 
sample estimates:
mean of x mean of y 
 58.70588 68.47143 

In addition to measuring the revision activity of the editors in this experiment in 0-3 day period after the events the revision activity in the 0-3 day period before the event was also measured:

Edit Diff = edits_0-3_days_after - edits_0-3_days_before

Below are the results of the T-tests over this metric, which yielded no significant results between the groups.

data: metrics_1K_test_all$edits_diff and metrics_1K_control_all$edits_diff 
t = 1.2269, df = 101.934, p-value = 0.2227
alternative hypothesis: true difference in means is not equal to 0 
95 percent confidence interval:
 -17.85703 75.77571 
sample estimates:
 mean of x mean of y 
 7.430769 -21.528571 

data: metrics_bstar_test_all$edits_diff and metrics_1K_control_all$edits_diff 
t = 0.2081, df = 96.076, p-value = 0.8356
alternative hypothesis: true difference in means is not equal to 0 
95 percent confidence interval:
 -41.04367 50.65964 
sample estimates:
mean of x mean of y 
-16.72059 -21.52857 

The results when observing the 30 day period after the barnstarring yielded the same results as the short-term effect. That is, no significant difference in editing behavior was observed among the two groups.

	Welch Two Sample t-test
data: metrics_1K_test_all$edits_30 and metrics_1K_control_all$edits_30 
t = -0.1107, df = 124.506, p-value = 0.912
alternative hypothesis: true difference in means is not equal to 0 
95 percent confidence interval:
 -260.2132 232.6440 
sample estimates:
mean of x mean of y 
 421.4154 435.2000 

	Welch Two Sample t-test
data: metrics_bstar_test_all$edits_30 and metrics_1K_control_all$edits_30 
t = 0.5423, df = 133.347, p-value = 0.5885
alternative hypothesis: true difference in means is not equal to 0 
95 percent confidence interval:
 -217.9296 382.5590 
sample estimates:
mean of x mean of y 
 517.5147 435.2000 

Full data set is available here.

Being awarded a barnstar for making 1,000 edit to the article namespace does not appear to have a significant effect on a English Wikipedians' short-term or long-term editing activity. More work may be necessary to determine whether a different barnstar metric (e.g., more or less than 1,000 edits, a certain number of edits in a successive editing session, etc.) or a different awarding treatment (e.g., community-awarded barnstars, rather than staff-awarded) produces an effect.

Impact on other experiments

These results may inform post-registration activities we experiment with in our account creation UX work. If editors likely to be very productive in the encyclopedia edit either base on their geographic location, cultural heritage, and hobbies, then suggesting this may be fruitful. It may also tie into the work proposed on structured profiles that can be used to suggest articles to edit and WikiProjects to join.

Other research questions

1. Previous research efforts looked at dates 87-90 pre-milestone. We should look at the average contributions per user in the 0-3 day period 90 days before the barnstar, to account for any possible seasonal effects.
2. Review whether the findings from Aaron Shaw's and Mako's study on barnstars holds true. (They found that a burst of activity could usually be observed in editors' contribution histories immediately before receiving a barnstar, followed by a decline in activity.)
3. Does receiving personalized recognition instill a stronger community sense in new Wikipedians? Analyze userpage creation and edits in the non-article space for test and control groups.
4. How does the status of the giver affect the outcome of the barnstar? Perform another month-long A/B test, asking members of the community to award barnstars to the test group and continue staff barnstarring as a control.
5. How has the editing pattern of 1k editors changed in the past year? Pull a list of editors who achieved the 1k milestone 1 year ago and compare to control group. Analyze whether the cohort graph looks the same but shifted back one year (e.g., did most people who reached 1k edits last year begin editing in 2008?)

Other A/B test ideas

• Test sending the barnstar from a volunteer account rather than a WMF one. (Shaw and Mako's study suggested that the sender of a barnstar matters as much as the barnstar itself, so a thank-you message from another editor may have a different effect than one from a staff member.)
• Test removing mention of 1,000 edits and only including a personalized thank-you message. (Does priming with edit count create editcountitis, does it lead to more/less contributions than no priming?)
• Test simple talkpage message vs WikiLove. (Any kind of talk page activity might lead to a short-term bump in contributions, so we should see whether it matters what the message is.)

• Research:Post-edit feedback#Experiment #2 - Historical Feedback - providing specific feedback when users reach 1, 10, 50, 100-edit milestone
• /Lifecycle - more analysis on the lifecycle and editing velocity of the users in the sample

• Completed research projects