Questions on Experimentation

Written by Guido Jansen in
September 2017

How would you design the experiment itself? What would you define as a good testing process / culture? What are the key metrics you’d pay attention to? How will you define success?

Sometimes I get questions from people about my work. If relevant to a wider audience, I also post the answers here :)

A good testing process involves all stakeholders, is structured and facilitates an easy flow of the experiments from ideation to reporting. At Euroflorist I implemented an online tool to which everyone has access and involves them in the experiment process. It also provides a clear overview of all past research, learnings and reports making it an essential database of our customer knowledge.

Roughly the experiment process follows these stages:

Idea → Hypothesis → Complete test plan → Designing → Development → Q&A → Approval → Live → Analysis → Report.

See also slides 48–54 In my presentation on building an optimization dream team.

Key metrics for experiments will mainly follow company wide KPIs and the micro conversions that lead to these main KPIs:

  • Immediate goal: Does the user reach the “next step”?
  • Session goal: Does the user end up using the product/ creating an account?
  • Lifetime goal: Does the user return X times to use the product (at least until the “aha” moment). How many new users start using the product through this user?

Important elements for a good optimization culture are:

  • A broad data literacy
  • Leadership & trust
  • An inquisitive, questioning culture
  • Iterative, learning culture
  • Bottom-up
  • Share learnings widely
  • Clear north star goal

For more on culture, see my presentation on Optimization Culture.

In the end success will be determined in how much we contribute to the main goal(s) of the company.

Ideas on the above? Let me know in the comments!

Recent posts
Data Science voor maatschappelijke vraagstukken
Data Science voor maatschappelijke vraagstukken

Deze aflevering was vorig jaar al opgenomen maar juist in deze tijden zeer relevant: Hoe Data Science in te zetten voor maatschappelijke vraagstukken. Marieke Schulte is Data Science consultant bij Digital Power. Daarvoor heeft ze de Master Public Policy and Human Development in Maastricht gedaan en tijdens haar studie een passie ontwikkeld voor het inzetten van data voor maatschappelijke vraagstukken. Wellicht komt haar naam je al bekend voor: we hebben Marieke namelijk al eerder in de podcast gesproken, dat was tijdens een live opname tijdens het Digital Analytics Congres in oktober. Vandaag gaan we het hebben over het inzetten van data voor maatschappelijke vraagstukken aan de hand van een klantcase. (oorspronkelijk gepubliceerd op https://www.cro.cafe/)

Live: Waarom user research juist nu heel waardevol is
Live: Waarom user research juist nu heel waardevol is

Samen met Els Aerts en Karl Gilis van AGConsult praat ik over waarom het júist nu belangrijk is om gebruiksonderzoek te (blijven) doen. (oorspronkelijk gepubliceerd op https://www.cro.cafe/)