Hvordan angiver du metrics?

Dette blev først offentliggjort på min postliste The Looking Glass. Hver uge besvarer jeg en læsers spørgsmål.

Foto af Di_Chap

Hvordan angiver du metrics?

Q: Hvilken rolle skal metrics spille for designere? Hvordan skal du angive målinger, og hvordan skal du bruge dem?

Jeg har ofte hørt den misforståelse, at metrics er domænet for produktadministratorer og datavidenskabsfolk, kolde, hårde numre, der bruges til at spore virksomheden, der ikke rigtig kan måle den menneskelige oplevelse af at bruge et produkt. Som et resultat har jeg hørt om, at nogle designere er på vagt over for metrics som et værktøj, og tro på, at "datadrevet" udvikling ligner kortsigtet tænkning og tankeløse mikrooptimeringer, som at ændre størrelse og farve på knapper i stedet for at styrke designere til at forestille sig et fantastisk produkt.

Jeg tror ikke, dette er et sundt perspektiv, og designere, der tager sig tid til at hjælpe med at definere og forstå deres teams målinger, er langt bedre rustet til at få effekt end designere, der ikke tænker på dem.

På et højt niveau er målinger blot kvantificerbare mål for, hvordan du har det. Dette er en god ting for klarhed og håndgribelighed - alle i teamet ved, hvor de står, og hvad "godt" er. Når folk klager over at være for ”metrics-driven”, tror jeg, at grundårsagen er, når der lægges for meget vægt på værdien af ​​tallene. Blot ”bevægelse af nålen på vækst- eller engagementstal” er temmelig indadvendt og ikke frygtelig inspirerende. Det kan føles som om du er fokuseret på den værdi, du modtager som virksomhed, snarere end den værdi, du skaber for andre.

Derfor har jeg fundet, at den bedste måde at vælge målinger ikke er at starte med tal, men snarere at starte med et almindeligt sprogligt udsagn om, hvordan et vellykket resultat ville se ud i menneskelige termer. Med andre ord, hvordan forbedres folks liv, hvis din indsats er vellykket? Dette burde være en ambitioner, der fanger essensen af ​​den ændring, du prøver at gøre i verden. Når du er enig i denne erklæring, skal du vælge en enkelt metrisk (eller en lille gruppe af målinger) og en tidsramme til at måle, om du er på vej mod at nå dit mål. Dette vil ikke være perfekt, men at koge udsagnet ned til noget, der kan kvantificeres, lader holdene operere imod det.

Hos Facebook brugte vi for nylig denne proces, når vi opdaterede vores mission statement til ikke kun at fokusere på at forbinde verden, men også bringe verden tættere sammen. Vi startede med den almindelige sproglige erklæring, hvor, hvis vores indsats er vellykket, alle i verden ville finde og deltage i samfund, der var meningsfulde for dem, både online og i den fysiske verden. Derefter satte vi os målet om at hjælpe 1 milliard mennesker til at deltage i ”meningsfulde grupper” - grupper på Facebook, de ofte interagerer med. Ved at starte med en erklæring og derefter bruge den til at vælge vores succesmålinger, har vi et bedre billede i tankerne på de mennesker, vi betjener, og en bedre ramme for vores teams til at tænke over, når det kommer til at bygge værktøjer til at hjælpe mennesker starte og vokse samfund.

Bemærk, at vi kunne have valgt andre målinger at se på - som måske antallet af indlæg og kommentarer i grupper, eller hvor mange grupper nogen er en del af. Der er forskellige måder at tilnærme sig oversættelse af din missionerklæring til en metrisk, og det er sunde at evaluere med jævne mellemrum, om din valgte metrisk kort godt til din faktiske mission. Når din mission og dine målinger ikke er på linje, er det en opskrift på spænding, da tallene kan tvinge dig til at gøre ting, der teknisk set matcher, hvordan du har defineret "succes", men ikke får det, der faktisk betyder noget.

Nu hvor du har målinger, hvordan vil du bruge dem? Metrics giver fokus på klarhed og bør fungere som svaret på ”hvorfor” bag hver ting, du gør. De giver dig mulighed for at sætte mål på månedlig eller årlig basis og understøtte indstilling af prioriteter og afvejning. Når ressourcer er begrænset, bør den retning, der er mere sandsynligt påvirke din måling, have forrang for andet arbejde og vil blive en nyttig linse, gennem hvilken du kan se alle trin i din proces, herunder designkriterier, brugerundersøgelser og produktudforskning. Og fordi metrikken blev afledt af din missionerklæring, skal du altid være i stand til at binde forbedringer af metrikken til det overordnede mål. Det vil tjene dig godt til at begynde dine designpræsentationer med dit mål (angivet i mennesker termer), hvordan du måler fremskridt mod dette mål, og hvordan dit arbejde fører til et bedre resultat mod dette mål.

Et par andre tommelfingerregler ved at tænke over metrics:

Undgå at have en enorm vasketøjsliste over målinger. Du kan måle alt, hvad du vil, og du skal. Jo mere du forstår, hvad folk faktisk laver i dit produkt, jo bedre vil du være i stand til at skabe den rigtige oplevelse. Når du sætter et øverste mål for at drive dit teams arbejde, skal du imidlertid ideelt operere omkring en enkelt nøglemetrik (eller højst en lille håndfuld), der bedst sporer din mission. Jo mere metriske mål, du har, jo mere kompliceret er det at holde hver især i tankerne og foretage afvejninger mod dem. Selvom det kan føles smertefuldt, kan det at spare denne eksplicitte beslutning på forhånd spare dig for mange hovedpine ved senere at diskutere hvad arbejde er vigtigere.

Overvej at spore mod-metrics. Der er bestemt mange advarsler til ovenstående idé om at sætte et mål omkring en enkelt metrisk. Et bemærkelsesværdigt er, at du muligvis bliver nødt til at have en kontrametrik for at hjælpe med at afbalancere afvejninger på kort og lang sigt. Som et eksempel, hvis din måling er engagement, målt ved "øget tidsforbrug pr. Bruger", kan du eventuelt inkludere den modmæssige metode, at du ikke reducerer antallet af engagerede brugere. Målet er stadig den samme primære metrisk (tidsforbrug pr. Bruger), men modmetrikken giver dig mulighed for at huske, at systemer er komplekse, og holder dig i at overoptimere for en undergruppe af dit publikum på bekostning af at skabe mere tiltalende tiltalende oplevelser.

Undgå forfængelighedsmålinger. Der er spildt meget digital blæk om dette emne, så jeg vil holde dette kort: Medmindre en måling virkelig fanger den værdi, du skaber for folk på en løbende måde, er det ikke den rigtige metrisk. Forfængelighedsmålinger, der lyder fluffy og sjov (som "antal registrerede brugere", som ofte er meget større end daglig aktivitet) kan faktisk gøre mere skade end godt, da de kan lindre dig til at tro, at du gør et godt stykke arbejde, når alt du gør ved at klynge igennem dit publikum. Målinger, der er mindre tilbøjelige til at være forgæves, er tilbageholdelse, indtægter, daglig brug og meningsfulde handlinger.

Undgå subjektive mål. Så meget som muligt, prøv at forstå, hvordan du kvantificerer den værdi, du opretter. Sikker på, der er ting, du gerne vil opnå, som "folk elsker vores produkt", men hvis du prøver at måle stemning, kan du overveje netto-promotor-score eller andre måder at numerisk forstå, hvor du i øjeblikket står (eller hvordan du har det relativt til markedet), og sæt dig et mål for den ændring, du håber på at foretage på en måde, der kan måles. At se på et par anekdotiske historier eller kundemails er ikke en streng måde at drage konklusioner på, hvis din faktiske brugerbase er forskellig.

Undgå at indstille målinger efter faktum. At prøve at beslutte, om du har haft succes, efter at dit produkt allerede er ude på markedet, giver ikke meget mening. Vi mennesker har en tendens til at se den mest optimistiske version af fakta. Hele ideen om datainformeret udvikling er, at du ønsker at undgå at blive partisk. Du skal vide, gå ind i dit arbejde, hvad dit mål er, og hvordan du vil måle, hvis du nåede det.

Overvej at sætte 50. percentilmål. Dine mål skal ideelt set strække dit hold. Du ønsker at finde den rigtige balance mellem at vælge et mål, der er så hårdt, at det forekommer usandsynligt, at det bliver opfyldt, eller et så let at du ikke kan nå det ved effektivt at gøre noget. En måde at beskrive dette på er ved at tænke på dine mål som 50. percentilmål - dvs. der er en 50% chance for at du når dit valgte metriske mål. Det betyder, at hvis du rammer dine mål halve tiden, gør du et godt stykke arbejde. Hvis du altid når eller overskrider dine mål, satte du sandsynligvis ikke dit syn højt. Og hvis du ikke når dit mål, skal du diskutere ærligt, om målet var forkert, eller om sammenbruddet var noget i holdets strategi eller udførelse. I alle tilfælde er det at være god til at indstille de rigtige målinger i sig selv en færdighed, og det vil være noget, dit team skal arbejde for at forbedre med tiden. Hvis det er nødvendigt, kan det være nyttigt at undersøge yderligere hvad 90. og 10. percentiltilfældet også er, dvs. for din angivne metrisk, ud over 50p-målet, hvad er du 90% sikker på, at du kan nå (sagen 90p), og hvad er det meget ambitiøse antal "hvis alt går godt", som du kun er 10% sikker på, at du kan ramme (10p-sagen).

Bliv ikke forkælet med semantik. Hvad er forskellen mellem mål, måling, mål, drivere, mål osv. ...? Nogle gange bruger folk forskellige ord til at henvise til forskellige ting, når de diskuterer målinger. Jeg er ikke for bekymret for hvilke ord, du bruger, så længe du er tilpasset definitioner med dit team.

I sidste ende er der ingen ideel måde for dit team at vælge og bruge målinger, da det afhænger meget af de faktorer, der er specifikke for dit team, produkt og marked. Hovedbudskabet er simpelthen, at metrics skal omfavnes og spille en kritisk rolle i rollen som en produktdesigner. Dette er et emne, der er blevet meget kær for mig, da jeg har set gang på gang, hvordan designere, der bruger metrics godt, kan være utroligt succesrige. Hvis du er interesseret, her er nogle andre relaterede artikler, som jeg har skrevet om dette emne:

  • Metrics versus erfaring
  • Den smerte og ekstase ved at bygge med data
  • Metrics, en historie
  • Kvalitet er ikke en tradeoff
  • Den nye skat
  • De to måder at bygge på

Hvis du vil stille et spørgsmål eller følge ugentligt med flere spørgsmål og lignende, kan du abonnere på The Looking Glass adresseliste.