Hvad er en Senior Data Visualization Engineer?

Jeg blev for nylig stillet på twitter et spørgsmål, som jeg er blevet stillet i en eller anden form flere gange, siden jeg blev Senior Data Visualization Engineer hos Netflix:

I al min tid med at skrive om de forskellige slags datavisualiseringsfolk og hvordan datavisualisering sidder fast i et konservativt skind eller muligvis kvæler sig professionelt, tror jeg ikke, jeg nogensinde har været direkte involveret i hvad, nøjagtigt, det er at jeg gøre.

Jeg er altid lidt på kant, når jeg bliver stillet dette spørgsmål, fordi normalt et spørgsmål som dette kommer fra en af ​​to kilder: mennesker, der ønsker at skifte til erhvervet eller folk, der arbejder ved siden af ​​erhvervet, der ønsker at forstå det bedre. Men i tilfælde af datavisualisering kommer denne form for spørgsmål også fra mennesker i området, der ikke tror, ​​at der er sådan et erhverv. Så jeg er nødt til at finde ud af, om personen spørger mig "Hvordan bliver jeg et vellykket X" eller "Hvordan fungerer jeg bedre med X / Skal jeg ansætte et X til mit team" eller "Hvorfor insisterer du på at en færdighed er et erhverv - der er ingen Senior Microscope Engineers, du er bare en UI-udvikler, du kan ikke rigtig forvente, at jeg skal tro, at du bruger 100% af din tid på at lave cirkeldiagrammer til dig grim lille svig. ”

Så for klarhedens skyld svarer jeg alle tre af disse spørgsmål.

Datavisualisering Ingeniørfærdigheder

Datavisualisering er ikke rent teknisk, de har et stærkt designelement og kræver en dyb forståelse af de teoretiske faktorer, der er involveret i visuelt formidling af information. Men al den teoretiske og designviden i verden hjælper dig ikke, hvis du kunstigt har begrænset mulighedsområdet, fordi du ikke ved, hvad der er teknisk muligt med de værktøjer, du bruger. Så selvom det ikke er helt teknisk, er det stærkt teknisk, og der er ikke noget at komme omkring det.

Når det er sagt, afhænger de specifikke færdigheder, der er nødvendige for at deltage i den daglige opgaver for en datavisualiseringsingeniør, af den teknologi, der bruges, hvor de arbejder. Hvis go-to-metoden til at præsentere datavisualisering er notesbøger eller BI-værktøjer, er de nødt til at være en ekspert ikke kun på deres brug, men også på, hvordan man skubber og ændrer dem ud over deres traditionelle grænser. For mig og for mange datavisualiseringsingeniører betyder det, at du skal have en solid forståelse af UI-udvikling, så du ikke kun kan oprette tilpassede datavisualiseringselementer, men også de applikationer og datatjenester, der er nødvendige for, at disse elementer kan reagere på aktivitetsspektret som dine interessenter kræver.

Uanset teknologien skal succesrige datavisualiseringsingeniører forstå principper for design, både grafisk og mere generelt brugercentreret design. Analytiske applikationer skal gøre mere end teknisk at opfylde nogle specifikationer, de er nødt til faktisk at give læserne mulighed for at finde den indsigt, de forventer at finde i den kontekst, de har brug for. Fra et færdighedsperspektiv skal du udvikle dig inden for tre forskellige områder:

  • Teknisk skal du nøje hacke på datavisualiseringsmetoder og virkelig være i stand til at gengive en hvilken som helst af de kortlægningsmetoder, du ser. Dette er ikke fordi du får meritemblemer for hver korttype, men snarere fordi datavisualisering grundlæggende er kombinatorisk, og de mest effektive analytiske applikationer er ikke et enkelt diagram, men en kombination af flere former for informationsvisualisering gift sammen. Du kan ikke lave det eller endda planlægge for det, hvis du har lyst til bestemte kanaler, layout eller andre metoder er uden for grænserne, fordi du ikke ved, hvordan du implementerer dem.
  • Teoretisk skal du være i stand til at forstå de grundlæggende principper for visuel visning af information. Du skal vide, hvorfor visse visuelle strukturer resonerer med seerne, og hvilke er de mest effektive måder at kode information i grafik på. Det er ikke tilstrækkeligt at øje spottet fra eksperter til datavisualisering og erklære "cirkeldiagrammer er dårlige" eller "farve er hård", du skal faktisk forstå farve og forbindelse og størrelse og hvordan de leverer information.
  • Praktisk skal du først tænke på dig selv som en designer. Den virkelige udfordring med datavisualisering er at finde ud af, hvad dine læsere ønsker, hvilket kun sker, hvis du kan destillere problemet som udtrykt ved deres funktionsanmodninger, artefakterne, de allerede har produceret, og den faktiske struktur af dataene. Dette berører interaktionsdesign, informationsdesign og grafisk design. Det er meget design.

Groft sagt har jeg gennemgået de forskellige perioder i den rækkefølge, men jeg tror ikke, at den bestemte sti er den rigtige til at være en effektiv datavisualiseringsingeniør. Det er mere vigtigt, at du genkender, hvilken tilstand du er i, og om du føler, at du er så avanceret inden for hvert område, som du er i dit stærkeste.

Har jeg brug for en datavisualiseringsingeniør?

Specialiserede positioner, der fokuserer på datavisualisering, er ligesom specialiserede positioner, der fokuserer på design eller datateknik. I små virksomheder eller i på anden måde begrænsede miljøer, hvor den eneste person, der har brug for at forstå et datavisualiseringsprodukt, er personen, der har lavet det eller deres team, kan en specialist være overflødig. Værdien af ​​en specialiseret position kommer i tre primære situationer:

  • Store applikationer bygget til flere interessenter på tværs af og organisation, som ikke alle deler den samme kontekst eller niveau af domæneekspertise. I disse tilfælde kan datavisualiseringsspecialisten gennem interview med interessenter og gennemgang af eksisterende datavisualiseringsprodukter syntetisere en applikation, der ikke kun er så effektiv som de eksisterende værktøjer til interessenter, men som er mere bredt tilgængelig.
  • Se på komplekse datadrevne aspekter af en virksomhed, især dem, der understøttes eller erstattes af maskinlæring, hvor beslutningstagere har brug for at stole på algoritmerne, der erstatter deres intuition. Datavisualisering af udførelsen af ​​algoritmer med det formål at identificere anomalier og skabe tillid vil blive det største vækstområde inden for datavisualisering i de kommende år.
  • Bygning af prototyper. Sammen med store applikationer er der eksperimentelle tilgange, der bedre kan tjene med ny datavisualisering, eller skræddersyede produkter beregnet til meget specifikke målgrupper, hvor formen kan være mere eksotisk end et traditionelt instrumentbræt. Succes i disse tilfælde afhænger af, at nogen har talentet til at være i stand til at opbygge kompleks datavisualisering, men også har forståelsen af, hvilke regler der kan bøjes eller brydes i meget specifikke anvendelsessager.
Et eksempel på et skræddersyet datavisualiseringsprodukt udviklet hos Netflix til et meget specielt anvendelsestilfælde, hvor æstetikken og funktionen af ​​denne type kort var velegnet, selvom dette i normale analytiske kortlægningsapplikationer ville blive betragtet som problematisk på flere måder.

Hvis du vil have succes med datavisualisering i branchen, skal du forstå jobbet. Mens rollen varierer, involverer det mest udvikling af synspunkter på data for interessenter, der typisk er ledere, produktledere og datavidenskabsmænd. Det adskiller sig fra en analytikerrolle, idet fokus ikke er på et spørgsmål, men snarere på et publikum, der typisk har brug for noget mere end en enkelt rapport, og som forventer synspunkter på de data, der genererer mere end blot den forventede indsigt. Dette betyder, at man opfylder alle de grundlæggende funktioner, som interessenterne anmoder om, men også at bringe disse funktioner nye synspunkter ind i de data, der udnytter en fortrolighed med funktionerne i avanceret datavisualisering. Alt det betyder at fremme ambitiøse og innovative synspunkter, som interessenter oprindeligt kan være ubehagelige med.

Disse interessenter vil præsentere deres funktionsanmodninger på forskellige måder afhængigt af deres egen praksis.

  • Produktadministratorer vil typisk tale om selve dataene og falder ofte tilbage i refrain "bare vis mig dataene". De beder om download-knapper, så de kan få en CSV eller de forespørgsler, der driver visningen, og mens ad hoc-analyse altid vil forekomme, er det disse anmodninger, der er de mest frugtbare til datavisualisering, fordi når du dykker ind i dem, finder du ud af, at de udfører ad hoc-anmodninger om at afsløre mønstre, der ikke er så nemme at se med værktøjer, der ikke er på hylden eller traditionelle datavisualiseringsmetoder. Forskelsdiagrammer, tilsluttede scatterplots og boxplot-serier er alle kommet ud af anmodninger om at "vise mig data", som, når de blev oversat, virkelig betød, at de ønskede at se en højere ordensstruktur i hvad de troede kun kunne præsenteres som en tidsserie eller en søjlediagram.
  • Datavidenskabsmænd kommer måske til dig med de samme spørgsmål, men kommer ofte med funktionsanmodninger, der ligner notebooks. Ved hjælp af ggplot2 eller tilsvarende har de en foretrukken datavisualiseringsmetode, som de var i stand til at udvikle i en analyse af et fast datasæt, som de nu ønsker at se integreret i et mere bredt tilgængeligt instrumentbræt eller anden intern applikation. Dette kræver, at du forstår, hvordan du gendanner, hvad der kan være betydeligt komplicerede diagrammer, og endnu mere udfordrende, hvordan man gør disse diagrammer interaktive og dynamiske.
Et diagram, der begyndte sit liv som en statisk datavisualisering i en Jupyter-notebook og blev til sidst implementeret i en interaktiv form med kommentarer og forbedret styling i en intern applikation
  • Af ledere mener jeg ikke nødvendigvis C-niveau men beslutningstagere, der ser på datavisualisering for kontekst og indsigt på højt niveau. Dette kan være den stereotype "travle udøvende", der ofte vises i manualer til datavisualisering, men det kan også være publikum for en præsentation, der ikke har den samme dybde af viden om kildematerialet. I disse tilfælde har en datavisualiseringsingeniør brug for de færdigheder og viden, der hjælper med at formidle indsigter og interessepunkter ved hjælp af farve, annotationer og andre teknikker, der trækker på visuel kognition.

Men er det en profession

Da jeg skrev Hvis datavisualisering er så varm, hvorfor rejser folk derfra? Som jeg håbede modtog jeg noget pushback om, hvorvidt der engang var noget som en "datavisualiseringsingeniør". Blandt dem, der skubber tilbage, var Stephen Few, en respekteret forfatter af flere manualer til datavisualisering. Denne pushback var ingen overraskelse, den gentager snarere det, jeg har hørt mange gange inden for datavisualiseringsfællesskabet. Mange mennesker, som du kunne tænke på, som sammenkædet med mig i et ryddig Venn-diagram i stedet for at tænke på, at datavisualisering er et sandt erhverv, og foretrækker at mærke sig noget mere generisk, som en UI eller Full Stack Developer, eller endda gå så for så vidt angår at orientere deres karriere på en sådan måde, at de understreger deres tidligere fokus på datavisualisering til fordel for et fokus på datateknik eller datavidenskab.

Da jeg først startede med at skrive dette stykke, planlagde jeg at engagere mig direkte i disse argumenter, men efter at have behandlet de tekniske og organisatoriske aspekter af, hvad det kræver at være en datavisualiseringsingeniør, føler jeg at jeg ikke har meget andet at gøre tilføje. Kun det: datavisualisering er et bredt og udfordrende felt, og kommunikation af information ved hjælp af grafik er nok afhængig af et specifikt sæt teori og praksis, så det retfærdiggør en specialist så meget som nogen af ​​de andre dataorienterede karrierer.

Til side: Jeg kan godt lide Stephen Few, og endnu vigtigere synes jeg, han er god til banen. Jeg mødte ham en gang, og han var tankevækkende og engageret, selvom jeg talte om visualisering af netværksdata, hvilket ville undskylde enhver syg adfærd fra enhver person. Jeg tror ikke, han er 100% rigtig med datavisualisering, men jeg respekterer hans vilje til aktivt og offentligt at engagere sig i emnet og svare kritisk, når han mener, at nogen ikke er streng eller professionel. Det er faktisk en skam, at der er så få mennesker, der er villige til at engagere sig offentligt på en kritisk måde, og at når folk gør det, bliver de chastised som uhøflige. Hvis Stephen ikke havde reageret offentligt på min tidligere kommentar, ville jeg blive tvunget til at henvise skråt til andre datavisualiseringsteoretikere, der har sagt det samme, men kun i privat kommunikation, som ikke kun skaber svagere skrivning, det giver en svagere erhverv.