Kapitel 4: Monitorering

Kort om monitorering

Monitorering handler om at evaluere og forbedre det arbejde, du udfører i samarbejde med AI. Det er her, du for alvor er det kritiske menneske i processen: Du vurderer kvaliteten, giver feedback og sikrer, at resultatet lever op til dine faglige standarder.

Det kræver sund skepsis, klare kvalitetskriterier og stærk faglighed. For i sidste ende er det dig, der står garant for arbejdets kvalitet. Alt det, en chatbot hjælper dig med at producere, skal som minimum være på niveau med det, du selv ville kunne stå inde for – og gerne bedre.

Derfor er det vigtigt, at du kan give evaluere arbejdet og give konstruktiv feedback til din chatbot undervejs.

Monitorering handler altså om at kunne:

• Vurdere kvaliteten af chatbotttens output
• Evaluere den proces, chatbotten har været igennem for at lave outputtet og forbedre den
• Reflektere over, om du kan genkende dig selv i produktet af samarbejdet og om det lever over til dine faglige standarder

Husk: At arbejde med AI er ikke en undskyldning for at sjuske eller slække på sine standarder, men en god grund til at gøre sig endnu mere umage.

De tre p'er

Når du skal monitorere dit og chatbottens samarbejde kan du endnu en gang have de tre P’er i baghovedet:

1. Produkt: Lever produktet eller resultatet af samarbejdet op til mine kvalitetskriterier? Er indholdet korrekt? Hvor meget mangler, før opgaven er løst tilfredsstillende?
2. Proces: Gik chatbotten til opgaven sådan som du ønskede? Fulgte den anvisningerne? Kan processen forbedres med enten færre eller flere trin?
3. Præferencer: Agerede chatbotten ønskeligt, eller var der noget i dens “væremåde”, der generede dig? Brød du dig i det hele taget om interaktionen?

Du kan bruge disse spørgsmål til løbende at evaluere dit samarbejde med din kunstige assistent – og til at fortælle den, hvad du ønsker af forbedringer.

Forbedringsorienteret feedback

Mennesker lærer af feedback. Det samme gælder, når du vil forbedre dit samarbejde med en chatbot. Når du skal give feedback til din chatbot, kan du følge denne opskrift for konstruktiv feedback:

1. Påpeg problemet: Hvad er der galt?
2. Forklar, hvorfor det er et problem – og hvad du ønsker i stedet
3. Giv dine egne forslag til forbedringer
4. Fremhæv, hvad chatbotten gjorde godt, så den kan lære dine præferencer til næste gang

Bed chatbotten om at opdatere sin hukommelse, hvis der noget, du ønsker den skal huske til næste gang, I arbejder sammen.

Kildekritik

God gammeldags kildekritik går aldrig af mode. Vær altid skeptisk overfor de svar, du får fra en chatbot, og tjek om dens påstande holder vand.

Som nævnt tidligere kan en chatbot sagtens komme til at opdigte et svar eller en reference, som ikke findes i virkeligheden. Den kan også basere sit svar på kilder, som er usaglige – og derfor er det vigtigt, at du selv opsøger de kilder, den henviser til.

Kildekritik er vigtigere, end nogensinde før!

Værd at tænke over: Procenter fremfor færdige produkter

Når vi får assistance af chatbots i vores arbejde, kan vi være tilbøjelige til at tænke i færdige produkter: ”Løste chatbotten opgaven helt og tilfredsstillende?”

Ofte vil svaret være nej.

I stedet for at vurdere samarbejdet i dikotomien ”færdigt-eller-fiasko”, er du tit bedre tjent med at tænke i procentvis fuldførelse af opgaven: Hvor mange procent af opgaven, har chatbotten løst? Måske har løst 80 % af opgaven, så du selv kan nøjes med at gøre de sidste 20. Måske har den kun fået dig i gang med de første 10 % - men lidt har også ret.

Maskinen hjælper til, men mennesket gør opgaven færdig. Og tager ansvar for kvaliteten.

ØVELSE: Puds de kritiske briller

Her er en øvelse til at holde dit kritiske blik skarpt, når du arbejder med chatbots:

1. Stil Copilot (eller en anden chatbot) et faktaorienteret spørgsmål inden for et område, du kender godt. Bed om konkrete oplysninger med referencer.
2. Tjek påstandene: Eksisterer de nævnte kilder, artikler eller navne – og siger de det, chatbotten påstår? Er tallene, årstallene eller definitionerne korrekte? Er noget udeladt, som burde have været med?
3. Overvej, hvad du fandt ud af: Hvad var rigtigt, forkert eller svært at eftertjekke? Var fejlene åbenlyse eller svære at finde? Hvad skal du være opmærksom på i fremtiden, når søger viden gennem en chatbot?

Afrunding

Nu ved du, hvordan du forbedrer dit samarbejde med chatbotten – og hvorfor kritisk sans og god gammel kildekritik er vigtigere end nogensinde før.

I næste kapitel får du at vide, hvordan du trygt kan bruge AI på SDU – uden at komme galt afsted.

Vi ses på den anden, nej… sikre side!

Tommelfingerregler til at mestre monitorering

1. Stil dig ikke tilfreds med det første og det ”bedste” svar (og tag ansvar for kvaliteten)
2. Giv chatbotten konstruktiv feedback på både produkt og proces – og fortæl den dine særlige præferencer
3. God, gammeldags kildekritik går aldrig nogensinde af mode