Slik virker modelltesten

Modelltesten (Innstillinger > Modelltest, i skrivebordsappen fra GlirOS 0.1.4) kjører den samme testen på hvilken som helst modell: en på PC-en din, eller en skymodell du har slått på. Den viser hva en modell kan gjøre i GlirOS på datamaskinen din, så du kan velge riktig. Se også Modelltest i veiledningen.

Hva poengsummene betyr

• Kvalitet (0–100): hvor mange av testens svar som var riktige, vektet slik at vanskeligere arbeid teller mer. Kortet sier hvor mange kategorier det dekker («12 av 17 kategorier»).
• Hastighet (0–100): hvor rask modellen er på denne PC-en: ord i sekundet, tiden til det første ordet, og farten med en lang samtale. Den samme modellen kan få en annen poengsum på en annen datamaskin.
• Én linje per kategori: enkle og vanskelige spørsmål, dyp tenkning, å holde seg til den gitte teksten, matte, nøyaktig lang tekst, å følge et format, koding, bruk av verktøy, å dele opp en oppgave, lange samtaler, oversettelse og språk.
• «Ikke tilgjengelig» betyr at modellen ikke kan det i det hele tatt (dyp tenkning uten en tenkemodus, for eksempel). Det trekker ikke ned Kvalitet.
• Vis for: velg hva som betyr noe for deg (Balansert, Fungerer med GlirOS, Koding, Språk og oversettelse, Hverdagsassistent), så vektes Kvalitet for det.

Svarene sjekkes av kode, ikke av en annen KI-modell: matte må gi riktig tall, kode kjøres mot tester i en sandkasse, et verktøykall må bruke riktig verktøy og riktige argumenter.

Med og uten GlirOS

Koding, bruk av verktøy og å dele opp en oppgave kjøres to ganger. Med GlirOS bruker GlirOS' egen hjelp: reglene for verktøy og redningen av løst skrevne verktøykall, kodesjekkerens trygge rettelser og én runde med retting, og de veiledede planene. Uten tar svaret som det er. Forskjellen viser hva GlirOS' hjelp endrer for den modellen på PC-en din. Den kan være liten, den er ulik fra modell til modell, og på noen oppgaver gjør det rene svaret det bedre: testen viser det i stedet for å ta det for gitt.

Rask eller full

• Rask: rundt 42 oppgaver, hver spurt én gang. Noen minutter på et skjermkort; rundt 10–15 minutter for en liten modell på prosessoren.
• Full: alle kategoriene. Under en time på et skjermkort, og én til to timer på prosessoren i en liten PC, der GlirOS viser anslaget og foreslår den raske.

En modell på PC-en din svarer likt hver gang med testens faste innstillinger, så hver oppgave spørres én gang, og noen få spørres igjen som kontroll. Du kan også velge modellprodusentens egne innstillinger når du starter; da spørres hver oppgave tre ganger. Skymodeller varierer litt, så en full kjøring spør dem tre ganger per oppgave og viser spredningen.

Skymodeller og tokens

En skymodell spør først. Den nevner selskapet, sier at selskapet ser testspørsmålene og tar betalt for tokens, og viser anslått antall tokens: hva du kan vente, det meste det kan bli, og antall forespørsler. Tenkning faktureres ekstra av noen modeller.

Etterpå viser resultatet hvor mange tokens leverandøren faktisk telte, ved siden av anslaget. Bruker en modell langt flere enn anslått, stopper kjøringen og spør før den fortsetter. GlirOS viser ingen priser, fordi de er ulike fra leverandør til leverandør og endres ofte: sjekk leverandørens prisliste før en full kjøring.

Det den aldri rører

• Testtekstene er skrevet for GlirOS og inneholder ingenting av ditt. Ingenting fra samtalene, filene eller innstillingene dine kommer med i et spørsmål.
• Verktøyene svarer med faste testdata, så verktøykategoriene er like for alle, og ingenting skjer med dine egne verktøy.
• Ingenting havner i samtalene, minnet eller aktivitetsloggen din. Mens en test kjører, venter chattingen, og din egen modell settes tilbake når den er ferdig.
• Det finnes ingen offentlig resultattabell, og ingenting lastes opp. Eksporter et resultat (et bilde, en fil, en tekst eller en tabell) for å dele det selv, eller importer et fra en annen PC for å sammenligne.

En pekepinn, ikke et laboratorieresultat

En test av denne størrelsen er en pekepinn. Forskjeller under rundt 3 poeng betyr ingenting, og i en rask kjøring er én oppgave verdt mange poeng i sin kategori. Hastigheten avhenger også av hva annet PC-en gjør: resultatet noterer når PC-en gikk på batteri.