Ratingsystemet

Hyggehjørnet d.  17. august. 2012, skrevet af NoNig
Vist: 651 gange.

NoNig
 
Elitebruger
Tilføjet:
17-08-2012 00:20:24
Svar/Indlæg:
23132/740
Hey all

Efter den seneste storm i Komplett-anmeldelsen, og opfordringen om at tage den op i forum, vil jeg hermed opfordre folk til at tage en sober debat om HwT's ratingsystem og uddeling af awards.

Først og fremmest, så kan jeg anbefale folk at læse flg. side: http://hwt.dk/Test/4448/Rating... - det er ganske god læsning.

Dernæst, så lige at smide et kig på flg. sider:
Platin: http://hwt.dk/awardlist.aspx?A...
Guld: http://hwt.dk/awardlist.aspx?A...
Sølv: http://hwt.dk/awardlist.aspx?A...
Bronze: http://hwt.dk/awardlist.aspx?A...

Ifølge ovenstående artikel, gives der:
"0 gives til:
Et produkt der fejler hele vejen igennem den pågældende kategori...
"

"1 gives til:
Der kan til nød siges noget positivt, men det generelle indtryk er dårligt.
"

"2 gives til:
Produkter som i kategorien har tilstrækkeligt mange positive ting der netop overskygger de negative sider, hvilket gør det brugbart for de fleste mennesker.
"

"3 gives til:
Det produkt som er lidt over middel i pågældende kategori... Der er dog stadig enkelte punkter, som man skal være opmærksom på måske ikke er helt i toppen.
"

"4 gives til:
Et produkt der kan betegnes som værende overlegent i kategorien og som samtidig, stort set ikke har nogen negative sider eller at disse klart overskygges af de positive.
"

"5 gives til:
Det perfekte produkt i kategorien. Det opfylder alle de krav der med rette kan stilles til det og har ingen negative sider. Denne karakter gives hvis det er vanskeligt at forbedre yderligere på produktet.
"

"Skribenten er ikke på noget tidspunkt vidende om hvordan det endelige resultat i % bliver. Dette bliver først at se når artiklen ligger online på HT/OC. "

"Vores CMS omregner de angivne scores til % så et produkt får en procent der passer ud fra skribentens indtastninger, f.eks. 80%."

"Derfor vil et produkt som scorer 80% hos os, score en Sølv-award. For 80% betyder godt! Vi har selvfølgelig også en guld-award som er en del sværere at få. Her snakker vi i nærheden af 90% ..."

"... et produkt som er helt vildt godt, er i langt de fleste tilfælde bare et grafikkort med ny chip, en CPU med en ekstra kerne eller noget lignende. Og ja, det er et voldsomt godt produkt, men så er prisen ofte helt hen i vejret, og ganske unfair faktisk. Derfor vil det få en lav score her, og det vil så trække den samlede score ned..."

Ovenstående er valgt ud, fordi jeg godt kunne tænke mig at kaste lidt lys over ratingen og måden hvorpå der uddeles awards.

Først og fremmest, så ja. Det kan godt virke lidt plat, at produkter i vildskab får awards. Men jeg vil sige, at det ikke er HwT's skyld, da awards er noget producenterne er vilde for at bruge i deres markedsføring. Det skaffer testprodukter til HwT, til HwT's læsere, og kommer i sidste ende os alle - som holder af HwT - til gode.

Er det en latterlig ting? Det er det i princippet, ja. Men som I ved, i alle discipliner, så handler det om at vise sig - og når en producent smækker et mærkat med HwT's logo på deres produkter, er HwT pludselig en del af deres markedsføring. Det er god reklame for HwT, og - let's face it - SÅ store er HwT heller ikke. Ikke sammenlignet med mange andre sites. Men som dansk hardware-portal og en indgang til "Hr. og Fru Danmark", står HwT ofte med en fod i begge lejre. Nogle af læserne kommer direkte fra 'Komputer for alle', mens andre lige kigger forbi fra 'Anandtech' (eller andre udenlandske sider).

For så vidt awards. Dernæst rating.

Som I ved, er der jo en række overordnede kategorier: Innovation/teknologi, Bundle/Tilbehør, Design/Layout, Software, Ydelse og Pris

I hver af disse kategorier gives karakteren 0-5 [i alt 6 karakterer: 0, 1, 2, 3, 4, 5 og 6], og er pågældende kategori ikke relevant vises blot "N/A" og denne bliver ikke medregnet i den endelige score.

Måden hvorpå scoren udregnes, er ikke så forfærdeligt hemmelig. Den samlede score holdes op imod det maksimalt mulige, hvilket giver et resultat i procent.

Eksempelvis: http://hwt.dk/Test/37860/EVGA-...

Her gives karaktererne:
Innovation/teknologi - 5
Bundle/Tilbehør - 5
Design/Layout - 5
Software - 4
Ydelse - 4
Pris - 4

Lægger vi disse tal sammen, får vi summen: 5 + 5 + 5 + 4 + 4 + 4 = 27

Der er givet karakter i, i alt 6 kategorier, hvor der kan gives op til et 5-tal. Ganger vi antallet af mulige topkarakterer får vi 6 x 5 = 30

Altså scorer pågældende bundkort, 27 ud af 30 mulige point, hvilket omregnet til procent giver:

27 / 30 = 0,9 -> 0,9 x 100 = 90 %

Altså, beregnes den endelige score, ud af antal uddelte point, ud af antal mulige.

Nu står der godt nok i ovenstående artikel, at anmelderen ikke er klar over hvordan pointfordelingen fungerer - om det er sandt eller ej, skal jeg ikke kunne sige. Jeg ved ikke hvor mange i crew der ved det eller har regnet det ud, men jeg synes selv det er ret åbenlyst og jeg er sikker på, at de fleste læsere/brugere selv er nået frem til samme resultat.

Kort fortalt: Den endelige score i procent, er blot et udtryk for fordelingen af point, hvor der kan gives 0-5.

At der ikke kan gives en "middel" karakter [eks. 1-5, hvor midten så er et 3-tal] kan virke mystisk. Men det har sin oprindelse i, at de fleste mennesker, hvis de kan vælge, vælger den midterste værdi eller to ekstremer. Altså, at der er størst sandsynlighed for, at en given anmelder vil vælge karaktererne 1, 3 eller 5, frem for 2 eller 4. Dette kan give en skrævvridning i karaktergivningen, hvor et produkt måske får 1, hvor det skulle have haft 2, men til gengæld får 5, hvor det skulle have haft tre. Slutresultatet er omtrent det samme (altså den endelige score), men som læser giver det en spøjs karaktergivning, der sår tvivl om anmelderens motiver.

Det er ikke godt.

Dernæst: uddeling af awards.

I følge ovenstående artikel, så er fordelingen:
Platin: ?
Guld: mindst 90 %
Sølv: mindst 80 %
Bronze: ?

Som nogle af jer måske har regnet ud, så uddeles awards automatisk af systemet, såfremt produktets anmelder giver en score der passer inden for et givent interval.

Oplysningerne i ovenstående artikel er dog ikke helt korrekte, med hvad der rent faktisk gives.

Se eksempler:
Platin (ej angivet):
96 % http://hwt.dk/Test/32715/Aurva...
90 % http://hwt.dk/Test/33933/Samsu...

Guld (angivet til "i nærheden af 90%"):
84 % http://hwt.dk/Test/38066/Enerm...
80 % http://hwt.dk/Test/37481/IB-CA...

Sølv (angivet til "et produkt som scorer 80% hos os"):
72 % http://hwt.dk/Test/37697/ADATA...
70 % http://hwt.dk/Test/35304/Silve...
68 % http://hwt.dk/Test/37565/Haupp...
67 % http://hwt.dk/Test/35746/Intel...

Bronze (ej angivet, men lader til, at være alt over 50 %):
64 % http://hwt.dk/Test/33005/Bitfe...
60 % http://hwt.dk/Test/34975/Creat...
52 % http://hwt.dk/Test/34082/inno3...

Ser man på ovenstående, så kan jeg godt forstå, at man får en følelse af manglende seriøsitet vedr. karakterer/point og uddeling af awards. Og, jeg er, til en vis grad, ret enig. Hvad værre er, det er allerede inden vi har talt kvalitet af artikler, som godt nok er 'frivilligt arbejde' og 'under tidspres', men jeg vil tendere til at give en bruger ret i - som skrev til mig i sin tid - og spurgte om ikke HwT devaluerede sig eget arbejde, ved at uddele awards i vildskab.

Jo. Det har pågældende bruger for så vidt ret i. Det ser tåbeligt ud. Men hvad er alternativet?

Ser vi på ovenstående, så tildeles et produkt i princippet en award, for overhovedet at fungere. Det svarer i princippet til at kunne skrive sit eget navn på eksamenspapiret.

Det kan dog også være en kombination af karakterer, der brillerer på ét punkt, men falder igennem på et andet - og disse to karakterer så udligner hinanden. Faktisk, så er det også den indirekte årsag til, at der ikke er mange "top nice"-produkter i platin- og guld, da de netop brillerer på en lang række punkter, men falder igennem på andre (eks. brugevenlighed, pris, tilbehør, etc.).

Jeg kunne, som læser, og tidligere skribent her på siden, godt tænke mig en åben og tolerant debat om ratingsystemet og uddelingen af awards.

I "gamle dage", blev de uddelt 'manuelt'. Man vedlagde i princippet blot en billedfil i artiklen, med awarden og skrev dertilhørende tekst. Om der blev uddelt flere eller færre skal jeg ikke kunne sige. Der var et andet flow af artikler dengang, så med dét in mente, er det nok ikke urealistisk at det var i omtrent samme boldgade.

Jeg vil gerne opfordre folk til at byde ind med spørgsmål og kommentarer, og jeg vil ligeledes opfordre crew til at være tolerante over for udenforstående brugere.

... og, lige på falderebet: Jow. Man kan sgu godt få sig selv til at finde på en god grund til at et produkt skal have en karakter højere eller lavere i en given kategori, for at udligne en tosset karakter. Det er så til gengæld systemets akilleshæl: man kan godt have et tåbeligt produkt, som får en award (og derfor ser bedre ud end det er) eller omvendt et rigtig godt produkt, som lige skal op og have sølv, fordi ratingsystemet kun har givet det bronze.

Sådan er systemerne, og sådan er vi nørder. Fuck da poliz'! 😎


Tråden blev redigeret 6 gange, sidst af Cocio21 d. 18-08-2012 17:33:44.