Impact Factor: Måling af videnskabelig prestige

At vurdere kvaliteten af videnskabelig forskning er en notorisk vanskelig opgave uden en standardløsning. Ideelt set burde publicerede resultater blive gransket af eksperter inden for feltet og tildelt point for kvalitet og kvantitet. I praksis er denne opgave dog overladt til komitéer og institutioner, der søger alternative metoder til at evaluere forskning ved hjælp af metrikker. En af de mest kendte og anvendte metrikker til at måle et videnskabeligt tidsskrifts prestige og gennemslagskraft er dens Impact Factor (IF). Et fremtrædende eksempel er tidsskriftet Ca A Cancer Journal for Clinicians, som har en bemærkelsesværdig høj Impact Factor på 508.7 ifølge de seneste opgørelser. Men hvad betyder dette tal egentlig, hvordan beregnes det, og hvorfor er det både et værdifuldt værktøj og en kilde til stor debat i den akademiske verden?

Hvad er en Impact Factor?

Impact Factor (IF), eller Journal Impact Factor (JIF), er et mål for, hvor mange gange en gennemsnitlig artikel i et specifikt tidsskrift bliver citeret i løbet af et år. Tallet udgives årligt af firmaet Clarivate Analytics i deres Journal Citation Reports (JCR). Det er vigtigt at bemærke, at det kun er tidsskrifter, der er indekseret i databaserne Science Citation Index Expanded (SCIE) og Social Sciences Citation Index (SSCI), der kan modtage en officiel Impact Factor.

Denne metrik fungerer som et kvantitativt værktøj til at rangere, evaluere og sammenligne tidsskrifter. Grundlæggende bruges den til at måle den relative betydning af et tidsskrift inden for dets felt. Tidsskrifter med en højere Impact Factor betragtes generelt som mere vigtige, prestigefyldte og indflydelsesrige end dem med lavere værdier. For forskere, institutioner og biblioteker er IF ofte en afgørende faktor, når de skal beslutte, hvor de vil publicere deres arbejde, hvilke abonnementer de skal opretholde, og hvordan de skal vurdere en forskers karriere.

Hvordan beregnes Impact Factor?

Beregningen af et tidsskrifts Impact Factor er baseret på en toårig periode og er i princippet en simpel division. Man dividerer antallet af citationer, som et tidsskrifts artikler har modtaget i et givent år, med det samlede antal "citerbare" artikler, som tidsskriftet publicerede i de to foregående år.

Formlen kan illustreres således for 2023's Impact Factor:

• A = Antallet af gange artikler, publiceret i 2021 og 2022, blev citeret i indekserede tidsskrifter i løbet af 2023.
• B = Det samlede antal "citerbare" artikler publiceret i 2021 og 2022.
• Impact Factor for 2023 = A / B

Begrebet "citerbare artikler" refererer typisk til originale forskningsartikler og oversigtsartikler (reviews). Redaktionelle indlæg, læserbreve og nyhedsartikler tælles ofte ikke med i nævneren (B), men de citationer, de modtager, kan potentielt tælles med i tælleren (A), hvilket kan puste IF-tallet kunstigt op. Dette er en af de tekniske kritikpunkter af metrikken.

Desuden spiller selvcitationer en rolle. Selvcitationer opstår, når en artikel i et tidsskrift citerer en anden artikel fra samme tidsskrift. Dette udgør i gennemsnit omkring 13% af alle citationer. Clarivate Analytics overvåger overdreven selvcitation og kan sanktionere tidsskrifter for at manipulere deres score.

Betydningen og brugen af Impact Factor

Impact Factor er blevet et centralt element i den akademiske kultur. Dens primære fordel er, at den tilbyder en objektiv og kvantitativ målestok, der kan erstatte eller supplere mere subjektive evalueringsformer som peer-review. Den eliminerer også visse former for bias, der favoriserer ældre og større tidsskrifter, da den fokuserer på de seneste to års publikationer.

Metrikken bruges på flere niveauer:

1. Forfattere: Forskere bruger IF til at vælge, hvor de skal indsende deres manuskripter, da publicering i et tidsskrift med høj IF kan øge deres synlighed og karrieremuligheder.
2. Institutioner: Universiteter og forskningsråd bruger ofte en forskers publikationsliste og tidsskrifternes IF som en proxy for videnskabelig produktivitet og kvalitet ved ansættelser, forfremmelser og tildeling af forskningsmidler.
3. Tidsskrifter: For tidsskrifterne selv er en høj IF et stærkt markedsføringsværktøj, der tiltrækker de bedste artikler og styrker deres brand.

Den historiske baggrund for IF går tilbage til Eugene Garfield, grundlæggeren af Institute for Scientific Information (ISI), som begyndte at beregne den årligt fra 1975. Formålet var at hjælpe bibliotekarer med at vælge, hvilke tidsskrifter de skulle abonnere på. Siden da er dens anvendelse eksploderet langt ud over det oprindelige formål.

Kritik og begrænsninger: En metrik under beskydning

På trods af sin udbredte anvendelse er Impact Factor en yderst kontroversiel metrik med en lang række anerkendte begrænsninger og problemer. Uinformeret brug kan føre til forkerte konklusioner om både forskning og forskere. Det er afgørende at forstå disse faldgruber.

Her er nogle af de mest væsentlige kritikpunkter:

• Repæsenterer ikke individuelle artikler: IF er et gennemsnit for hele tidsskriftet. Citationsrater for individuelle artikler er ofte meget skævt fordelt, hvor en lille håndfuld meget citerede artikler trækker gennemsnittet op, mens flertallet af artikler bliver citeret langt mindre end gennemsnittet.
• Favoriserer visse artikeltyper: Oversigtsartikler (reviews) bliver citeret langt hyppigere end originale forskningsartikler. Tidsskrifter, der publicerer mange reviews, opnår derfor ofte en kunstigt høj IF.
• Sproglig og geografisk bias: Databasen har en stærk overvægt af engelsksprogede og amerikanske tidsskrifter. Forskning publiceret på andre sprog eller i nationale tidsskrifter bliver underrepræsenteret.
• Forskel mellem forskningsfelter: Citationskulturen varierer dramatisk fra felt til felt. Et tidsskrift inden for fundamental matematik kan have en fremragende IF på 2, mens et gennemsnitligt tidsskrift inden for klinisk medicin kan have en IF på 10. Direkte sammenligning på tværs af discipliner er meningsløs.
• Kan manipuleres: Tidsskrifter kan forsøge at øge deres IF gennem praksisser som overdreven selvcitation eller ved at presse forfattere til at citere andre artikler fra tidsskriftet.
• Begrænset datagrundlag: Databasen inkluderer ikke bøger, konferenceproceedings eller mange andre former for videnskabelig output som citationskilder, hvilket især er et problem for humanistiske og visse samfundsvidenskabelige fag.

Tabel: Fordele og ulemper ved Impact Factor

Konklusion: Brug Impact Factor med omtanke

Impact Factor er hverken et perfekt eller et ubrugeligt værktøj. Problemet opstår, når det bruges ukritisk som den eneste eller vigtigste indikator for videnskabelig prestige og kvalitet. I en ideel verden ville evaluatorer læse hver enkelt artikel og foretage en personlig vurdering, men med millioner af publikationer hvert år er dette upraktisk. IF tilbyder en genvej, men det er en genvej fyldt med faldgruber.

Den bedste tilgang er at bruge Impact Factor som en del af en bredere evaluering, der også inkluderer kvalitativ vurdering som peer-review, analyse af den enkelte artikels citationer (ikke kun tidsskriftets gennemsnit) og andre metrikker (altmetrics), der måler gennemslagskraft på sociale medier og i offentligheden. En informeret og forsigtig brug af data er afgørende. At reducere en forskers eller en artikels værdi til et enkelt tal er en grov forsimpling af den komplekse virkelighed, som videnskab er.

Ofte Stillede Spørgsmål (OSS)

Hvad betragtes som en "god" Impact Factor?

Dette er et af de mest almindelige spørgsmål, men der findes intet enkelt svar. En "god" IF er ekstremt relativ og afhænger fuldstændigt af forskningsfeltet. Inden for et smalt, teoretisk felt kan en IF på over 2 være exceptionelt godt. Inden for biomedicin kan de førende tidsskrifter som The Lancet eller Nature have IF-scorer på over 100. Den eneste meningsfulde måde at vurdere en IF på er ved at sammenligne den med andre tidsskrifter inden for præcis samme specialiserede kategori.

Hvorfor har 'Ca A Cancer Journal for Clinicians' en så exceptionelt høj Impact Factor?

Dette tidsskrifts ekstremt høje IF på over 500 skyldes dets unikke publikationsmodel. Det udgiver primært store oversigtsartikler, kliniske retningslinjer og årlige kræftstatistikker fra anerkendte organisationer som American Cancer Society. Disse dokumenter bliver referenceværker, som citeres af tusindvis af forskere, klinikere og sundhedsmyndigheder verden over hvert år. Da tidsskriftet udgiver relativt få artikler, men hver artikel modtager et enormt antal citationer, bliver gennemsnittet – og dermed dets Impact Factor – astronomisk højt. Det er et ekstremt eksempel på, hvordan artikeltype i høj grad påvirker scoren.

Er Impact Factor det samme som videnskabelig kvalitet?

Nej, absolut ikke. Impact Factor er et mål for gennemsnitlig citationsfrekvens, som ofte bruges som en proxy for indflydelse eller synlighed. Det er ikke en direkte måling af en artikels videnskabelige stringens, originalitet eller sandhedsværdi. En banebrydende og korrekt artikel i et tidsskrift med lav IF kan have langt større videnskabelig værdi end en middelmådig artikel i et tidsskrift med høj IF. Citationsanalyse kan indikere indflydelse, men kvalitet skal i sidste ende vurderes gennem kritisk læsning og peer-review.