Clubby en storing citatiegedrag van onderzoekers in Italië is gestegen

Markeer Airs / Getty Images

Clubby en storing citatiegedrag van onderzoekers in Italië is gestegen

Door Giorgia GuglielmiSep. 11, 2019, 14:00 uur

De snelheid waarmee wetenschappers in Italië zichzelf en hun landgenoten noemen, stijgt volgens een nieuwe studie sneller dan in 10 andere ontwikkelde landen. De sterke stijging van het clubby-citatiegedrag van Italië is waarschijnlijk het resultaat van een wet uit 2010 die productiviteitsnormen vereist voor academische werving of promotie, zeggen de auteurs van de studie.

De bevindingen zijn een waarschuwend verhaal voor onderzoeksbeheerders die te veel vertrouwen op citaatgegevens bij het toewijzen van middelen en het nemen van beslissingen over loopbaanontwikkeling, zegt studie-auteur Giuseppe De Nicolao, ingenieur aan de Universiteit van Pavia in Italië. Het koppelen van professionele vooruitgang aan citatie-indicatoren kan wetenschappers in onbedoeld gedrag brengen en de statistieken onbetrouwbaar maken, zegt hij.

De bevindingen zijn storend, zegt Ludo Waltman, een bibliometrische expert aan de Universiteit Leiden in Nederland die niet bij het onderzoek was betrokken. Om twijfelachtige citatiepraktijken te beperken, zegt Waltman, moet het Italiaanse evaluatiesysteem zelfcitaties uitsluiten en factoren zoals de ervaring en activiteiten van een onderzoeker in overweging nemen naast het aantal citaties.

Nadat de wet van 2010 was aangenomen, begon Italië academische werving en promotie te reguleren met behulp van indicatoren zoals citatietellingen. Het was bedoeld om bezorgdheid over nepotisme en een gebrek aan meritocratie aan te pakken.

Volgens het beleid kunnen academici geen baan of promotie zoeken als universitair hoofddocent of hoogleraar, tenzij ze voldoen aan ten minste twee van de drie indicatoren voor onderzoeksproductiviteit. Op gebieden zoals geneeskunde en natuurwetenschappen omvatten deze indicatoren het aantal publicaties, het aantal ontvangen citaten en de h-index een gecombineerde maat voor productiviteit en citatie-impact.

Citaten komen naar binnen

In vergelijking met andere landen, zag Italië een snellere stijging van de binnenlandheid, het percentage citaties naar wetenschappelijke artikelen van een land dat afkomstig was van auteurs in hetzelfde land.

2008 2010 2012 2014 2016 20 22 24 26 28 30 32% Japan Verenigd Koninkrijk Italië Frankrijk Inwardness
Grafisch: J. Brainard / Science; Gegevens: A. Baccine et al .; PLOS EEN

Eerdere studies hebben aangetoond dat het beleid van 2010 leidde tot een toename van zelfcitaties. In die onderzoeken is echter niet gekeken naar het aandeel van de publicaties van elk land die door andere wetenschappers in hetzelfde land worden aangehaald, zegt Alberto Baccini, een expert op het gebied van scientometrie aan de Universiteit van Siena in Italië. Deze intranationale citaten kunnen citatieclubs onthullen, een subtiele vorm van manipulatie waarin groepen wetenschappers elkaar citeren om hun citatiescore te verhogen, zegt Baccini.

Dus gingen Baccini, De Nicolao en hun team op zoek naar een indicator voor innerlijkheid, die zowel zelfreferente als intranationale citaten meet. De onderzoekers doorzochten de Scopus-database van Elsevier, een van 's werelds grootste voor onderzoeksliteratuur, voor citaten telt tussen 2000 en 2016 voor onderzoekers in de G-10, een groep van 11 ontwikkelde landen. Om de innerlijkheid van een land te berekenen, telde het team citaten van de auteurs van een land op artikelen die in dat land waren geschreven en verdeelde dit cijfer door het totale aantal citaten dat het land had verzameld.

Alle landen vertoonden in de loop van de tijd bescheiden stijgingen, die paradoxaal genoeg kunnen worden verklaard door een toename van internationale samenwerkingen. Hiermee wordt het aantal papieren uit deelnemende landen uitgebreid dat kan worden geciteerd. Neem bijvoorbeeld een artikel dat mede is geschreven door onderzoeksmedewerkers in Italië en Frankrijk: elke verwijzing naar dit artikel uit een Italiaanse of Franse publicatie zal gelden als een intranationaal citaat voor zowel Italië als Frankrijk.

Beginnend in 2010, echter, begon de innerlijkheid van Italië snel toe te nemen, overtreffen Frankrijk, Japan en het Verenigd Koninkrijk, vonden de onderzoekers. De stijging kon niet worden toegeschreven aan samenwerkingen, omdat de groeisnelheid van Italië voor internationale samenwerkingen tussen 2000 en 2016 bloedarm was in vergelijking met andere landen. Tegen 2016 was ongeveer 31% van de citaten van Italië afkomstig van auteurs binnen zijn grenzen vele vele laag er zijn meer.

Omdat de trends veranderden na de introductie van het 2010-beleid, is het waarschijnlijk dat auteurs in Italië opportunistisch gedrag hebben aangenomen, waaronder massaal citeren van hun eigen werk en dat van collega's, om de beleidsdoelen van hun land te bereiken, de onderzoekers rapporteer vandaag in PLOS ONE.

Marco Seeber, een wetenschapsbeleidonderzoeker aan de Universiteit van Gent in België, zegt dat de groei van de innerlijkheid van Italië opvallend is. In maart onderzocht Seeber het gebruik van citatiegegevens en constateerde een aanzienlijke toename van zelfcitaties na het beleid van 2010. Het beleid werd gemotiveerd door waardige bedoelingen, zegt hij. Maar bibliometrische indicatoren moeten worden gebruikt om informatie te informeren in plaats van om evaluaties te bepalen

Seeber zegt dat het onduidelijk is hoeveel van Italië innerlijkheid is van zelfcitatie versus citatieclubs. Om deze clubs aan het licht te brengen, zou men individuele papieren moeten onderzoeken om legitiem van valse citaten te discrimineren, zegt hij.

John Ioannidis, arts-wetenschapper aan de Stanford University in Palo Alto, Californië, vermoedt dat citatieclubs achterlopen op de trend van Italië. Ioannidis, die een database heeft gemaakt die honderden extreem zelfciterende onderzoekers heeft onthuld, zegt dat de nieuwe studie nog een ander voorbeeld biedt van hoe statistieken kunnen worden misbruikt. Hij merkt op dat zelfcitaties nodig zijn als een studie voortbouwt op eerder werk van de auteurs of hun collega's. "Maar als iemand meer dan de helft van zijn citaten van zichzelf of zijn co-auteurs heeft verzameld, is dat best raar", zegt hij. "Je moet het van dichtbij bekijken."