Bedömningskriterier för projektmedel

Bedömningskriterier för projektmedel

Forskningskommittén, Örebro läns landsting

Granskningskriterierna omfattar tre aspekter:

1. Övergripande prioritering.
2. Vetenskapliga kriterier.
3. Kostnadsredovisning.

Den övergripande prioriteringen består av två kriterier:

1. Klinisk tillämpbarhet.
2. Relevans/nytta.

De vetenskapliga kriterierna består av sex kriterier:
1. Bakgrund/frågeställningar.
2. Originalitet.
3. Metodik/Design.
4. Urval.
5. Analys.
6. Kostnadsredovisning.

Samt ytterligare två kriterier för forskning kring äldres hälsa och sjukdomar:
7. Tvärprofessionell ansats
8. Samverkan.

Vid fortsättningsansökan ska även projektets vetenskaplig progress bedömas.

Dessa delaspekter/kriterier bedöms enligt skalan 0 (lågt betyg) till 4 (högt betyg). Programmet räknar automatiskt ut ett summavärde. Om man som granskare inte anser sig kompetent att bedöma anges frågetecken (?).

Forskningskommittén lägger stor vikt vid att CV och personkort är uppdaterade och kompletta. Om så inte är fallet kan det resultera i poängavdrag vid bedömning av ansökan.

Exempel på granskningssammanställning

Du kan läsa Mer om studiedesign på en extern webbsida

Varje studie måste bedömas utifrån sina förutsättningar och inte relateras till en idealdesign.
Av avgörande betydelse är om design/metodvalet överensstämmer med syfte och frågeställning.
T ex bör en fall-kontrollstudie med retrospektiv mätning med enkät kunna få högsta poäng om
någon annan mätmetod inte är möjlig och om enkäten är optimalt utformad. Poängbedömningen
ligger till grund för diskussion och beslut vid Forskningskommitténs sammanträde.

Övergripande prioritering

Klinisk tillämpbarhet i hälso- och sjukvården:

•Går resultaten att tillämpa nu, senare eller kanske inte alls?

4 Direkt i sin helhet tillämpbar.
3 Sannolikt på sikt helt tillämpbar.
2 Sannolikt delvis tillämpbar.
1 Osäkert om tillämpbar.
0 Ej tillämpbar.
? Ej kompetent att bedöma.

Relevans/Nytta:

•Oavsett om tillämpningen av resultaten kommer snabbt eller tar tid, hur stor potential/
nytta kan de tänkas ha när de väl implementeras?
•Är de frågeställningar som projektet ägnar sig åt relevanta att lägga resurser på?

4 Mycket stor nytta/relevans.
3 Klar nytta/relevans.
2 Viss nytta/relevans.
1 Tveksam nytta/relevans.
0 Ingen nytta/relevans.
? Ej kompetent att bedöma.

Vetenskapliga kriterier

Ansökans bakgrund och frågeställning(ar):

A Beskrivs det kliniska problemet? Har en adekvat litteraturgenomgång gjorts?

B Framgår det av ansökan att det är ett viktigt kliniskt problem och varför det är relevant
att lägga resurser på att lösa problemet? Här avses endast om den sökande kunnat ange
varför denne anser problemet relevant. (Båda krävs.)

C Beskrivs syfte och frågeställning för detta projekt klart i ansökan? Passar syfte/fråge-
ställningar med problemet man vill lösa? (Båda krävs.)

4 Samtliga ovanstående punkter beskrivs tydligt och begripligt.
3 A eller B är ofullständigt beskriven.
2 A och B är ofullständigt beskriven.
1 Alla tre av ovanstående punkter bedöms vara ofullständiga.
0 C saknas.
? Ej kompetent att bedöma.

Originalitet:

•Helhetsbedömning av arbetets art.

4 Mycket originellt med helt nya infallsvinklar.
3 Delvis nytänkande.
2 Bekräftande studie där enstaka tidigare studier finns.
1 Upprepning, flertal studier finns, resultat från frågeställning kända.
0 Plagiat/"me too". Bättre studier finns redan.
? Ej kompetent att bedöma.

Metod - Design:

Har vald design förutsättning att besvara frågeställningen?
Ja
Nej

Har genusperspektivet väl beaktats?
Ja
Nej
Ej relevant

Kvantitativ studie, interventionsstudie

För mer information se följande länkar:

Single case research experimental design Exempel på SCRED

4 Systematisk review, metaanalys eller ”randomized clinical trial” av god kvalitet.
3 ”Randomized clinical trial” med oklarhet i designbeskrivningen/”clinical controlled trial” av god kvalitet.
2 ”Clinical controlled trial” med oklarhet i designbeskrivningen/”single case research experimental design” (pilotstudie) av god kvalitet.
1 ”Single case research experimental design” med oklarhet i designbeskrivningen.
0 Ej adekvat. Allvarliga brister i studiens design.
? Kan ej/går ej att bedöma.

Kvantitativ observationsstudie

Longitudinell avser att individen mäts vid flera tillfällen. Tvärsnittsstudie att individen mäts bara en gång. Longitudinella studier skattas högre än tvärsnittsstudier och prospektiva högre än retrospektiva.

4 Prospektiv longitudinell studie (kohortstudie, case control studie) av god kvalitet.
3 Tvärsnittsstudie av god kvalitet. Prospektiv longitudinell studie med tveksamheter i design/Retrospektiv longitudinell studie (ofta fall-kontrollstudier) av god kvalitet.
2 Retrospektiv longitudinell studie med tveksamheter i design.
1 Oklarheter i design.
0 Ej adekvat. Allvarliga brister i studiens design.
? Kan ej/går ej att bedöma.

Kvalitativ studie

Inom den kvalitativa forskningen finns det inte någon design eller metod som i sig har ett större vetenskapligt värde än någon annan. Den vetenskapliga kvaliteten bestäms av om studiens design
är relevant för den vetenskapliga frågeställningen. Det bör finnas en kongruens mellan frågeställ-
ningar och studiens urval, datainsamlingsmetod och dataanalysmetod.

4. Studiens design är tydligt beskriven och väl motiverad.
3. Studiens design är mindre tydligt beskriven och/eller motiverad.
2. Studiens design är tveksam.
1. Studiens design är svårbedömd.
0. Studiens design har allvarliga brister.
? Ej kompetent att bedöma.

Metod – Urval/Representativitet

Denna punkt handlar om huruvida urvalet är adekvat och optimalt i förhållande till projektets frågeställning och design (för information om urvalsstrategier, klicka här).

Kvantitativ experimentell studie

Urval kan göras homogena genom restriktion, t ex till vissa åldrar eller kön eller genom snäva inklusionskriterier, i syfte att optimera den interna validiteten. Denna typ av urval lämpar sig
för hypotestestning och för att påvisa biologiska samband och orsaksmekanismer.

4 Inklusions- och exklusionskriterier är väl beskrivna och adekvata. Powerberäkning och bestämning av gruppstorlek är gjord på rimligt sätt. Resultaten bedöms generaliserbara till en population.
3 Inklusions- och exklusionskriterier är väl beskrivna och adekvata. Powerberäkning och bestämning av gruppstorlek är gjord på rimligt sätt. Resultaten ej nödvändigtvis generaliserbara till en population.
2 Inklusions- och exklusionskriterier är mindre väl beskrivna/adekvata och/eller oklarheter beträffande powerberäkningen föreligger.
1 Stora oklarheter i inklusions- och exklusionskriterier. Powerberäkning saknas.
0 Ej adekvat urval
? Ej kompetent att bedöma

Kvantitativ observationsstudie

Urval kan göras representativa genom obundet slumpmässigt urval eller stratifiering så att de rättvisande speglar den population urvalet dras ifrån i syfte att öka den externa validiteten, dvs generaliserbarheten. Denna typ av urval lämpar sig för deskriptiva studier, t ex av patientkategorier eller samhällsgrupper, men också för studier av tillämpbarhet och behandlingseffekt. Observera att powerberäkning inte alltid är meningsfull i utpräglat deskriptiva eller explorativa studier.

4 Representativt urval för att kunna tillämpa resultaten i en beskriven population. Powerberäkning och skattning av stickprovsstorlek är gjord på rimligt sätt.
3 Representativt urval för att kunna tillämpa resultaten i en beskriven population. Oklarheter beträffande powerberäkning och skattning av stickprovsstorlek.
2 Representativt urval för att kunna tillämpa resultaten i en beskriven population men powerberäkning saknas.
1 Oklarheter huruvida urvalet representerar en relevant population, oavsett om powerberäkning finns eller ej.
0 Ej adekvat urval
? Ej kompetent att bedöma

Kvalitativ studie

Representativitet är ett begrepp som inte är direkt användbart inom kvalitativ forskning. Ett centralt begrepp är överförbarhet. Det innebär att studiens urval och genomförande är så väl beskrivet att forskningskonsumenten kan bedöma om resultatet kan tillämpas på en annan definierad population.

Man talar mer om att finna ett mönster som kan antas ha viss allmängiltighet. Ofta handplockar man studiepersoner för att fånga så stor spridning som möjligt eller så stort djup som möjligt av åsikter/upplevelser/erfarenheter. Framgår det hur urvalet har gjorts och varför? Är urvalsstrategin
lämplig i förhållande till studiens syfte?

4 Urvalsstrategin beskrivs tydligt och inklusionen motiveras. Urvalsstrategin passar till studiens syfte.
3 Urvalsstrategin beskrivs men motiveras mindre tydligt.
2 Urvalsstrategin är bristfälligt beskriven.
1 Urvalet är olämpligt för syftet.
0 Ej adekvat.
? Ej kompetent att bedöma.

Metod - analys

Denna punkt handlar om huruvida databearbetning och analys är korrekta och konsekventa i för-
hållande till frågeställning och design. Här bedöms variablerna, mätmetoderna och analysmetoderna.
Ett väl beskrivet statistikavsnitt stärker ansökan.

Variabler kan grovt räknat indelas i 3 kategorier:

1. Oberoendevariabler som kan vara orsak, riskindikator, förklarande eller kategoribestämmande.
2. Störande variabler såsom ”confounders” och effektmodifikatorer som inte direkt relaterar till frågeställningen men som kan påverka analysresultatet.
3. Beroendevariabler som uttrycker utfall, risk eller effekt.

Mätmetoder bedöms efter validitet (relevans/giltighet) och reliabilitet (tillförlitlighet/pålitlighet).
Enkät eller screeningmetod bör vara validerad mot stabilt mått eller ”gold standard”, mätfel beskrivs
med t ex variationskoefficient eller reproducerbarhet. Sensitivitet-specificitet anges i tillämpliga fall.

Statistiska analysen måste använda metod/test som är adekvat i förhållande till datas karaktär.
(Se även Översikt över signifikansanalys och Översikt över sambandsanalys)

Kvantitativ experimentell studie

4 Variablerna är relevanta, mätmetoderna valida och reliabla och statistiska analysen adekvat.
3 Variablerna är relevanta, mätmetoderna är valida och reliabla men den statistiska analysen ej
adekvat eller oklart beskriven.
2 Variablerna och mätmetoderna är oklart beskrivna eller bristfälliga.
1 Analysavsnittet har allvarliga brister eller är så oklart beskrivet att det är svårt att bedöma.
0 Mätmetoder och analys kan inte göras på beskrivet sätt.
? Ej kompetent att bedöma.

Kvantitativ observationsstudie

4 Variablerna är relevanta, mätmetoderna valida och reliabla och statistiska analysen adekvat.
3 Variablerna är relevanta, mätmetoderna är valida och reliabla men den statistiska analysen ej
adekvat eller oklart beskriven.
2 Variablerna och mätmetoderna är oklart beskrivna eller bristfälliga.
1 Analysavsnittet har allvarliga brister eller är så oklart beskrivet att det är svårt att bedöma.
0 Mätmetoder och analys kan inte göras på beskrivet sätt.
? Ej kompetent att bedöma.

Kvalitativ studie

Beskrivs och motiveras valet av analysmetod? Beskrivs analysens olika steg? Knyts analysen till referenslitteratur?

4. Bearbetning och analysmetod är klart beskrivna och motiverade samt knutna till referenslitteratur.
3. Bearbetning och analysmetod är klart beskrivna och motiverade men ej knutna till referenslitteratur.
2. Bearbetning och analysmetod verkar rimliga men är otillräckligt beskrivna/motiverade.
1. Bearbetning och analysmetod är tveksamma.
0. Går ej att bedöma, ej beskrivet.
?. Ej kompetent att bedöma.

Kostnadsredovisning

Helhetsbedömning av huruvida sökta medel är specificerade och relevanta. Vid ansökan om delfinansiering bör projektets totala finansiering anges.

4. Kostnaderna/tidsåtgången är detaljspecificerade och motiverade. Beloppet är rimligt.
3. Kostnaderna/tidsåtgången är inte adekvat specificerade och/eller motiverade. Beloppet är rimligt.
2. Kostnaderna/tidsåtgången är inte adekvat specificerade och/eller motiverade. Beloppet är ej rimligt.
1. Specifikation och motivering saknas. Beloppet förefaller dock rimligt.
0. Specifikation och motivering saknas. Beloppet är orimligt.
?. Ej kompetent att bedöma.

Tvärprofessionell ansats

4. Mycket stor tvärprofessionell ansats
3. Klar tvärprofessionell ansats
2. Viss tvärprofessionell ansats.
1. Tveksam tvärprofessionell ansats
0. Ingen tvärprofessionell ansats
?. Ej kompetent att bedöma.

Samverkan

4. Mycket stor samverkan
3. Klar samverkan
2. Viss samverkan
1. Tveksam samverkan
0. Ingen samverkan
?. Ej kompetent att bedöma.

Vetenskaplig progress - Fortsättningsansökan

4. Mycket stor progress.
3. Klar progress.
2. Viss progress.
1. Tveksam progress.
0. Ingen progress.
?. Ej kompetent att bedöma.

Progress ska enbart poängbedömas i fortsättningsansökningar. I nya ansökningar ska "?" anges vid ”Progress”.

PublishedDocument information: Bedömningskriterier för projektmedel | Last modified: 2015-04-27 by Lena Björkman

Bedömningskriterier för projektmedel, from Region Örebro län
http://www.researchweb.org/is/en/oll/document/68951