Návrh výzkumného záměru MSM0021620810 a jeho hodnocení

PHYSIOME-CZ, Formalizace a modelování biomedicínských a zdravotních systémů a jejich využití pro interpretaci experimentálních výsledků základního výzkumu, klinickou praxi, moderní lékařskou výuku a pro řízení zdravotnictví (součást mezinárodního projektu PHYSIOME) - závěr do 13/31/2011

MUDr. Jiří Kofránek, CSc, 1. Lékařská fakulta, Univerzita Karlova v Praze

Návrh výzkumného záměru (pdf) - 48 stran textu

Shrnutí oponentského hodnocení

 

1.1

1.2a 1.2b 1.3a

1.3b

1.3c 1.3d 1.3e CELKEM
1. oponent
B
B
B
B
A
C
B
B
B
2. oponent
B
B
A
B
A
C
B
A
B
3. oponent
Bz
Bz
Bz
Bz
Bz
Cz
Bz
Az
B

Celkové zhodnocení 1. oponenta: Návrh je velmi kvalitní, jak vyplývá i z předcházejících dílčích hodnocení. Za velmi důležité pokládám především tyto dvě skutečnosti. Řešená oblast je velmi významná z hlediska rozvoje medicíny a řešitelé jsou schopni tuto oblast dále úspěšně rozvíjet. Plně podporuji přijetí tohoto záměru, s mírnými výhradami k nárůstu provozních nákladů, jak uvádím v komentáři finančního zabezpečení.

Celkové hodnocení 2. oponenta: No further comment needed.

Celkové hodnocení 3. oponenta: The IRP describes a unique collection of interesting collaborative projects between experts in medical sciences and experts in modeling / computing. The team includes several leading researchers with a good publications record. There is enough evidence of involvement into international collaboration with word leading centres. Current results of participants are interesting and encouraging. It is very likely that the IRP will be succesfully realised. There are no doubts that realisation of IRP will make a significant impact to medicine and modelling. The objectives are challenging, methods are adequate, and expected results are interesting. I will recommend to support the IRP.

posudek oponenta č.1 (pdf)
posudek oponenta č.2 (pdf)
posudek oponenta č.3 (pdf)

Kategorie financování

Po zakalkulování hodnocení meziresortní komise a po zpětném nastavení škály financování shlukovou analýzou byla tato žádost, kterou všichni tři oponenty hodnotili shodně jako velmi kvalitní, a která získala celkově 366,594 bodů (z teoretického maxima 500), zařazena do kategorie financoání "D".

Fatálně nás poškodila skutečnost, že výsledná bodová ohodnocení udělená meziresortní komisí jsou v příkrém rozporu s vyváženým bodovým hodnocením uděleným třemi oponenty. To, že komentáře udělené meziresortní komisí jsou v rozporu jak s bodovým hodnocením komise samotné, tak s bodovým i slovním hodnocením oponentů se už jeví jako zábavná třešnička navrch.

protokol o hodnocení VZ meziresortní hodnotící komisí

Fakt, že hodnotící komise posoudila a uznala navržené náklady a institucionální podporu jako odpovídající, společně s faktem, že výsledkem hodnocení VZ je doporučení komise poskytnout institucionální podporu, nás sice může zahřát na duši, ale o kolik bodů a v čem jsme byli horší než ti nejlepší z nejlepších nám nikdo nepoví. :o(

Pozn. (M.A.): Velmi podrobně jsem prošel posudky oponentů, hodnocení komise i pravidla kalkulace a interpretace výsledného bodového hodnocení. To, že jsem nabyl přesvědčení, že systém hodnocení je nastaven záměrně špatně a že jsme byly výrazně poškozeni body udělenými hodnotící komisí je vcelku vedlejší.

Tento postup dává komisi do rukou při vyhodnocování velmi vyrovnané skupiny uchazečů nenapadnutelnou prakticky absolutní rozhodovací moc. Zajímavým důsledkem ovšem je, že projekt vesměs hodnocený jako velmi kvalitní a všemi (oponenty i komisí) doporučovaný k financování se nakonec zčista jasna octne v nejhorší možné kategorii. Zajímalo by mne, proč nikdo nechce zveřejnit, na kolika bodech jsou rozhraní mezi jednotlivými kategoriemi financování.


Stručný přehled udělených bodů

  Dosažený počet bodů Teoretické maximum bodů Dosaženo % z teoretického maxima Poznámky
Body udělené na základě oponentských posudků
317,594
400
79,4 %
Odpovídá dobře vyrovnaným posudkům na úrovni hodnocení B.
Body udělené meziresortní hodnotící komisí
49
100
49 %
Naprosto nerespektuje oponentské posudky na jejichž základě měli být tyto body uděleny.
Součet všech udělených bodů
366,594
500
73,3 %

PODROBNÉ BODOVÉ VYHODNOCENÍ OPONENTSKÝCH POSUDKŮ
- v této části dosaženo 79,4% teoretického maxima. (dle platných pravidel MŠMT)

kritérum
Počet bodů Max. bodů
2.1 Transformace oponentské škály na číselné hodnoty
245,300
max.300
kritérium 1.1
max . 18
1.2a
max. 17
1.2b
max. 15
1.3a
max. 9
1.3b
max. 18
1.3c
max. 9
1.3d
max. 6
1.3e
max. 8
1.oponent

14,4

13,6
12
7,2
18
4,5
4,8
6,4
2.oponent
14,4
13,6
15
7,2
18
4,5
4,8
8
3.oponent
14,4
13,6
12
7,2
14,4
4,5
4,8
8
tj. 82%
z teoretického maxima
     
2.2.A Relace "r" mezi dílčími kritérii (1.i) a souhrnným stanoviskem (2) oponenta
0,000
max.0
Relace "r" chybné hodnoty uvedené hodnotící komisí SPRÁVNÁ HODNOTA VYPOČTENÁ DLE PLATNÝCH PRAVIDEL MŠMT :o)
(1. posudek) r1=
0,989
1,011
(2. posudek) r2=
0,936
1,068
(3. posudek) r3=
1,014
0,986

průměrně 1,022

(dle platných pravidel)

     
2.2.B Míra "s" shody oponentních posudků v hodnocení podle dílčích kritérií (1.i)
21,735
max.30
kritérium 1.1 1.2a 1.2b 1.3a 1.3b 1.3c 1.3d 1.3e
hodnocení
B-B-B
B-B-B
B-A-B
B-B-B
A-A-B
C-C-C
B-B-B
B-A-A
Relace "s"
1,00
1,00
0,75
1,00
0,75
1,00
1,00
0,75
tj. 72,5%
z teoretického maxima
     
2.2.C Relace "v" mezi škálou a slovním komentářem oponenta k dílčím kritériím (1.i)
20,442
max.25
Relace "v" 1.1 1.2a 1.2b 1.3a 1.3b 1.3c 1.3d 1.3e
1.oponent
1,0
1,0
1,0
1,0
1,0
1,0
1,0
1,0
2.oponent
1,0
1,0
1,0
1,0
1,0
1,0
1,0
1,0
3.oponent
1,0
1,0
1,0
1,0
1,0
1,0
1,0
1,0
tj. 82%
z teoretického maxima
     
2.2.D Vyváženost "i" návrhu VZ
30,117
max.45
Relace "i" ( 1.1 + 1.2a + 1.2b) * ( 1.3a + 1.3b + 1.3c + 1.3d + 1.3e )
1.oponent
( 0,8*18 + 0,8*17 + 0,8*15 ) * ( 0,8*9 + 1,0*18 + 0,5*9 + 0,8*6 + 0,8*8 )
2.oponent
( 0,8*18 + 0,8*17 + 1,0*15 ) * ( 0,8*9 + 1,0*18 + 0,5*9 + 0,8*6 + 1,0*8 )
3.oponent
( 0,8*18 + 0,8*17 + 0,8*15 ) * ( 0,8*9 + 0,8*18 + 0,5*9 + 0,8*6 + 1,0*8 )
tj. 67%
z teoretického maxima

PODROBNÉ BODOVÉ POSOUZENÍ NÁVRHU VZ HODNOTÍCÍ KOMISÍ
- v této části dosaženo 49% teoretického maxima.

kritérium Počet bodů Max. bodů
3. Posouzení návrhu VZ meziresortní komisí
49,000
max.100
  Výchozí pojmy (a jim přidělené body) max. 5 => Odvozené parametry (promítnuté do celkového hodnocení) Výsledek
a b c d A = [a;b] B = [a;c] C = [c;d] D = [b;d]
skutečné hodnocení komise

3

4

4

3

=>

[3; 4]

[3; 3]

[3; 4]

[4; 4]

49

  tj. 70%z teoretického maxima   tj. díky kvadrátu norem parametrů ve vyhodnocovacím postupu pouze 49% z teoretického maxima  
 
tj. 49%
z teoretického
maxima

Graf bodovaných výchozích pojmů a odvozených započítávaných parametrů dle platných pravidel hodnocení: náčrtek.gif

Bodované výchozí pojmy:

Odvozené započítávané: max. [5; 5]


Pravidla a postup, podle nichž bylo meziresortní hodnocení návrhů výzkumných záměrů provedeno, najdete zde .

Pravidla a postup, podle nichž byla dodatečně určena bodová rozhraní jednotlivých kategorií financování, ani jaká bodová rozhraní vlastně nakonec byla určena, to nikdo nikdy nezveřejnil a pravděpodobně to ani nikdo nemá v úmyslu.


 

Dotazy, prosím, směřujte na adresy: kofranekemail.cz, resp. michal.andrliklf1.cuni.cz