Návrh výzkumného záměru MSM0021620810 a jeho hodnocení

PHYSIOME-CZ, Formalizace a modelování biomedicínských a zdravotních systémů a jejich využití pro interpretaci experimentálních výsledků základního výzkumu, klinickou praxi, moderní lékařskou výuku a pro řízení zdravotnictví (součást mezinárodního projektu PHYSIOME) - závěr do 13/31/2011

MUDr. Jiří Kofránek, CSc, 1. Lékařská fakulta, Univerzita Karlova v Praze

Návrh výzkumného záměru (pdf) - 48 stran textu

Shrnutí oponentského hodnocení

• 1.1. - B - očekávaný přínos VZ
• 1.2a - B - vědecký potenciál uchazeče
• 1.2b - B⁺ - mezinárodní spolupráce
• 1.3a - B - strategie a metody řešení VZ
• 1.3b - A^- - řešitelský tým
• 1.3c - C - infrastruktura
• 1.3d - B - časový harmonogram řešení
• 1.3e - A^- - finanční zabezpečení
• 2 - B - CELKEM

Celkové zhodnocení 1. oponenta: Návrh je velmi kvalitní, jak vyplývá i z předcházejících dílčích hodnocení. Za velmi důležité pokládám především tyto dvě skutečnosti. Řešená oblast je velmi významná z hlediska rozvoje medicíny a řešitelé jsou schopni tuto oblast dále úspěšně rozvíjet. Plně podporuji přijetí tohoto záměru, s mírnými výhradami k nárůstu provozních nákladů, jak uvádím v komentáři finančního zabezpečení.

Celkové hodnocení 2. oponenta: No further comment needed.

Celkové hodnocení 3. oponenta: The IRP describes a unique collection of interesting collaborative projects between experts in medical sciences and experts in modeling / computing. The team includes several leading researchers with a good publications record. There is enough evidence of involvement into international collaboration with word leading centres. Current results of participants are interesting and encouraging. It is very likely that the IRP will be succesfully realised. There are no doubts that realisation of IRP will make a significant impact to medicine and modelling. The objectives are challenging, methods are adequate, and expected results are interesting. I will recommend to support the IRP.

Kategorie financování

Po zakalkulování hodnocení meziresortní komise a po zpětném nastavení škály financování shlukovou analýzou byla tato žádost, kterou všichni tři oponenty hodnotili shodně jako velmi kvalitní, a která získala celkově 366,594 bodů (z teoretického maxima 500), zařazena do kategorie financoání "D".

Fatálně nás poškodila skutečnost, že výsledná bodová ohodnocení udělená meziresortní komisí jsou v příkrém rozporu s vyváženým bodovým hodnocením uděleným třemi oponenty. To, že komentáře udělené meziresortní komisí jsou v rozporu jak s bodovým hodnocením komise samotné, tak s bodovým i slovním hodnocením oponentů se už jeví jako zábavná třešnička navrch.

protokol o hodnocení VZ meziresortní hodnotící komisí

Fakt, že hodnotící komise posoudila a uznala navržené náklady a institucionální podporu jako odpovídající, společně s faktem, že výsledkem hodnocení VZ je doporučení komise poskytnout institucionální podporu, nás sice může zahřát na duši, ale o kolik bodů a v čem jsme byli horší než ti nejlepší z nejlepších nám nikdo nepoví. :o(

Pozn. (M.A.): Velmi podrobně jsem prošel posudky oponentů, hodnocení komise i pravidla kalkulace a interpretace výsledného bodového hodnocení. To, že jsem nabyl přesvědčení, že systém hodnocení je nastaven záměrně špatně a že jsme byly výrazně poškozeni body udělenými hodnotící komisí je vcelku vedlejší.

• Oponenti udělují hodnocení podle stupnice s předem definovaným významem. Po jistých nutných korekcích se bodové hodnocení udělené oponenty sčítá.
• Oproti tomu hodnotící komise uděluje body na stupnicích, jejíž význam není žádný způsobem určen! Takto udělená bodová hodnocení jsou nejprve umocněna svým kvadrátem a teprve potom přičteny k ostatnímu bodování.
  • ilustrace: 1²=1x1 . . . takový bodový zisk lze přirovnat k jedinému velmi špatnému hodnocení
  • 3²=3x3 . . . lze přirovnat k třem špatným hodnocením
  • 5²=5x5 . . . lze přirovnat k pěti excelentním hodnocením

Tento postup dává komisi do rukou při vyhodnocování velmi vyrovnané skupiny uchazečů nenapadnutelnou prakticky absolutní rozhodovací moc. Zajímavým důsledkem ovšem je, že projekt vesměs hodnocený jako velmi kvalitní a všemi (oponenty i komisí) doporučovaný k financování se nakonec zčista jasna octne v nejhorší možné kategorii. Zajímalo by mne, proč nikdo nechce zveřejnit, na kolika bodech jsou rozhraní mezi jednotlivými kategoriemi financování.

Stručný přehled udělených bodů

PODROBNÉ BODOVÉ VYHODNOCENÍ OPONENTSKÝCH POSUDKŮ
- v této části dosaženo 79,4% teoretického maxima. (dle platných pravidel MŠMT)

PODROBNÉ BODOVÉ POSOUZENÍ NÁVRHU VZ HODNOTÍCÍ KOMISÍ
- v této části dosaženo 49% teoretického maxima.

Graf bodovaných výchozích pojmů a odvozených započítávaných parametrů dle platných pravidel hodnocení: náčrtek.gif

Bodované výchozí pojmy:

• (a) výchozí stav poznání: 3b z 5ti možných
  • aktuální úroveň poznání (z mezinárodního hlediska) v oblasti, která je předmětem řešení VZ, míra otevřenosti poznatkové základny, dosavadní podíl uchazeče/vykonavatele na rozvoji oboru a rozšiřování poznatkové základny
  • oponenti: 1.2a=BBB, 1.2b=BAB
  • Komise: Navrhovatel je na standardní úrovni vědecko-výzkumné činnosti, k formalizaci a modelování využívá zavedených metod.
  • oponent 1:"Řešená oblast je velmi významná z hlediska rozvoje medicíny a řešitelé jsou schopni tuto oblast dále úspěšně rozvíjet."
  • oponent 1: "Mezinárodní spolupráce je široká a dlouhodobá."
  • oponent 2: "Sections B4.a to B4.e demonstrate a comprehensive list of collaborations. There exist 8 projects within EU, 5 apparently bilateral projects with prominent institutions of the UK, the Netherlands and grants of the NATO. There is further 9 international grant from EU. ...It clearly document a wide range of related scientific activities with EU and international partners."
  • oponent 3: "The paragraphs B4a-B4e clearly show a very interesting collaborative research between participants of the IRP and prominent research institutions across the world..."
  • oponent 3: "Current results of participants are interesting and encouraging."
• (b) dopad řešení VZ: 4b z 5ti možných
• potenciální příspěvek k rozvoji v poznání (u aplikovaného výzkumu zejména inovační potenciál a využitelnost výsledků) v souvislosti se způsobem uchopení výzkumného tématu (strategie a metody řešení, komplexnost, originalita řešení) a aktuálností řešení dané problematiky z hlediska časového a teritoriálního
• oponenti: 1.1=BBB, 1.3a=BBB
• Komise: Řada výsledků řešení VZ může být uvedena do klinické a pedagogické praxe.
  • oponent 2: "... It brings in as an aditional new research area the plan to use modeling and simulation also in health care systems. Specific sub-projects are detailed in section C5. It introduces about 20 specific areas in which modeling and simulation are being developed and applied. ..."
  • oponent 2: "... the results of research proposal will have an impact continuing also after the peiod of the proposal." "
  • oponent 3: "The results of IRP will make a significant impact to mathematical and computational modelling in medicine."
• (c) předpoklady k řešení VZ: 4b z 5ti možných
• kvalifikační a věková struktura řešitelského týmu, jeho pracovní kapacita, jeho výzkumný potenciál daný počtem relevantních výsledků vztažených k přečteným pracovním úvazkům výzkumných zaměstnanců D1. a vybudovaná infrastruktura
• oponenti: 1.3b=AAB, 1.3c=CCC, 1.2a=BBB
• Komise: Řešitelský tým není dostatečně vybaven ani personálně ani přístrojově k řešení deklarovaných cílů (zejména v oblasti matematického modelování).
  • oponent 1: "Pracovní tým má řadu výrazných osobností. Jeho věková struktura je přiměřená. ... Kapacita týmu je tedy dostatečná a tým má velmi dobrou perspektivu i po dokončení záměru."
  • oponent 1: "Je dobře vidět, že řešitelský tým má v dané oblasti značné zkušenosti, používá osvědčených metod, které rozšiřuje tak, jak mu umožňuje rozvoj nových technologií."
  • oponent 2:"There should be no difficulties in implementing the specific research goals."
  • oponent 2:"... this relations should provide a well-balanced team structure for efficient work."
  • oponent 2: "The persons listed under D1 are well-known in their respective areas of expertise."
  • oponent 3: "... Potentially, the research team looks promising."
  • oponent 3: "The team includes leading scientists with a good publication record and long-term research experience. ... There is a good perspective for continuation research beyond the project duration.
  • oponent 3:"The description C6-C8 gives indications that the current infrastructure with some upgrading of equipment can be succesfully used to reach the research objectivies."
• (d) příležitost: 3b z 5ti možných
  • obsazenost a otevřenost výzkumného prostoru v oblasti, která je předmětem řešení VZ z hlediska národního a mezinárodního (dáno souborem hodnocených návrhů VZ a sítí pracovišť zabývajících se stejnou/obdobnou tématikou
  • oponenti: 1.1=BBB, 2.2=BBB (+ viz. komentáře oponentů)
  • Komentář komise: Zvolené výzkumné téma je ojedinělé, síť pracovišť zabývajících se obdobnou problematikou je řídká.
    • pozn. navrhovatel: Jednak komentář komise by měl být sám o sobě důvodem k udělení 5ti bodů, neboť za takové situace šance se prosadit dramaticky roste. :o)
    • pozn. navrhovatel: Zvolená výzkumná témata jsou celosvětově na silném vzestupu jako relativně mladá a velice slibná vědecká oblast. Jediným silným omezením rychlosti tohoto vzestupu je interdisciplinarita dané problematiky. :o)
    • oponent 3: "The IRP describes a unique collection of interesting collaborative projects between experts in medical sciences and experts in modeling / computing."
    • oponent 2: "Modeling and simulation are the most advanced tool to explore complex systems quantitatively. In combination with the currently available computers extremely valuable research can be performed."
    • oponent 2: "Considering the available expertise of research groups it is definitely a promising area to purpose."
    • oponent 3: "It is very likely, that the IRP will generate a new knowledge and move forward mathematical and computational modelling in medicine."

Odvozené započítávané: max. [5; 5]

• A. Přínos řešení VZ [a; b]: započítávaný kvadrát normy = 12 bodů z 25ti možných
• Např. oponent 3: There are no doubts that realisation of IRP will make a significant impact to medicine and modelling.
• B. Připravenost k řešení VZ [a; c]: započítávaný kvadrát normy = 9 bodů z 25ti možných
  • Např. oponent 1: "Vykonavatel v dané oblasti soustavně pracuje od 60.let, dobře navazuje na dlouhodobé trendy. Teprve prudký nárůst možností výpočetní techniky umožnil výrazný pokrok v formalizaci a využití počítačových modelů v oblasti medicíny a učinil tuto oblast silně multidisciplinární. Vykonavatel tento trend zachytil."
• C. Šance uspět [c; d]: započítávaný kvadrát normy = 12 bodů z 25ti možných
  • Např. oponent 3: "Both established collaborations and new cooperative projects strongly support that the succesful realization of the IRP is very probable."
• D. Pravděpodobnost uspokojení potřeb [b; d]: započítávaný kvadrát normy = 16 bodů z 25ti možných

Pravidla a postup, podle nichž bylo meziresortní hodnocení návrhů výzkumných záměrů provedeno, najdete zde .

Pravidla a postup, podle nichž byla dodatečně určena bodová rozhraní jednotlivých kategorií financování, ani jaká bodová rozhraní vlastně nakonec byla určena, to nikdo nikdy nezveřejnil a pravděpodobně to ani nikdo nemá v úmyslu.

Dotazy, prosím, směřujte na adresy: kofranekemail.cz, resp. michal.andrliklf1.cuni.cz