45. Jahrgang - Januar 2004
Sonderbeiträge | Special Articles
Th. Prien, M. Siebolds
Beurteilung der Facharztweiterbildung durch Ärzte in Weiterbildung anhand eines validierten Fragebogens
Evaluation of medical residency training programmes by residents using a validated questionnaire
Schlüsselwörter
Weiterbildung zum Facharzt, Programmevaluation, Fragebogen
Keywords
Medical Residency, Programme Evaluation, Questionnaire
Zusammenfassung
Zusammenfassung: Es gibt zahlreiche Gründe, die für eine Evaluation der Weiterbildung zum Facharzt durch Ärzte, die sich gegenwärtig in Weiterbildung befinden, sprechen. Hierzu zählen u.a. die Aufdeckung der Stärken und Schwächen eines Programms, die Dokumentation des Ausbildungsklimas, das rechtzeitige Erkennen von problematischen Entwicklungen, die Notwendigkeit, die Attraktivität von Weiterbildungsprogrammen auch für den kommenden ärztlichen Nachwuchs zu gewährleisten, sowie die kontinuierliche Qualitätssicherung.
Eine derartige Evaluation wurde bislang jedoch weder im Bereich der deutschen Facharztweiterbildung noch in der Anästhesiologie eingeführt. Das Ziel dieser Arbeit war, ein validiertes, zuverlässiges und praxistaugliches Instrument zur Evaluation der Anästhesie-Weiterbildung in Deutschland zu entwickeln. Zu diesem Zweck wurde ein Fragenkatalog erarbeitet, der im Jahre 2002 in Form eines Fragebogens an 97 in Weiterbildung befindliche Ärzte in Deutschland (nichtzufällige Stichprobe) ausgesandt wurde. Die Entwicklung des Fragenkatalogs erfolgte nach Datenbankrecherche auf Basis der vorliegenden Literatur. Insgesamt wurden 72 Aussagen (Items) als Beurteilungskriterien formuliert und von den Teilnehmern auf einer 5PunkteRatingSkala gewichtet; zusätzliche Items konnten angegeben werden. Die Items mit der höchsten Bedeutung sowie zusätzliche Items aus der Befragung wurden nach Validierung mittels kognitiver Interviews mit 5 in Weiterbildung befindlichen Ärzten zu einem 11ItemFragebogen für die Beurteilung des Weiterbildungsprogramms durch Ärzte, die sich in Weiterbildung befinden, und einem 19ItemFragebogen zur Beurteilung der Rotationen bzw. Ausbilder zusammengestellt. Zur Prüfung der TestRetest Reliabilität wurden diese beiden Fragebogen zweimal im Abstand von zwei Wochen von 14 Ärzten in Weiterbildung bearbeitet, wobei die Items wiederum auf einer 5PunkteRatingSkala zu beurteilen waren. Die Ergebnisse der Auswertung zeigen, dass vor allem die folgenden Items durch die Befragten als bedeutsam eingestuft worden sind (Angaben in absteigender Reihenfolge): klinische Aspekte der Weiterbildung, Kernkompetenz der Ausbilder, Arbeitshygiene, didaktisches Verhalten der Ausbilder, durch die Ausbilder vermittelte Arbeitshygiene, professionelles Verhalten der Ausbilder, Prozessqualität der Weiterbildung, klinische Ausbildung durch weiterbildende Ärzte, Strukturqualität, äußere Faktoren, berufliche Perspektiven, Rahmenbedingungen der Beschäftigung, Ergebnisqualität und Strukturmerkmale der Weiterbildungsstätte. Etwa 3/4 (75%) der in Weiterbildung befindlichen Ärzte war der Meinung, dass man eher die einzelnen Ausbilder als das ganze Programm beurteilen sollte; gut 2/3 (70%) votierten für eine anonyme Auswertung. Als Ergebnis dieser Studie liegt nun mit den beiden validierten und TestReteststabilen Fragebogen ein praktisches Instrument zur flexiblen, situationsangepassten Evaluation der Weiterbildung zum Facharzt für Anästhesie durch die in Weiterbildung befindlichen Ärzte vor.
Summary
Summary: There are many reasons why an evaluation of medical residency programmes by residents who are currently receiving specialized medical training may be beneficial. These include, for example, the identification of the strengths and weaknesses of a programme, the documentation of the educational climate, an early recognition of problems, the need to ensure the attractiveness of the programme for the future generation of residents, and a continuous quality improvement. However, no formal evaluation of residency programmes has yet been introduced in Germany, neither for postgraduate medical training in general, nor for training in the field of anaesthesiology in particular. The objective of the present study was to develop a validated, reliable and practical evaluation instrument for the assessment of German training programmes in anaesthesiology. Based on the information obtained from database searches for relevant literature, a set of questions was devised and presented to a nonrandom sample of 97 residents participating in medical residency programmes by means of a questionnaire mail survey conducted in Germany in 2002. Altogether, 72 statements (items) were defined to serve as evaluation criteria for the assessment of residency programmes. These items were rated according to their relative importance on a 5point Likert scale by the survey participants, who were also allowed to add new items. Those items that received the highest importance scores as well as the items that were included by the participating residents were validated by a cognitive interview with 5 residents and finally taken up into an 11item list compiled for programme evaluation and into a 19item list compiled for rotation or faculty evaluation, resp. In order to assess the testretest reliability of these instruments, the two questionnaires were administered to 14 residents, who rated the individual items twice within a period of two weeks, again using a 5point Likert scale. The results obtained from these ratings show that the residents attach a particular importance to the following items (in descending order): clinical aspects of the residency programme, core competencies of the clinical teachers, departmental standards of work hygiene, didactic competence of the teachers, implementation and control of work hygiene standards by the teachers, professional conduct of the teachers, procedural quality of the programme, clinical training provided by the faculty, structural quality of the programme, factors extrinsic to the training programme, career perspectives, basic conditions of employment, assessment of learning outcomes and student achievement, and aspects related to the location of the hospital providing the training. Approximately threequarters (75%) of the residents believe that single rotations should be evaluated rather than the whole programme while twothirds (70%) of the residents voted for an anonymous evaluation. By the development of the two validated questionnaires that have been shown to be reliable in testretest situations, the study has produced a flexible and stable instrument for the evaluation of anaesthesia residency programmes by residents.
