Профессионализм требует постоянного роста, приобретения нового опыта, объективной оценки знаний и навыков. Это хорошо понимают те, кто готовит кадры в Борисовском государственном медицинском колледже. Марина Смирнова, преподаватель, председатель цикловой комиссии, участвуя в научно-практической конференции «Симуляционное обучение: мировой опыт и перспективы», которая недавно прошла в колледже, сосредоточилась на проблеме, волнующей многих преподавателей, — объективности оценки профессиональных знаний и умений и различных вариантах этой оценки. Корреспондент «Медвестника» задала специалисту несколько вопросов.
Говоря об объективной оценке профессионального уровня работников здравоохранения, обязательно останавливаются на пирамиде Миллера…
В 1990 году Джордж Миллер предложил свою пирамиду в качестве основы планирования и анализа результатов клинического обучения и оценивания результатов. Она состоит из 4 уровней, которые отражают стадийность формирования профессиональной компетентности обучающегося.
Оценка первого уровня («Знает») нацелена на подтверждение того, что учащийся обладает знаниями, необходимыми для выполнения профессиональных обязанностей. Для этого в большинстве случаев прибегают к разным вариантам тестирования, письменной оценке. Однако успешная аттестация на этом уровне не может отражать реальной готовности испытуемого к будущей профессиональной деятельности.
На втором уровне («Знает как») необходимо подтвердить, что учащийся может применять знания для решения клинических задач. Это уровень когнитивных умений. Здесь используются тестовые задания расширенного выбора, решение клинических ситуационных задач, собеседование. Но для оценивания готовности учащегося выполнять свои обязанности в реальной клинической практике необходима демонстрация, что соответствует третьему уровню пирамиды («Показывает как»). Этот уровень относится к практическим умениям, навыкам и компетенциям, для аттестации он требует использования разнообразных симуляционных технологий, которые в большинстве стран мира объединены в объективный структурированный клинический экзамен.
Последний уровень («Делает») характеризует самостоятельную практику в реальных условиях. Для оценивания этой деятельности используют «оценку 360°», видеонаблюдение и другие стандартизированные методы.
В чем особенности организации и проведения структурированного клинического экзамена на этапах текущей и итоговой аттестации?
ОСКЭ — это метод, используемый для оценки клинической компетентности. Рональд Харден, в 1975 году впервые применивший этот метод оценки, дает такое уточнение: «Подход к оценке клинической или профессиональной компетентности оценивают планомерно и структурированно, с особым вниманием к объективности оценки». Таким образом, метод объективный, поскольку экзаменаторы используют объективный чек-лист для оценки. Он также структурированный — все студенты получают одинаковый набор заданий и решают их в одинаковое отведенное время, и клинический — все станции формируются на основе реальных клинических ситуаций.
ОСКЭ позволяет оценить и продемонстрировать, что учащиеся делают, а не то, что они знают или теоретически могут либо будут делать. Сегодня используется как средство оценки минимально приемлемого стандарта для студентов в большинстве медицинских школ США, Великобритании и Канады. С 2016 года методика ОСКЭ применяется в качестве 2-го этапа первичной аккредитации специалистов в России.
В Казахстане ОСКЭ стал обязательным экзаменом во всех медицинских вузах; в Великобритании — средством оценки интернов при назначении на более высокие должности врачей, а также средством итоговой оценки выпускников, претендующих на сертификат для практической деятельности, и текущей оценки и самооценки для коррекции обучения студентов-медиков.
Каковы преимущества и недостатки ОСКЭ?
К преимуществам можно отнести высокую валидность метода, контролируемую сложность экзамена, возможность использования для текущей и итоговой оценки, возможность оценки большого количества студентов, воспроизводимость (надежность), устранение субъективности преподавателя и вариабельность пациентов.
К недостаткам — ресурсоемкость, высокий уровень стресса для экзаменуемых, опасность концентрации на освоении отдельных навыков, а также то, что требуется больше времени на подготовку.
Формирование четких инструкций и чек-листов для оценки на каждой станции позволяет привлекать в качестве экзаменаторов более широкий круг преподавателей.
Какие варианты оценки действий обучаемых существуют?
Помимо контрольных листов (чек-листов) это оценка выполненных ключевых действий, время выполнения ключевых действий и глобальные шкалы оценки.
Инструмент для оценки в идеале должен иметь высокую межоценочную надежность, высокую конструктивную надежность, быть удобным для применения, позволять различать обучаемых с разным уровнем подготовки.
На какие категории делятся системы оценок?
Системы оценок делятся на 2 категории: явные (аналитические) и неявные (холистические). Явные оценки включают использование контрольных листов (чек-листов). Чек-лист — это список утверждений, описывающих действия, выполнения которых ожидают от экзаменуемых на определенном этапе. Разрабатывает чек-листы группа экспертов с применением метода Дельфи и проведением 3 кругов обсуждения до полного консенсуса относительно ожидаемых действий испытуемых в конкретной ситуации.
Чек-листы могут быть бинарными (да/нет, выполняется/не выполняется), при этом оценка выставляется в зависимости от того, выполнено или не выполнено задание, без анализа его качества и своевременности выполнения. В случае перечисления в чек-листах обязательных действий с оценкой каждого из них по принципу «1 — сделано, 0 — не сделано» одним из подходов может быть анализ отношения количества правильно выполненных фактически действий к общему количеству требуемых действий. Такие чек-листы не всегда позволяют определить качество выполнения задания.
Что можно сказать о других подходах к оценке знаний и умений?
Один из них — выделение ключевых действий, выполнение которых обязательно, определение весовых коэффициентов для действий различной значимости. С помощью чек-листов не всегда можно оценить время и последовательность выполнения действий. Полученные при их использовании высокие оценки не исключают некомпетентности обучаемых, могут быть неточными в оценке квалификации.
Применение глобальных рейтинговых шкал в сравнении с чек-листами характеризуется большей способностью различать обучаемых по уровню их подготовки. Глобальные шкалы эффективнее при комплексной оценке, при оценке командной работы.
Одно из слабых мест глобальных рейтинговых шкал в том, что они могут быть весьма субъективными, зависят от экспертного мнения, а это снижает возможность эффективной и надежной оценки. Но по сравнению с чек-листами шкалы имеют более высокую среднюю надежность между пунктами оценки и между станциями, могут использоваться для множества задач и лучше учитывают нюансы экспертных знаний.
Какие ключевые факторы в оценке следует выделять?
Любая оценка складывается из истинной оценки, случайной и систематической погрешностей. Каждый метод имеет 2 характеристики: надежность, как мера случайной погрешности, и валидность, как мера систематической погрешности. Чем ниже погрешность оценки, тем выше надежность и валидность.
Надежность оценки — показатель степени точности повторения, воспроизведения и постоянства результатов оценочного теста. Она может быть ретестовой (устойчивой во времени или повторяемости), межэкспертной (устойчивость оценки, выставленной разными экспертами), внутренней (основана на согласованности различных частей экзамена).
Валидность — степень точности оценки или измерения моделью или симуляцией того, что она должна измерять. Важна и осуществимость (практичность) симуляции — симуляторы ведут себя предсказуемо, ошибки не причиняют вреда пациентам.
Елена Нехайчик, заместитель директора по учебной работе:
Разработка и использование методик симуляционного обучения, их интеграция с педагогическими методиками, а также применение информационных технологий в обучении — главные темы семинаров, конференций, диалоговых площадок, которые систематически проводятся в колледже.
Фото эксперта предоставлено Борисовским ГМК.