Настройка шрифта В избранное Написать письмо

Книги по педагогике

Использование репертуарных решеток для оценки качества

          Оценка качества преподавания всегда являлось одним из наиболее сложных и дискутабельных разделов оценки качества педагогического мастерства. Руководители подразделений всегда хотели иметь обратную связь от слушателей, которая позволяла бы объективно оценить качество преподавания. В условиях, когда потребитель преподавательской услуги и плательщик за нее представлены одним и тем же лицом, эта оценка производится достаточно просто – на недостаточно хорошего преподавателя слушатели «не идут».

          В условиях бесплатного для слушателя образования ситуация сложнее. Поскольку слушатель не оплачивает свое пребывание в учебном классе, то он, с одной стороны, чувствует себя не контролирующим ситуацию ("Если я уйду с занятий, все равно ничего не изменится"), а с другой, он может быть не заинтересован в получаемой информации ("Я пришел сюда отдохнуть от работы (семьи) и меня не волнует, что там вы рассказываете").

          В этом случае увеличиваются требования к инструментам оценки преподавателей, поскольку они могут легко стать инструментом злоупотребления со стороны слушателей, которых «отвлекали от приятного сна» или мести за чувство собственного бессилия с одной стороны, или бездумного восхваления с другой.

          Анализ опросных листов, где слушателей просили оценить преподавателей по фиксированному набору качеств (полезность лекции, форма преподавания, насыщенность информацией и т.д.), показывает очень маленький разброс данных по оценкам, выставляемым одному преподавателю одним слушателем. Иными словами, слушатели имеют тенденцию не оценивать преподавателя по каждому из критериев, а просто определять, насколько преподаватель понравился в целом, а затем «подгонять» оценку под это впечатление. Подобные опросные листы обладают малой степенью полезности для улучшения работы преподавателей.

          Скорее всего возникающие проблемы связаны с тем, что в реальности общее впечатление связано с разными ожиданиями от преподавателя у разных слушателей. Навязывая критерии оценки мы заставляем слушателей ранжировать преподавателей (поскольку оценивание всегда производится по отношению к определенному конкретному стандарту) по тем показателям, которые, может быть, и не влияли на формирование впечатления. Однако слушатель хочет донести впечатление до оценщиков и поэтому он начинает выставлять оценки по неприспособленным для этого шкалам. Например, преподаватель увлекается своей темой и пропускает перерывы. Слушателю это не нравится и он хочет в финальном оценивании сообщить об этом. Однако в предлагаемом ему опросном листе соответствующей графы (соблюдение расписания) нет. Поэтому он либо опускает свое возражение либо понижает балл по «дружелюбности к аудитории». При этом данная оценка не имеет никакого отношения к реальной дружелюбности преподавателя.

          Для того, чтобы прояснить ситуацию с преподавателем лучше всего было бы просто спросить слушателя, что понравилось и что не понравилось, а затем уточнить причины. Однако при использовании письменного варианта такого опроса во-первых, у людей нет эталона сравнения; а во-вторых результаты опроса очень сложно сравнивать друг с другом и их можно скорее рассматривать как нечеткие пожелания на будущее. Возможным вариантом является беседа, но не каждый решится критиковать преподавателя перед его руководителем (или самим преподавателем) и, самое главное, эта методика требует огромного количества времени.

          Исходя из всего вышеизложенного хотелось бы располагать методикой, которая позволяет слушателю оценить преподавателя по им самим выбранным критериям, путем сравнения с некими эталонами.

          Такой методикой является репертуарная решетка Келли. Которая, несмотря на некоторые недостатки (обсуждаемые позже), ближе всего подходит к идеалу оценочного инструмента.

          Надо заметить, что репертуарные решетки хорошо известны в психологии, однако их использование для оценки труда преподавателей пока распространено не очень сильно. Стоит заметить, что при проведении маркетинговых исследований эти решетки используются для сравнения различных продуктов и выявления представлений покупателей о них. Эта задача полностью совпадает с идеей использования репертуарных решеток для оценки преподавателей.

          Сама процедура состоит из двух этапов. На первом слушателям предлагается бланк репертуарной решетки с указанными тройками сравнения. В бланке решетки уже проставлены преподаватели, работавшие в данной группе, а также добавляются две пустых графы, в которые слушателей просят вписать самого хорошего и самого плохого преподавателя из тех, что они знают (конкретных людей, а не абстрактное понятие). Следует расположить графы на бланке таким образом, чтобы они попадали в сравнительные тройки с каждым из оцениваемых преподавателей.

          П1 ХП П2 П3 ПП П4К1 О О ОК2 О О ОК3 О О ОК4 О О ОК5 О О ОК6 О О О

          (ХП – хороший преподаватель

          Далее слушателей просят проводить тройные сравнения и пытаться найти, чем, в терминах преподавания, двое из сравниваемых преподавателей похожи и отличаются от третьего. Эти полюса выписываются справа на бланке.

          Надо отметить, что это чрезвычайно важный этап и слушатели, не привыкшие к заполнению репертуарных решеток не всегда правильно понимают задачу.

          Необходимо донести до них, что следует обдумать чем принципиально двое в этой тройке отличаются от третьего. В противном случае слушатель может выписать некие представления о положительных качествах преподавателя по которым двое из трех отличаются не очень сильно. Необходимо сразу сказать слушателям, что по пятибалльной шкале отличающийся преподаватель должен получить 1 балл, а двое похожих – 5 баллов.

          Анализ решетки составленной с игнорированием этого правила возможен, но он не позволяет получить наиболее четкую картину.

          После проведения первого этапа – выявления критериев оценки (личных конструктов качества преподавательской работы). Следует переход ко второму этапу – формированию полной репертуарной решетки.

          Слушателям предлагается заполнить вторую половину опросного листа, которая включает все те характеристики, которые были выделены данным слушателем на первом этапе, а также все тех же преподавателей, однако с добавлением новой колонки – идеального преподавателя.

          Слушателей просят проставить оценки от 1 до 5, используя в качестве отправных точек первую версию решетки (тройные сравнения).

          Заполненная таким образом решетка подвергается статистической обработке.

          Обработка полученного материала включает

          1. Изучение критериев оценки (конструктов) в целом

          2. Ранжирование преподавателей и формирование суммарной оценки

          3. Выявление слабых сторон преподавателей (почему общая оценка оказалась невысокой)

          4. Анализ «выскакивающих» наблюдений (почему один слушатель поставил более низкую оценку, нежели другие.

          Для простоты обработки репертуарных решеток следует воспользоваться процедурой иерархического кластерного анализа, присутствующей в практически всех программах статистической обработки данных. При этом для оценки и ранжирования преподавателей следует воспользоваться рассчитываемым процедурой показателем удаленности двух объектов друг от друга (distance matrix). При этом следует «расстояния» от данного преподавателя до идеала и от идеала до плохого преподавателя.

          Для иллюстрации использования репертуарных решеток в оценивании хочется привести конкретный пример. Восьми слушателям было предложено оценить четырех преподавателей по описанной выше схеме. Один слушатель отказался от участия в опросе, а один выполнил только первую часть (вторую он заполнил с нарушением описанных выше правил). Поэтому реально задание полностью выполнили шесть человек.

          При изучении критериев оценки (конструктов) выяснилось, что лишь небольшое число их повторялось. Из 24 предложенных слушателями характеристик «перекрывались» только 7 (менее трети). Это подтверждает ранее высказанное положение о том, что каждый слушатель оценивает преподавателей на основании своего набора критериев и навязывание внешнего набора критериев не ведет к положительному результату.

          Среди повторявшихся критериев оказались

          1. Характер изложения материала (19 конструктов)

          Адекватное визуальное представление материала (7,1%)

          Простота изложения (5,4%)

          Свободное владение материалом (3,6%)

          Структурированность изложения (3,6%)

          Объективное изложение разных точек зрения (3,6%)

          Умение переключать аудиторию

          Регулярное обновление материала

          Видна личная позиция лектора

          Недостаточное использование примеров и заданий

          Частые отвлечения от темы

          Неудачное распределение материала по времени

          2. Эрудированность (11 конструктов)

          Эрудированность (8,9%)

          Компетентность (5,4%)

          Широкий кругозор

          Глубокие знания

          Высокий научный уровень

          4. Личность преподавателя (12 конструктов)

          Доброжелательность (5,4%)

          Уверенность в себе (5,4%)

          Темпераментность

          Интеллигентность
  
          Мягкость

          Чувство юмора

          Самоотдача

          Ораторское мастерство

          Преподавательский шарм

          5. Поведение преподавателя (10 конструктов)

          Пунктуальность (7,1%)

          Энтузиазм (3,6%)

          Отсутствие перерывов (3,6%)

          Открытая поза

          Чрезмерно громкая речь

          6. Содержание (5 конструктов)

          Практическая значимость

          Тяжесть для восприятия

          Интересное содержание

          Информативность

          Недооценка знаний аудитории

          Интересно отметить, что такие критерии, как практическая значимость или интересное содержание были упомянуты лишь однажды. Это вряд ли свидетельствует о том, что занятия были бесполезными или слушателей не волнует практическая значимость. Ответ прост – большинство слушателей получают интересующий их материал, в противном случае они не ходят на занятия и этот критерий оценки становится избыточным.

          Анализ репертуарных решеток позволяет и пролить свет на то, какие понятия имел в виду человек, когда устанавливал тот или иной критерий.

          Так, один из слушателей указал в качестве критериев оценки интеллигентность преподавателя. Поскольку это достаточно общий термин, то хотелось бы понять, к чему он был ближе. Кластерный анализ конструктов показал, что в данном случае интеллигентность была очень близка к критерию «разнообразность современных методик». Это означало, что данного слушателя привлекают современные методики преподавания, которые дают большую свободу слушателям, ставят его в центр учебного процесса и преподаватель, использующий их, относящийся к слушателям как к равным воспринимается как более интеллигентный.

          Еще более интересный пример был получен при анализе конструкта активный – пассивный. Этот конструкт оказался очень близок к конструкту мужчина-женщина. Таким образом выплывало старое предубеждение, что мужчины являются более активными (и в преподавательской деятельности), а женщины – более пассивными. Отсюда простой вывод – мужчины – лучшие преподаватели, что и отразилось на оценках идеального преподавателя (это должен быть мужчина).

          Не вдаваясь в обсуждение данного критерия следует отметить, что подобные предубеждения следует учитывать при проведении оценивания (особенно если нет возможности проверить критерии, как было в данном случае).

          После рассмотрения конструктов следует приступать к непосредственной оценке преподавателей.

          Данные по дистанции от идеального преподавателя представлены в таблице

          Дистанция до идеального преподавателя (по данным кластерного анализа репертуарных решеток)

          П1 П2 П3 П4 Плохой преподавательС1 2,83 5,39 7,00 2,83 7,48С2 1,73 2,45 1,73 1,41 3,87С3 0,00 5,66 6,93 0,00 9,80С4 0,00 3,00 7,87 0,00 8,66С5 0,00 2,83 2,83 4,24 8,49С6 1,00 2,45 2,65 1,00 6,32

          После сведения всех данных в одну таблицу, следовало рассчитать суммарные результаты с учетом максимальной дистанции между идеальным и плохим преподавателем. Для этого все значения были поделены на дистанцию до плохого преподавателя и усреднены.

          После этого, поскольку в нашей системе принято, чтобы лучшая оценка была больше, то результат был вычтен из 1 (т.е. превратился в относительную дистанцию до плохого преподавателя). В результате было установлено, что оценка преподавателя 1 составляет 0,84± 0,08, преподавателя 2 – 0,50± 0,07, преподавателя 3 – 0,37± 0,11 и преподавателя 4 – 0,67± 0,08. Из этих данных видно, что ни один из преподавателей не оценивался слушателями как плохой и большинство приближались к преподавательскому идеалу, что является достаточно высокой оценкой. Следует обратить внимание не только на величину оценки, но и на размах ошибки, который, при его значительной величине показывает, что данный преподаватель вызвал неоднозначную оценку среди слушателей.

          Детальный анализ позволяет уточнить, какие претензии выдвигались к преподавателям.

          Так, большинство слушателей, кроме одного, очень высоко расположили преподавателя 4. Что же послужило причиной снижения оценки? Обратившись к соответствующей репертуарной решетке удается установить, что данный преподаватель (в отличие от всех остальных) мало использует вспомогательные средства. Можно предположить, что слушатель является представителем группы визуально – обучающихся и он очень страдает от недостаточного объема иллюстраций. Поскольку этот конструкт не был связан с другими можно считать, что никакого скрытого подтекста тут нет. Поэтому следует порекомендовать больше опираться на иллюстрации, схемы и графики.

          Таким образом, полученные при использовании репертуарных решеток данные можно использовать не только для оценивания, но и совершенствования учебного процесса.

          Вместе с тем следует указать и на сложности в применении этой методики

          1. Ее сложно применять в виде письменного опроса у неподготовленной аудитории. Следует, хотя бы кратко объяснить положения теории конструктивизма и предназначение репертуарных решеток

          2. Необходимо четко разъяснять правила заполнения решеток при определении конструктов и формировании полной решетки. Многим слушателям претит выставление невысоких оценок преподавателям, которые им понравились и они имеют тенденцию игнорировать 1 во всех случаях, кроме плохого преподавателя.

          3. Необходимо настоять, чтобы слушатели поставили над «хорошим» и «плохим» преподавателями инициалы, прозвище или еще что-нибудь, что позволит удостовериться, что они сравнивают с реальным человеком, а не абстрактной концепцией.

          4. Следует тщательно проверить полную решетку, чтобы она представляла из себя репертуарную решетку, а не обычную «отписочную» форму оценивания, где всем преподавателям в колонку ставятся одинаковые оценки

          5. Необходимо объяснить, что это не простая оценочная форма, где слушатель выставляет «оценку» преподавателям, а их представления о качествах преподавателей в сравнении друг с другим

          6. Следует пояснить, что преподаватели могут быть похожи как по положительным, так и по отрицательным качествам и в этом случае чем ближе оценка к 5, тем она хуже.

          В целом понятно, что использование репертуарных решеток является не самым простым и быстрым методом оценивания, однако он предоставляет наиболее объективную и обоснованную информацию, а также ряд данных, которые недоступны при использовании других методик.

          Поэтому методику можно рекомендовать к использованию, помня о необходимости выполнения описанных выше положений

          Литература

          1. Kelly G.A. The psychology of personal constructs.– N.Y., Norton, 1955

          2. Manual for Repertory Grid Technique/ ed. by Fransella F., Bannister D. – London, Academic Press,1977

          3. Stewart V., Stewart A., Fonda A. Business Application of Repertory Grid.-London, McGraw-Hill, 1981

          4. Duck S. Personal relationships and personal constructs.-London, John Wiley and Sons, 1973


--
13.09.08 (01:34)
Автор Плавинский С.Л.
Написать письмо