Большинство авторов этих книг и теорий рассматривают, в основном, качество управления производством, считая качество продукции вторичным понятием. Действительно, они по-своему правы. Там, где производят овеществленный товар, всегда есть много написанных на бумаге инструкций, технологий. Нет проблем с исполнителями, кто их не исполняет – их исполнителей просто меняют, благо, что безработица еще существует. Проблемы есть с руководителями, которые умеют взбираться на верхние этажи руководящей пирамиды и не умеют руководить. Для них и создают десятки томов – стандартов качества, где расписаны алгоритмы управленческой деятельности на все случаи жизни. Потрясающее облегчение руководящей жизни! Трудовой коллектив работает строго по книгам, сам себя подбирает, воспитывает и контролирует. Все по стандарту. Чем строже выполняются инструкции – тем качественнее руководство и производство.
В образовании – не так. Особенно – в российском. Наличие подробной обязательной инструкции, как учить, – это «погибель» качества в образовании. Слишком непростой товар – образование. Никто не знает, в точности, не только, что это такое, но и как его производить. Зато есть старые добрые педагогические рецепты – деловая игра, публичность успеха, соревнование и др.
Много есть педагогов, превосходно знающих, как обеспечить методичность и дидактичность, и как потом рассказать об этом с трибуны, но мало таких, которые бы действительно применяли в учебном процессе рецепты. Почему мало, понятно – это трудно и часто невозможно. Вот именно здесь – в деле нового внедрения тысячелетиями проверенных технологий обучения – управленцу и могут помочь компьютерные технологии.
Для повышения уровня качества образования недостаточно только методично и дидактично вести учебный процесс. Грамотно организованное многоэтапное соревнование между образовательными учреждениями в виде, например, образовательной компьютерной олимпиады может привести к значительному росту успешности обучения без особого увеличения нагрузки на учебный процесс. В такой олимпиаде могут померяться знаниями и учителя, претендующие на переход в новую категорию.
Результаты массовых компьютерных олимпиад могут служить:
основанием для аттестации специалистов и учреждений;
основанием для выставления итоговых оценок учащимся;
неиссякаемым источником данных для мониторинга качества образования в учреждении, регионе, стране.
Сами такие олимпиады – не что иное, как великолепный инструмент управления качеством образования. Приведем главные характеристики олимпиад:
Массовость (всеохватность);
Непрерывность (многостадийность);
Привлекательность;
Соревновательность;
Значимость (результаты влияют на оценки в журнале, размеры премий для участников учебного процесса, оценки аттестационных комиссий, повышение категорий и зарплат и пр.);
Объективность;
Публичность («страна знает своих героев»).
Все люди зануды, кроме тех случаев,
когда мы в них нуждаемся.
Оливер Уэнделл Холмс (старший)
ОИТ и организация управления качеством. Пять важнейших характеристик антуража массовых компьютерных тестированийУ всякого безумия есть своя логика.
Вильям Шекспир
Есть много методических пособий о новых образовательных информационных технологиях, наполненных призывами и таблицами, которые должны помогать повышать качество образовательной продукции. Толку от большинства из них не много. С другой стороны, каждый действующий педагог может привести рецепты успеха в этой области.
Здесь мы опишем один из таких рецептов применения ОИТ, кажущийся нам вполне достойным для освоения и массового применения. Он известен, и ОИТ играют здесь не ведущую, а вспомогательную, хотя и очень важную роль. Речь пойдет о внедрении в учебный процесс старого доброго соревнования.
Наш десятилетний опыт позволяет утверждать, что грамотно организованное, под видом турнира или олимпиады, массовое компьютерное тестирование способно творить чудеса.
Известны компьютерные комплексы, с помощью которых можно организовать массовое компьютерное тестирование. Многие из них можно найти по ссылкам в Приложениях.
Лучше, если интерфейс комплекса удовлетворяет изложенным здесь требованиям.
Не менее чем интерфейс компьютерного комплекса, важен антураж тестирования. Приведем описание антуража, который мы считаем наилучшим:
Турнир является многостадийным, ведущимся в течение учебного года;
В турнире участвуют все учащиеся соревнующихся образовательных учреждений, без исключения. Результат каждого должен войти в копилку команды;
Результаты каждого турнирного сражения немедленно публикуются с указанием вклада каждого участника;
Вклады участников всегда положительны. Вклады только накапливаются;
Результаты побед немедленно сказываются в жизни: оплаченные экскурсии, походы, пикники, личные и командные медали, публичные поздравления и вознаграждения для педагогов, выставление оценок в журнал по итогам сражений.
Все это трудно было бы организовать, не имея компьютерных классов. С ними все иначе: Имея в распоряжении двух инженеров и ресурс школьного класса из 12 ПК, можно в течение светового дня провести тестирование 300-400 человек. Публикация результатов, с учетом автоматизации не займет более получаса.
Вот, вкратце, и все основное. Можно предложить и иные пути использования ОИТ в благородном деле развития системы образования и управления качеством ее продукции.
ОИТ и кадровое обеспечениеСлишком послушные сыновья никогда не достигают многого.
Абрахам Брил.
(http://fraza.net.ua)
Повышение квалификации и переподготовка кадров сферы образования в области ОИТ являются неотъемлемой частью мероприятий, направленных на поддержание и повышение качества и количества ЗУН Выпускников образовательных учреждений. Новые пути повышения эффективности переподготовки и повышения квалификации связаны с появлением и внедрением новых компьютерных и телекоммуникационных технологий обучения и оценки качества ЗУН.
Не каждая районная образовательная структура укомплектована штатом методистов, способных вести эту работу в полном объеме. Проведение же мероприятий по переподготовке через краевую структуру столь же значимо, как и затратно: отрывать от учебного процесса на длительное время большие группы учителей, обеспечивать их транспортом, жильем, оборудованием – часто становится непозволительной роскошью.
Компьютерные классы есть уже во всех районных структурах. Организовать на их базе кратковременные курсы переподготовки – не проблема. При наличии программного обеспечения справиться с задачей дистанционной групповой переподготовки в области профессиональных знаний справится один подготовленный методист.
Именно таким путем пошли, в рамках договора о совместной деятельности, Департамент образования и науки администрации Приморского края и ДВГУ.
В течение 2000-2002 гг. созданы 17 электронных учебных пособий с электронными тренажерами для реализации полнообъемного дистанционного обучения в рамках Программы ДПО «Менеджмент в образовании», созданы коллектив преподавателей и документационное обеспечение, инициирован и успешно развивается учебный процесс на базе территориальных представительств и филиалов ДВГУ.
Важной особенностью является ориентированность Программы на переподготовку кадров в области ОИТ, мониторинговых технологий (массовых тестирований знаний, сбора и обработки данных, прогноза) и технологий менеджмента качества.
Развитие Программы позволит подготовить достаточный контингент специалистов для успешного полнообъемного внедрения на территории Приморского края новых технологий контроля и управления качеством образования.
ОИТ и защита качества образованияПроблема – в том, что все, кто здесь работал, и я в том числе, хотели
сделать действительно чистую работу,
только они не сделали чистой работы, они хотели много – и быстро.
(Рик Бэйкер, гример в фильмах: «Кинг-Конг», «Звездные войны»)
Создание национальной системы открытого образования (СОО) является приоритетным направлением деятельности Министерства образования РФ. Решение этой задачи неразрывно связано с процессом общего реформирования системы образования. Формирование СОО опирается на новые, непривычные для России принципы – технология и структура создается по инициативе «снизу». В качестве инициаторов создания СОО в настоящее время лидируют несколько столичных и региональных университетов, в частности, Дальневосточный государственный университет, становящийся форпостом национальной СОО в Азиатско-Тихоокеанском регионе, и др.
Образование уже воспринимается нами не только как некое понятие, но и как товар. В России строится рынок образовательных услуг. А раз это так, то сам товар, производители и потребители товара, организаторы производства и потребления товара должны быть соответствующим образом защищены правовым механизмом.
Действующий Закон «Об образовании» не включает четкого, доведенного до численных характеристик, определения качества и уровня качества образования; нет в Законе понятия конкуренции и монополизма в сфере образования, равно как нет и многих важных понятий, связанных с рынком, отсутствуют непротиворечивое описание механизма защиты качества.
Система образования, как производственный механизм, состоит из (зависит от) многих компонентов и факторов, влияющих на качество и зависящих от него: преподаватели и учителя; производственный персонал учебных заведений и научно-методических центров; авторы учебных пособий и образовательных технологий; абитуриенты и учащиеся; администраторы учебных заведений и управлений образованием; работодатели; грантодатели, вкладывающие средства в развитие учебных заведений; зарубежные организаторы внедрения российских образовательных технологий; эксперты и гаранты качества; государство.
Все они должны быть защищены не только от воздействий извне, но и взаимно. Например, вполне логичны такие меры защиты: решения о реформировании, занятии должностей и др. не должны приниматься администратором без учета объективных показателей качества; Выпускник вуза с более высоким рейтингом качества должен иметь приоритет при трудоустройстве; работодатель должен иметь четкие государственные либо иные гарантии качества принимаемого на работу Выпускника вуза.
Производственные принципы требуют, чтобы качество образовательных услуг выражалось количественно во взаимном сравнении. Причем эти выражения – напр., рейтинговые таблицы – должны быть защищены достаточными гарантиями.
Мониторинг качества образования не менее важен, чем медицинский, химический, радиационный, экологический и социальный. Это основа для построения в федеральном масштабе механизма защиты, гарантирования и повышения качества образования. Этот механизм должен опираться не только на материальную и методическую базу сети ЦМКО, не только на результаты ее деятельности, но и на некоторые нетрадиционные для нашей системы образования аспекты. Обсудим некоторые из них.
Работодатель, как правило, выбирает будущего сотрудника из нескольких претендентов. Его выбор будет более объективен, если он станет опираться на результаты деятельности регионального ЦМКО – таблицу рейтингов учебных заведений и оценки независимого тестирования остаточных знаний. Так реализуется один из аспектов механизма защиты качества. Если же, при этом, претенденты законодательно защищены друг перед другом и перед работодателем на основе тех же рейтинговых таблиц, то реализуется второй аспект защиты. Одновременно с первыми двумя, реализуется третий аспект – взаимная защита образовательных учреждений.
Современный работодатель заинтересован в упреждающем привлечении будущих сотрудников, до окончания ими обучения. Его выбор претендентов будет объективным, если он получит доступ к данным независимого тестирования ЗУН студентов, например, в сети Интернет. Студенты, зная, что за их успехами следят будущие работодатели, несомненно, более серьезно отнесутся к своему образованию. Таким образом, повышается индивидуальная образовательная мотивация и реализуется четвертый аспект – поддержка повышения уровня качества.
Вузы заинтересованы в заблаговременном формировании контингента абитуриентов. Данные ЦМКО являются основой для:
построения межвузовской политики такого формирования;
проведения профориентационных мероприятий.
Публикация результатов деятельности ЦМКО – рейтинговых таблиц – неизбежно приводит к появлению конкуренции среди учащихся и образовательных учреждений. Учреждения стремятся привлечь лучших преподавателей, внедрить лучшие образовательные программы, повысить оснащенность и др., что приводит к общему подъему уровня образованности.
Компьютеризированный мониторинг позволяет анализировать деятельность не только вузов в целом, но и конкретных преподавателей и управленцев. Эти данные позволяют объективно оценить деятельность и стать основой защиты прав:
преподавателей и учителей как производителей образования;
абитуриентов и учащихся, как покупателей и носителей образования;
учебных заведений, как организаторов производства образования;
работодателей, как потребителей образования;
государства, как организатора рынка образовательных услуг.
Ведение сравнительного мониторинга качества образования на уровне регионов и государств не только станет основой стимулирования конкуренции в этой сфере, но и является абсолютно необходимым шагом на пути к интеграции образовательных систем и построению глобальной системы открытого образования.
Следует внимательно отнестись к решению о конкретном виде механизма защиты и гарантирования качества. Мы должны быть уверены, как это не парадоксально, что качество образования будет защищено и от самого механизма своей защиты.
Каждое нововведение приводит не только к позитивным, но и к негативным последствиям. В частности, одним из возможных негативных результатов внедрения нового механизма, может оказаться появление общего административного стремления к унификации образования. Это может привести, как это случилось в некоторых странах, где такие механизмы давно сложились, не к развитию образованности, а к падению уровня качества образования. О глубинной связи этих, на первый взгляд, несвязанных явлений – унификации и устойчивости – свидетельствует наука.
Свойства стабильности и самовосстановления систем прямо связаны со степенью их неоднородности. Установлено, что наименее устойчивыми являются унифицированные, однородные системы. Этот факт, кроме прочего, дает ключ к пониманию одного из российских «чудес': именно в неунифицированности и традиционной разнородности образовательной системы России заложена ее магическая способность к самостоятельному восстановлению и поддержанию уровня качества.
ОИТ и проблемы финансированияСоветы принимай от всех дающих,
но собственное мненье береги.
Вильям Шекспир
Возникающая в России система ДО изначально была поставлена в жесткие условия. На деньги государственного бюджета были дополнительно оборудованы несколько столичных вузов, объявивших раньше других о своем желании строить СДО и победившие в конкуренции. Остальные вузы проявляют финансовую самостоятельность, заключающуюся часто в том, что дистанционным просто называют традиционное заочное обучение для привлечения абитуриентов.
Есть мнение, что российская система образования сама «породила» свое недофинансирование. Здесь есть доля истины, ибо система давно уже страдает известным пороком – неэффективный менеджмент. Сапожник без сапог: вузы производят тысячи вполне успешных менеджеров и маркетологов, и забывают о них, принимая на соответствующие должности в штат не специалистов, а остепененных научных сотрудников и преподавателей. Сотрудники вузов всегда работают на два фронта – кандидат наук не человек, пока не стал руководителем (менеджером), а хозяйственник – не человек, пока не стал кандидатом наук. Эффективность производственной и научной деятельности при этом, естественно, невысока.
Наше дворянство – самая невежественная часть общества
Павел Строганов, генерал-лейтенант
Зам. министра внутренних дел России, герой 1812 года
Есть и другая известная сторона «медали» недофинансирования. Поясним. Вузы «тащат» с собой из недавнего прошлого традицию повышения оценок в студенческой зачетке не за знания, а за «пользу» – организацию мероприятия, ремонта и пр. Совершить организационный «подвиг» для некоторых студентов значительно проще, чем понять материал сложной дисциплины. Организация отнимает довольно много сил у студентов, пошедших по такой тропе, на учебу времени не остается. Знаний у них нет, но вуз «закрывает на это глаза». В итоге они гарантированно защищают диплом и становятся молодыми специалистами. Далее они, обойдя прилежно учившихся коллег, традиционно быстро делают карьеру, получают степени, не являясь специалистами, и, в конце концов, решающий голос при распределении государственных средств.
Это хорошо, что у нас в обществе есть такие активные самобытные менеджеры. Наша беда в другом – эти самобытные менеджеры не обладают достаточным объемом знаний ни в своей специальности, ни в менеджменте. Со студенчества они несут в себе неприязнь не только к преподавателям, кривившим душой при выставлении оценок, но и к системе образования в целом. Они опасаются профессионалов и неохотно допускают их в свои ряды. Они по-своему честны, и у них просто рука не поднимется проголосовать за направление достаточно больших средств на образовательные проекты, т. е., по существу, в сферу ОИТ. Покопайтесь в дипломных вкладышах депутатов и министров – и Вы найдете среди них множество «махровых» троечников.
Россией правят троечники
(из газетных цитат)
Мы уверены, что строящаяся на основе ОИТ федеральная Система открытого образования способна избавить российскую образовательную структуру от этих и других недостатков.
Глава 8. Применение компьютерных технологий массового тестированияРассказывать что-нибудь без особенной цели даже своим знакомым –
свойственно только праздному болтуну.
Писарев Дмитрий Иванович,
(aforizm.kaminplus.ru)
Автоматизированные технологии массового тестирования ЗУН в ряде стран используются уже несколько десятков лет. Есть сведения, что профессиональное тестирование государственных служащих проводилось в Китае уже в XXI веке до нашей эры. Согласно историческим источникам, определенные технологии тестирования на проф.пригодность (например, определение качеств воинов) разрабатывались и использовались в государствах древнего Средиземноморья.
В России, США, Великобритании, Франции, Германии, Австралии, Канаде, Японии, Голландии, Австрии, Китае и др. странах существуют государственные и частные организации, занимающиеся разработкой тестовых комплексов, их распространением и организацией массового тестирования. Есть организации, занимающиеся регулярным сбором информации тестирований в целях ведения мониторинга качества образования. Результаты такой деятельности позволяют планировать развитие систем управления качеством.
Развита индустрия тестового контроля знаний в США. В каждом штате США сегодня функционируют десятки специализированных центров тестирования. Многие такие центры имеют отделения за рубежом, занимающиеся «рекрутированием» абитуриентов и дешевой рабочей силы. В США есть общенациональные тестовые системы (SAT, GRE и др.) для:
оценки знаний учащихся;
аттестации образовательных учреждений;
отбора перспективных абитуриентов в университеты;
оценивания характеристик людей при приеме на работу и на службу в армии;
мониторинга образовательной среды;
глобальных социологических исследований.
Массовые тестирования, результаты которых прямо влияют на уровень государственных дотаций или «определяют судьбу» абитуриентов университетов, как правило, проводятся независимыми организациями. Личности экспертов и авторов тестовых заданий при этом содержатся в строгом секрете. Это делается для повышения уровня объективности (и еще, как говорят американцы, во имя укрепления демократии). В результате проведения таких массовых тестирований:
учащиеся – получают аттестационные оценки за периоды обучения;
абитуриенты – получают информацию о том, в какие университеты они могут быть зачислены автоматически либо с льготами оплаты обучения, либо – насколько успешно они могут участвовать в абитуриентском конкурсе;
педагоги – получают объективную характеристику качества своей работы;
учебные заведения – получают официальное место (рейтинг) в рейтинговых таблицах штата, страны, содружества (это самое важное основание для повышения или снижения уровня оплаты обучения, привлечения спонсоров, получения льгот в налогообложении и пр.);
родители – получают информацию об образовательных учреждениях;
Выпускники учебных заведений – получают возможность претендовать на более престижные рабочие места при приеме на работу (во многих штатах США это право Выпускников защищено законодательно);
государственные органы управления – получают основания для распределения дотационных средств между образовательными учреждениями на следующий год (это важнейший момент управления качеством образования в США).
Существуют договорные отношения между многими европейскими и скандинавскими странами в области проведении международных сравнительных исследований качества образования на основе тестовых технологий. Такие отношения имеют хорошую основу – историю развития международных физико-математических олимпиад, зародившихся в середине XX века в СССР и странах социалистического лагеря.
Тестирования ЗУН могли бы быть более популярными не только среди абитуриентов и безработных, но и среди специалистов и пенсионеров, если бы создатели их сценариев не пренебрегали (относились как к чему-то не серьезному) важными чертами человеческой натуры – спортивным азартом, стремлением к лидерству и т. п. Люди, стремящиеся показать лучший результат в тестировании, обязательно будут изучать учебники, энциклопедии. Велика часть российского населения, считающая, что победа в сравнении знаний важнее, спортивной. Азартных людей много, и это означает, что хороший сценарий тестирования может привести к заметному росту образованности населения.
Массовые тестирования знаний в РоссииЧем раньше солнце встает – тем выше оно поднимается
(Удмуртская пословица)
В России работы в области массового компьютерного тестирования знаний стали реально проводиться только в последние два-три десятилетия. К несомненным «старейшинам» и лидерам в этой области следует отнести Новосибирский государственный университет (НИИ МИОО НГУ, разработка и реализация технологий образовательных тестирований студентов и школьников) и Московский государственный университет (Центр «Гуманитарные технологии», разработка и реализация проекта Всероссийской компьютерной олимпиады «Телетестинг», массовое компьютерное тестирование на профессиональную пригодность).
Много лет организует массовые всероссийские тестирования на основе бланковой, и частично компьютеризованной технологии Центр тестирования (ЦТ) МОРФ. В последние три года ЦТ МОРФ развернул массовые ежегодные тестирования и на основе полностью компьютерной технологии.
Подробное описание этих проектов можно найти, например, на сайтах
Проект «Единый Государственный Экзамен»
(http://www.ege.ru/)
(http://ege.ru/)
Телетестинг: всероссийское компьютерное тестирование для старшеклассников
(http://www.teletesting.ru/)
Центр тестирования МО РФ, проект «Централизованное тестирование»
(http://www.rustest.ru/)
(http://rustest.ru/)
Центр «Гуманитарные технологии», проект «Телетестинг»
(http://www.ht.ru/)
В России появилось немало специалистов – тестологов (далее – в алфавитном порядке): В. С. Аванесов, А. Н. Майоров, Л. В. Макарова, В. И. Нардюжев, А. И. Субетто, А. О. Татур, В. А. Хлебников. М. Б. Челышкова, А. Г. Шмелев и др. Защищено много диссертаций, посвященных тестовым технологиям. Можно говорить о складывающихся в разных регионах страны научных школах тестологов.
Взрослые всегда должны помнить о том;
чтобы не показать детям дурного примера
Ювенал Децим Юний,
(aforizm.kaminplus.ru)
С 1995 года массовые компьютерные тестирования школьников ведутся в Приморском крае (ЦНОТ ДВГУ, Приморский краевой ЦНИТ, Приморский краевой ЦМКО). Усилиями ДВГУ, районных и городских управлений образованием, на территории Приморского края созданы и создаются около двух десятков территориальных Центров мониторинга качества образования (ЦМКО). Среди них крупнейшие – Владивостокский ЦМКО и Дальнегорский ЦМКО.
К несомненным успехам созданной ДВГУ структуры отнесем шестикратное общероссийское лидерство по количеству проведенных сеансов в период централизованных тестирований.
В 2002 году ДВГУ первым в России предпринял и осуществил проект массового круглогодичного компьютерного тестирования знаний всех студентов младших курсов очных отделений университета (более 8 тыс. человек) по 10 общим дисциплинам (работы ведутся специализированным подразделением ДВГУ – Открытым университетом).
Более подробные материалы о мониторинговой деятельности в Приморье содержится в электронных в Приложениях.
Полдюжины средств профилактики негативных ситуаций при компьютерном тестированииКогда исходят лишь из выгоды, то множат злобу.
Конфуций
В процессе тестирования не все претенденты стремятся добросовестно выполнять задания. Возможны негативные ситуации, связанные с широким спектром мотивов: от принципиального неприятия тестирования как метода контроля знаний до чисто детского баловства даже со стороны взрослых.
Это бывает следствием сговора группы, не заинтересованной по каким-либо причинам проходить тестирование и желающей его сорвать. Отказ искажает результаты, особенно если количество отказавшихся превышает 5%. Декларированные отказы (независимо от обоснованности) снижают у остальных претендентов мотивацию работы.
Особенно негативно публичные отказы сказываются на репрезентативности выборки теста, если инициаторами являются лидеры групп. Попытки убеждать и уговаривать ни к чему обычно не приводят. Запуганная группа при дидактическом тестировании даёт заведомо заниженные результаты.
Способами профилактики ситуации отказов является, как показывает практика:
продуманный выбор времени тестирования;
определение разумной продолжительности теста (с учётом того, что после 30– 35 мин работы с тестом продуктивность решений снижается);
комфортность помещения, температуры, отсутствие отвлекающих факторов (шум);
предварительное разъяснение цели и задач тестирования, значимости его результатов для объективного оценивания ЗУН учащихся;
внешний вид и стиль общения персонала, должны не отвлекать претендентов, а стимулировать добросовестную работу, создавая доброжелательную атмосферу.
Второй вид искажений – стремление претендента, по возможности, прятаться за нейтральными ответами типа «затрудняюсь ответить». Считается, что если в тесте у кого-либо из обследованных до 30% ответов такого типа, то его следует исключить из выборки (при оценке репрезентативности, надёжности, валидности теста).
Опыт показывает, что если более 50% претендентов затрудняются выполнить задание теста – это задание неудачно, имеет низкую дискриминантную способность.
Третьим видом являются преднамеренные искажения ответов со стороны тех, кто знает правильный ответ, но по каким-то причинам решает пошутить. Среди них встречаются любители «системного» подхода. Они отмечают как верный каждый первый (третий, четвертый, поочередно) вариант выполнения, либо на первую половину теста отвечают утвердительно, а на вторую – отрицательно, и т. п.
Проверку искренности отвечающего лучше проводить методами, которые не вызывают возникновение ощущения подозрения. Психологически опросники включают группы вопросов, контролирующих добросовестность претендента – «шкалы лжи», а в профессионально составленные анкеты – специальные контрольные вопросы.
В дидактические тесты включают такие вопросы также. Этот приём целесообразно применять не в первичном варианте тестов, а в том, где после отбора заданий проведена стандартизация. Если при тестировании диагностом были замечены отвлекающие факторы – он обязан их зафиксировать в отчёте и попытаться дать прогноз возможного влияния этих факторов на результаты. К таким факторам относятся: появление в аудитории постороннего или представителя администрации, шум около аудитории, яркие внешние проявления болезни кого-либо из претендентов (тошнота, громкий кашель).
Для того чтобы предупредить попытки тестируемых найти ответ с помощью подсказки или других тестируемых, необходимо заранее в инструкции по проведению тестирования чётко оговорить порядок действий педагога-диагноста:
замечания с фиксацией нарушителя и задания, по которому запрашивалась помощь;
исключение для нарушителей этого задания из числа оцениваемых;
повторное тестирование нарушителя в индивидуальном порядке;
прекращение тестирования всей группы и т. п.
При создании параграфа использованы материалы книги: Михайлычев Е. А. Дидактическая тестология. - М.: Народное образование, 2001. – 432 с.
Дидактический принцип индуктивной мотивации в организации массовых компьютерных тестированийДоброе слово и кошке приятно.
(пословица)
Мотивация участников – важнейшее условие не только массовости, но и дидактической целесообразности массовых тестирований. Неправильно мотивированные участники сохранят в своей памяти непроизвольно возникшие у них в течение сеанса тестирования ощущения усталости и «принудиловки». Это может негативно сказаться на последующей образовательной траектории личности. Позитивная же мотивация может непосредственно «подтолкнуть» рост качества образования в школах территории.
В конечном итоге, проводниками мер мотивации являются руководители и персонал территориальных центров тестирования (мониторинга качества образования).
Можно создать и развесить плакаты, можно провести разъяснительные передачи для школьников и их родителей по телевидению. Но весь созданный при этом настрой участников тестирований и их родителей улетучится, когда кто-либо из персонала в компьютерном классе выразит сомнение:
в качестве теста;
в целесообразности участия в тестированиях;
в объективности подведения итогов тестировании;
в искренности заявлений руководителей системы образования относительно судьбы лучших участников;
в честности руководства территориального центра и отсутствии подлога;
в истинности целевого расходования средств (денег), полученных от испытуемых за участие в тестированиях, и пр.
Людей, не способных к самоконтролю, не способных держать при себе свои чувства и сомнения, не должно быть в штате центра.
Позитивная мотивация участников, создаваемая централизованными мерами, подкрепленная общим положительным настроем сотрудников центра (опосредованно переданной мотивацией), может творить чудеса. Об этом свидетельствует описанный в настоящем пособии опыт ДВГУ массовых тестирований на территории Приморского края.
Организуя тестирования в масштабах региона, следует позаботиться о мотивации сотрудников территориальных центров. Свою, созданную внешними организаторами, мотивацию они передадут (индуктируют) участникам тестирований. В ДВГУ это делается следующим образом:
создана прозрачная система выплат вознаграждений сотрудникам центров, ставящая суммы в прямую зависимость от количества проведенных сеансов;
ежедневно сотрудники центров получают неформальные письма, где выражается исключительно позитивное отношение организаторов к ежедневным успехам, называются имена лучших, проводятся сравнения и обсуждения.
организовано соревнование между центрами за получение призов по итогам мероприятий.
Действенность этих мероприятий очевидна: ДВГУ шесть раз стал российским лидером по массовости участия школьников в централизованных тестированиях.
Мониторинг качества образования в России. Международное сотрудничествоЛюди только тогда сообщают нам интересные сведения,
когда мы им противоречим.
Бернард Шоу,
(aforizm.kaminplus.ru)
Качество образования школьников, работы учителей и школ России в недалеком будущем будет контролироваться независимыми экспертными центрами, координирующими набор абитуриентов в вузы, строящими таблицы рейтингов образовательных учреждений, ведущими мониторинг образовательных систем. Новые для России рыночные термины – менеджмент, маркетинг – прочно укоренятся в лексиконе работников образования.
Работы по внедрению мониторинговых технологий в настоящее время координируются Министерством образования РФ (http://www.informika.ru/) и Институтом общего среднего образования Российской Академии образования (ИОСО РАО) (http://www.ioso.ru/)
Россия осуществляет ряд международных проектов в области тестирования. Информацию об этом можно найти на официальном сайте www.informika.ru. Результаты этих мероприятий используются для построения международных рейтингов образовательных систем. Ежегодно публикуются рейтинговые таблицы, где можно почерпнуть сведения о том, школьники какой страны лучше знают, например, математику или химию. Объективность рейтингов обеспечивается специальными стохастическими процедурами, на основании которых выбираются конкретные школы и классы на территории стран, где проводятся тестирования.
В последние годы отмечается повышенный интерес к проблемам качества образования во всем мире. Страны объединяют усилия в разработке подходов к оценке и управлению качеством образования. Создается система мониторинга качества образования в мире. В ней участвуют более 50 стран. Ее организаторы:
Международная ассоциация по оценке учебных достижений IEA (International Association for the Evaluation of Educational Achievement);
Организация экономического сотрудничества и развития – OECD (Organisation for Economic Co-operation and Development).
Примерами международного сотрудничество в данной области являются международные сравнительные исследования, среди которых следует выделить: IAEP-II-1991, TIMSS-1995, TIMSS-R 1999, CIVIC –1999, CiViC-2000, PISA-2000.
Полный цикл подобного исследования в настоящее время, в связи с быстрым развитием теории и практики педагогических измерений, а также технологии проведения тестирования и обработки результатов, составляет 3-4 года. Это позволяет организовать эффективный мониторинг образовательных систем по ключевым показателям качества и эффективности образования. Одного срезового исследования, проводимого один раз в десять лет, недостаточно для выявления тенденций развития или последствий реформ.
Россия участвовала в международных исследованиях учебных достижений в области
математики;
естественнонаучных предметов;
граждановедения;
чтения.
(IAEP-II, TIMSS-1995, T1MSS-1999, SITES, CIVIC-1999, CIVIC-2000, PISA-2000, PIRLS-2000).
Наиболее важным международным исследованием по оценке качества образования в мире в 90-х годах, в котором участвовала Россия, было III Международное исследование по оценке качества математического и естественнонаучного образования – TIMSS. Цель исследования – сравнительная оценка естественно-математической подготовки учащихся средней школы в странах с различными системами образования и выявление факторов, влияющих на уровень этой подготовки.
В исследовании TIMSS участвуют многие страны: Австралия, Австрия, Англия, Аргентина, Бельгия (языки обучения: французский и фламандский), Болгария, Венгрия, Германия, Греция, Гонконг, Дания, Индонезия, Иран, Ирландия, Исландия, Израиль, Индонезия, Италия, Испания, Канада, Кипр, Колумбия, Корея, Кувейт, Латвия, Литва, Мексика, Нидерланды, Новая Зеландия, Норвегия, Португалия, Россия, Румыния, Сингапур, Словацкая Республика, Словения, США, Таиланд, Филиппины, Франция, Чешская Республика, Швеция, Швейцария, Шотландия, ЮАР, Япония.
Задачи исследования TIMSS:
Сбор, анализ и обобщение информации о системах образования.
Анализ и сравнение систем естественно-математического образования на уровне определения целей, планирования содержания образования и требований к подготовке учащихся по конкретным предметам.
Анализ учебного процесса обучения математике и естественнонаучным предметам.
Результаты проведенных в России международных исследований по оценке качества образования публикуются в сборниках материалов. Их готовит Центр оценки качества образования (ЦОКО) ИОСО РАО. Например:
Выпуск 1. Ковалева Г. С. Основные подходы к сравнительной оценке качества математического и естественнонаучного образования в странах мира (по материалам международного исследования – TIMSS)
Выпуск 2. Сравнительный анализ математической и естественнонаучной подготовки учащихся основной школы России. Денищева Л. О., Дюкова С. Е., Ковалева Г. С., Корощенко А. С., Краснянская К. А., Мягкова А. Н., Найденова Н. Н., Резникова В. З., Суравегина И .Е. / Под ред. Г. С. Ковалевой.
Выпуск 3. Что отвечают учащиеся, учителя и директора школ России на вопросы международных анкет? (Альманах международного исследования TIMSS /Часть I/) Составители: Гуссак Н. А., Ковалева Г. С.
Выпуск 4. Сравнительная оценка естественно-математической подготовки Выпускников средних школ России. Денищева Л. О., Ковалева Г. С., Краснянская К. А., Лошаков А. А., Найденова Н. Н., Нурминский И. И., Тарасов Ю. П. / Под ред. Ковалевой Г. С.
Выпуск 5. Что отвечают Выпускники и директора средних школ России на вопросы международных анкет? (Альманах международного исследования TIMSS /Часть II/) Составители: Гуссак Н. А., Ковалева Г. С.
Выпуск 6. Сравнительный анализ программ и учебников по математике и естественнонаучным предметам. Ивченкова Г. Г., Краснянская К. А., Ковалева Г. С. и др. / Под ред. Ковалевой Г. С.
Выпуск 7. Сравнительная оценка математической и естественнонаучной подготовки учащихся начальной школы России. Ивченкова Г. Г., Ковалева Г. С., Краснянская К. А. и др. / Под ред. Ковалевой Г. С.
Выпуск 8. Модели взаимодействия факторов, влияющих на уровень математической и естественнонаучной подготовки школьников России. Ковалева Г. С., Краснянская К. А., Найденова Н. Н. и др. / Под ред. Найденовой Н. Н.
Выпуск 9. Технический отчет по проведению в России международного исследования – TIMSS. Каменщикова Е. К., Ковалева Г. С., Крайнова Н. А., Найденова Н. Н. / Под ред. Ковалевой Г. С.
Проект TIMSS является одним из самых крупномасштабных образовательных исследований по охвату исследуемых проблем и по количеству стран-участниц.
TIMSS объединил усилия специалистов более 50 стран мира. В процессе исследования изучаются тысячи программ и учебников различных стран по математике и естественнонаучным предметам, проводится тестирование и анкетирование сотен тысяч школьников, тысяч учителей и директоров школ.
В проведение исследования TIMSS в России вовлекается большое количество специалистов: представители РАО и МОРФ, работники образования десятков регионов России, директора и учителя сотен школ, десятки тысяч учащихся. Формирование обследуемой выборки осуществляется в соответствии с международными требованиями, анализируется и утверждается международными экспертами.
Особенностью TIMSS является его значительная ориентация не на ранжирование стран по уровню учебных достижений учащихся, а на объяснение полученных данных.
Организация и проведение исследования TIMSS-R (1999) в России
В TIMSS-R (1999) участвовало 38 стран: Австралия, Англия, Бельгия, Болгария. Венгрия, Гонконг, Иордания, Иран, Израиль, Индонезия, Италия, Канада, Кипр, Южная Корея, Латвия, Литва, Македония, Малайзия, Молдова, Марокко, Нидерланды, Новая Зеландия, Россия, Румыния, Сингапур, Словацкая Республика, Словения, США, Таиланд, Тайбэй (китайский), Тунис, Турция, Филиппины, Финляндия, Чешская Республика, Чили, ЮАР, Япония. Из них 26 стран участвовали в исследованиях 1995 г. и 1999 г., 12 стран присоединились к исследованию на втором цикле.
Отличительной особенностью исследования TIMSS является научное сотрудничество специалистов всех участвующих в исследовании стран. Это позволяет включить в работу ведущие коллективы мира и таким образом поддерживать высокое качество проводимого исследования. Та
