Настройка шрифта В избранное Написать письмо

Книги по педагогике 2

Морев И. А. Образовательные информационные технологии. Часть 2. Педаго / Страница 8

Главная (1 2 3 4 5 6 7 8 9 10)
мыши;

          В ТЗ на установлении правильной последовательности испытуемый ставит ранги в специально отведенном для этого месте.

          Каждое ТЗ взаимосвязано с остальными. Эта связь бывает явной и неявной. ТЗ часто неявно связано с другими просто в силу структуры теста, подобно, атомам в кристалле.

          Задания в рамках теста связаны явно, если (приведены примеры – образы):

          все ТЗ посвящены одной, резко очерченной теме, и любое дополнительное задание будет лишним (тест – кристалл);

          все ТЗ имеют веса, веса являются составляющими формулы расчета результата тестирования, и любое дополнительное ТЗ разрушит равновесие (тест – весы);

          важна последовательность изложения и проверки знаний (тест – конвейер);

          важна последовательность возрастания сложности ТЗ (тест – эволюция);

          каждое ТЗ занимает определенную нишу в структуре теста, как архитектурный элемент в сооружении, и без его выполнения нельзя судить о каком-либо качестве претендента (тест – дворец).

          ТЗ в рамках теста связаны неявно, если:

          каждое ТЗ посвящено отдельному блоку информации, не связанному с другими отношениями порядка, а сам тест формируется из множества ТЗ случайным образом;

          ТЗ составлялись без учета того, сколько и каких заданий уже вошло в состав теста.

          ТЗ могут быть разграниченными, т. е. результаты их выполнения свидетельствуют о разных составляющих знаний претендента и взаимопроникающими, когда результат выполнения одного ТЗ подтверждает результат выполнения другого.

          Если из какого-либо теста сделать выборку меньшего количества ТЗ, то может образоваться система, не уступающая заметно по своим свойствам первоначальному тесту. Тест с меньшим количеством ТЗ тогда можно называть более эффективным.

          Четыре формы тестовых заданийСамо понятие нормы не существует без ее нарушения.

          М. Горбаневский

          В тестологической практике принято считать, что существуют всего четыре формы тестовых заданий. Все остальное разнообразие можно классифицировать как их вариации.

          Вместе с тем, существует мнение, что четырьмя типами все описать нельзя. Тестология развивается. Например, не так давно появилась методика дифференцированной оценки выполнения заданий. Она известна под на званием «grading» (градуирование, распределение). В этой методике предполагается, что оценка выполнения заданий может быть не только двузначной «правильно – неправильно», но и принимать целый спектр значений. Считается, что более всего эта методика применима в математи ке.

          Вот названия (характеристики) всех четырех традиционных форм тестового задания:

          задания с выбором ответов (испытуемый выбирает правильные ответы из числа готовых, предлагаемых в задании теста) – задание в закрытой форме;

          задания на дополнение (испытуемый сам дает краткий или развернутый ответ) – задание в открытой форме;

          задания на установление соответствия между элементами двух множеств;

          задания на установление правильной последовательности в ряду элементов.

          Выбор формы зависит от:

          цели тестирования;

          содержания теста;

          технических возможностей;

          уровня подготовленности преподавателей и персонала.

          Приведем (с некоторыми сокращениями) объемную цитату, проясняющую взаимоотношение формы и содержания тестовых заданий:

          Овладение формой является необходимым, но недостаточным условием создания полноценных тестов. Форма придает заданиям лишь структурную целостность и определенность, внешнюю организованность. Задания в тестовой форме только внешне похожи на тестовые задания, но это недостаточно для их включения в тест; нужна еще проверка свойств, позволяющих включить их в тест. Вместе с тем, меняющееся от дисциплины к дисциплине содержание позволяет абстрагировать форму в качестве самостоятельного предмета и рассматривать ее как подобие инварианта, независимого, в значительной степени, от содержания конкретной учебной дисциплины. Тем самым здесь подтверждается общий философский тезис о сравнительном постоянстве формы, остающейся устойчивой при изменении содержания.

          Начиная с Аристотеля, форма понимается как идеальный принцип расположения элементов. Другое истолкование выдвинул И. Кант, согласно которому форма есть принцип упорядочения. Эти две идеи – организации и упорядочения, плюс идея существования содержания в каких-либо формах легли в основу нашего определения формы тестовых заданий: это способ организации, упорядочения и существования содержания теста.

          Исследованием научных основ разработки тестов занимается педагогическая тестология. В западных странах получили развитие эконометрика, биометрика, социометрия и другие науки, имеющие своим предметом изучение количественных свойств и отношений, разработку объективных показателей состояния интересующих явлений

          Общие принципы разработки формы тестовых заданий рассматриваются в тестологии как важный предмет исследования, в то время как содержание, будучи не менее важным компонентом хорошего теста, относится все же не столько к тестологии, сколько к той науке, знание которой проверяется.

          В. С. Аванесов

          Первая форма – закрытая форма заданияОсновой этой формы является закон исключенного третьего, сформулированный Аристотелем. Выбор правильного варианта порождает истину, выбор неправильного – ложь. Третьего не дано. Из этого закона следует: каждое задание должно иметь один верный вариант выполнения.

          Чаще всего в литературе встречаются задания в закрытой форме, имеющие вопрос и четыре варианта ответа, из которых один – верный. Это – уже классика.

          Для выбора правильного варианта испытуемый должен совершить одно из действий:

          ввести код (цифры или буквы) требуемого ответа в специальном окне;

          щелкнуть мышью по «радиокнопке» с номером варианта;

          щелкнуть мышью по тексту варианта.

          Главными недостатками классической закрытой формы являются:

          высокая вероятность угадывания верного варианта;

          непроизводительные затраты времени на прочтение всех вариантов;

          возможное непроизвольное подсознательное запоминание испытуемым неправильных вариантов как правильных.

          Форма налагает логический запрет на применение таких вариантов, как:

          «правильного ответа нет';

          «все ответы правильные';

          «все ответы неправильные».

          Он часто нарушается как в зарубежных, так и в российских тестах. Нарушения эти свидетельствуют о невнимательности либо об отсутствии культуры логического мышления среди составителей тестовых заданий.

          В публикуемых в печати заданиях закрытой формы часто встречаются логические неувязки, несоответствия, многозначности. Это происходит в том случае, когда:

          вопрос содержит скрытый вопрос, который некоторые, особо искушенные в тестированиях, испытуемые могут принять за основной;

          вопрос содержит дополнительную контекстную информацию, могущую показаться неверной части испытуемых (особенно это касается истории, политологии и т. п.);

          вопрос многословен, содержит придаточные предложения;

          в задании отсутствует задание или вопрос, т. е. есть только текст в области задания и четыре варианта текста в области ответов;

          задание содержит утверждение с многоточием и варианты замещения многоточия.

          Чаще всего, логические неувязки встречаются в четвертом из этих случаев.

          Указанные и другие недостатки есть во всех тестах. Есть три пути борьбы с ними:

          повторное авторское редактирование;

          самотестирование автора;

          проведение тестирования в референтных группах, состоящих не только из учащихся, но и из преподавателей.

          Наиболее быстрым, экономичным и эффективным следует признать третий путь.

          Есть два достаточно известных пути развития закрытой формы, восполняющие указанный недостаток:

          задание с оцениванием верности, т. е. выбором одного, наиболее верного варианта из нескольких верных в разной степени;

          задание с выбором нескольких верных вариантов из нескольких предложенных.

          Оба они так же считаются заданиями в закрытой форме.

          Есть третий и четвертый пути развития задания в закрытой форме, еще более снижающие вероятность угадывания, описанию которых в данном пособии уделено особое внимание:

          задание с оцениванием степени верности каждого из вариантов;

          задание с оцениванием степени верности одного из вариантов, где испытуемый не может видеть все варианты одновременно.

          В последнем случае испытуемому предоставляется возможность просматривать варианты, выпадающие в случайном порядке.

          Третий и четвертый пути, кроме наличия очевидных преимуществ в оценивании степени владения знаниями, весьма перспективны для:

          развития эвристичности мышления;

          обучения студентов педагогических специальностей.

          Ситуации, в которых необходимо выбор, особенно множественный, как в последних случаях, часто вызывают у испытуемых чувство неуверенности. Источником сомнений является:

          отсутствие информации об альтернативах;

          субъективной ценностью альтернатив;

          конфликтный (бесконфликтный) характер альтернатив.

          Опыт показывает, что неуверенность испытуемых исчезает после первых успехов.

          Вторая форма – открытая форма заданияЗадание в открытой форме является обычно утверждением или большим текстом. В тексте есть специальные места, куда следует вносить информацию, оговоренную инструкцией. Обычно это «клетки», в каждую из которых вписываются буквы, цифры или пробелы. После заполнения клеток, текст превращается в истинное или ложное высказывание.

          Обычно используется три вида тестовых заданий открытой формы:

          задания дополнения, где испытуемый должен сформулировать дополнения к предъявленным текстам;

          задания – кроссворды, ориентированные на выяснение знания претендентами определений, могущие содержать подсказки на пересечениях слов и игровой элемент;

          задания свободного изложения, где требуется изложить полное решение задачи, сочинение или перевод текста, где почти никакие ограничения на выполнение задания не накладываются.

          Правильно сконструированные задания открытой формы полностью исключают догадку – главный недостаток заданий закрытой формы. Это – главное достоинство таких заданий.

          Задания открытой формы часто вызывают недопонимания среди педагогов в связи с частотой одинаковых случаев: претенденты, выполняющие задания открытой формы по географии (истории, литературе, математике:) делают орфографические ошибки. Считать ли варианты с орфографическими ошибками ошибочными? Ставить ли учащемуся, превосходно знающему теоремы и умеющему решать задачи, двойку по математике за то, что он неправильно пишет слова «прямая» и «плоскость'?

          Однако задания свободного изложения имеют существенный недостаток – трудно предсказуемая многовариантность. Результаты их выполнения невозможно полноценно проверить автоматически. По крайней мере, на сегодняшнем этапе развития компьютерных интеллектуальных систем. Можно с этим бороться:

          уделять больше внимания формулировке заданий, чтобы существенно сократить количество вариантов;

          указывать количество букв в допустимом варианте выполнения;

          предусмотреть все возможные верные варианты.

          Все эти попытки приводят к резкому ограничению длины возможных текстов, вводимых претендентами в качестве вариантов ответа.

          Учитывая, что количество цифр и букв ограничено, можно считать задание в открытой форме эквивалентным заданию в закрытой форме, только с очень большим количеством (миллионы, миллиарды) неправильных вариантов выполнения, скрытых от претендента.

          Третья форма – задания на установление соответствияЭто задания, где элементам одного множества нужно верно сопоставить элементы другого. Вариантом выполнения задания является перечень связей (соответствий) элементов. Для обозначения этих связей поступают так. Элементы одного множества обозначаются цифрами, другого – буквами. Ответ конструируется как последовательность связанных цифр и букв. Например, для двух пятиэлементных множеств, нужно ввести в качестве результата выполнения задания кодовое слово: 1Р2М3В4Е5Н6Л.

          Результаты выполнения задания на установлении соответствия:

          или пишутся в отведенной для этого строке по оговоренному инструкцией правилу;

          или указываются мышью графические изображения связей (соответствий).

          Задания на установление соответствия рекомендуются для проверки ассоциативных и алгоритмических навыков пользования знаниями. Поиск аналогий на основе учебного материала, позволяет делать выводы не только о владении обучаемым теми или иными понятиями, но и о других характеристиках структуры знаний.

          Задания на установление соответствия позволяют вести проверку усвоения сразу нескольких дисциплин. Поэтому они могут обладать большой проверочной емкостью.

          Выполнение таких заданий легко проверять путем сравнения с единственным верным вариантом. Это жесткий подход. Но ведь претендент может сделать одну ошибку – неужели из-за этого все задание он выполнил неправильно? Проверить выполнение таких заданий «мягко», дифференцированно – вручную нельзя, а с компьютером – можно.

          Часто встречаемый недостаток заданий третьей формы – «особо начитанные» претенденты усматривают в таких заданиях не только изоморфные (однозначные) связи, но и гомеоморфные (многозначные). Это приводит к необоснованным снижениям оценок и справедливым апелляциям (см., напр., раздел «ЕГЭ» в Приложениях).

          Поскольку результат выполнения задания третьей формы – кодовое слово с четко оговоренной длиной, в этом смысле эта форма совпадает со второй (открытой).

          Четвертая форма – задания на установление последовательностиВ этих заданиях требуется установить правильную последовательность вычислений, действий, шагов, операций, терминов.

          Установив правильную, со своей точки зрения, последовательность, испытуемый вводит свой вариант в специально отведенном для этого месте путем

          или щелканья мышью по последовательности мнемонически понятных элементов (цифр и пр.);

          или ввода последовательности цифр с клавиатуры.

          Эта форма заданий вызывает часто нарекания не из-за себя, а из-за недостатков интерфейса и инструкции, приводящим к разночтениям алгоритма ввода варианта.

          Эту форму применяют для проверки верности понимания испытуемыми хода решения.

          Четвертая форма заданий становится эквивалентной третьей, если представить одно из элементных множеств задания третьей формы простой последовательностью цифр.

          Вес тестового задания. Полдюжины факторов снижающих ценность понятия веса ТЗНезависимо от единиц измерения, используемых поставщиком или покупателем,

          производитель будет использовать свои собственные произвольные единицы измерения,

          переводимые в единицы поставщика или покупателя с помощью странных и неестественных коэффициентов пересчета.

          Теорема Вышковского (Артур Блох. Мерфология)

          Можно «взвесить» задания относительно друг друга внутри каждого уровня, если это необходимо. Однако здесь следует иметь в виду следующие соображения.

          Вычисление относительного веса заданий, т. е. их относительной трудности для учащихся – довольно сложная задача. Она требует проведения большого количества тестирований с участием многих учащихся. При этом на величины вычисляемых Вами весов могут непредсказуемо повлиять следующие факторы:

          Разные учащиеся в разное время могут пользоваться при подготовке к тестированию разными учебниками, где один и тот же вопрос освещен с разной степенью подробности и ясности;

          Смена (или временная подмена) преподавателя дисциплины приводит к освещению разных вопросов в разных учебных группах с разной степенью подробности и ясности. Поэтому при взвешивании можно вес одного и того же вопроса для одних избрать чересчур высоким, для других – низким;

          Учащиеся, прошедшие тестирование первыми неизбежно передадут почерпнутую информацию следующим, и те придут тестироваться более подготовленными. Неодновременность сеансов тестирования и неконтролируемость распространения информации среди учащихся о тестовых заданиях сделают Ваши попытки «скрупулезного взвешивания» бессмысленными;

          Учащиеся, лучше всех знающие учебный материал, лучше всех прогнозируют для себя время, необходимое для выполнения заданий. Поэтому они выполнят в первую очередь простые задания, а сложные оставят на «потом». Это приведет к ошибочному пониманию сложности заданий – за «сложные» Вы ошибочно примете «долгие';

          Рабочие учебные программы по дисциплинам иногда меняются, в соответствии со взглядами руководства. Каждая такая смена будет разрушать Ваши результаты «взвешиваний» и заставлять Вас приниматься за эту решение этой задачи вновь.

          Величины весов ТЗ, вычисленные на разных выборках претендентов, получатся разные. Следовательно, претендент, результаты тестирования которого учитывались в совокупности с разными выборками, будет иметь разный результат.

          Таким образом, для учащихся, учившихся в разных учебных группах и в разные периоды времени, веса заданий, вычисленные по результатам тестирований других групп, будут относительно необъективны. Кроме того, опыт работы жюри олимпиад говорит, что, по какой бы системе веса не вычислялись, дополнительной объективности решению жюри это никогда не придает и список призеров от этого меняется мало.

          Поэтому «сложность» заданий надо учитывать по-другому. Например, путем перехода к многомерной векторной оценке, векторному рейтингу. Компоненты вектора – рейтинга характеризуют относительный успех претендента в выполнении конкретных групп ТЗ.

          Трудоемкость и сложность тестового заданияНа узкой дороге тон задает черепаха.

          В классической тестологии понятия «трудность» и «сложность» использовали как синонимы. Разные авторы предлагали различать их. В современной тестологии термин «трудность» заменяют на более подходящий – «трудоемкость» (предложено В. П. Беспалько).

          Трудоемкость задания – мера количества и длительности предполагаемых операций, необходимых для успешного выполнения задания.

          Сложность задания – мера объема и сложности информации, которую должен освоить претендент для того, чтобы выполнить задание.

          Если претенденты имеют достаточно времени, чтобы продумать варианты выполнения и не соревноваться в скорости, определяющим фактором становится сложность заданий. Поэтому сложность – наиболее часто используемое слово для характеристики заданий.

          Сложность задания зависит от пути изучения учебной темы претендентами (по какому учебнику), от их подготовки и сообразительности. Сложность принимает разные значения для разных выборок претендентов. Одно и то же задание для студента одного вуза может стать неразрешимым, для студента другого – «семечками». Чем больше претендентов, правильно выполнивших задание, тем меньше его сложность для данной группы. На величину сложности могут влиять артефакты, например – накапливающаяся в процессе длительного сеанса усталость или недостаточность времени сеанса. Простое задание могут не выполнить большинство претендентов только потому, что пока они до него добрались, они устали. Или, вообще не успели добраться. Так простое задание с большим номером автоматически формально становится очень сложным.

          И в школе, и в вузе часто бывает ситуация, когда:

          учащиеся одной параллели учатся у разных преподавателей и по разным учебникам;

          преподаватели меняются в учебной группе в течение учебного года.

          А если так, то усилия по эмпирическому определению сложности заданий теста не приведут к результату, и сложность заданий будет принимать разные значения.

          Вычисленная сложность заданий может реально использоваться в дальнейших тестированиях при условии сохранения трех внешних параметров:

          личность преподавателя и материал лекций, контрольных работ и пр.;

          комплект учебных пособий;

          параметры претендентов (т. е. группы учащихся, подвергающиеся тестированию, должны быть статистически неотличимы по характеристикам).

          В противном случае, сложность заданий придется пересчитывать после каждого сеанса тестирований перед определением рейтингов. А тогда может произойти казус:

          претенденты, тестировавшиеся в составе разных групп и получившие одинаково высокий рейтинг, будут значительно различаться своими характеристиками;

          претендент, прошедший тестирование по одному тесту, но в разных группах, получит разный рейтинг.

          Один из путей преодоления этих проблем – переход к векторному рейтингу.

          Две дюжины оснований типологии тестовых заданийСоздаваемые в настоящее время в России БТЗ, на первый взгляд, так различны, что трудно их сопоставить для дальнейшего совместного использования. Ряд исследователей, занимающиеся этой проблемой, предложили способы классификации БТЗ.

          Первая дюжина оснований

          Определена комбинированной типологией ТЗ предложенной Е. А. Михайлычевым (Михайлычев Е. А. Дидактическая тестология. М.: Народное образование, 2001. – 432 с.) на основе типологий Г.А. Балла, В.И. Андреева, В.П. Беспалько. Мы здесь внесли в нее некоторые не принципиальные коррекции, следуя лишь соображениям лаконичности и однообразия.

          Ориентация на диагностируемый уровень усвоения (по концепции В.П. Беспалько):

          I уровень;

          II уровень;

          III уровень (не типовая задача, связанная с графическими и модельными построениями, не имеет эталона ответа);

          IV уровень (эвристическая задача, не имеет эталона ответа).

          Характер обобщённости предмета задачи:

          индивидуальный;

          родовой.

          Характер предмета решения задачи:

          материальный;

          информационный.

          Характер разрешимости тестовой задачи:

          принципиально неразрешимая;

          принципиально разрешимая.

          Субъективная подготовленность претендента к решению тестовой задачи:

          рутинная;

          не рутинная.

          Чёткость построения тестовой задачи:

          чёткая (алгоритмическая);

          нечёткая.

          Нацеленность формулировки на адекватность восприятия:

          ориентированная на адекватное восприятие;

          ориентированная на неадекватное восприятие.

          Возможность изменения предмета задачи:

          теоретическая;

          практическая.

          Особенности формулировки задания:

          задачи на исполнение;

          задачи на преобразование;

          задачи на восстановление;

          задачи на построение;

          задачи на использование процедуры;

          задачи на использование имеющегося состояния, условия.

          Логическая схема построения задания:

          индуктивная;

          дедуктивная;

          смешанная (индуктивно-дедуктивная).

          Доминирующие приемы метода познания, требуемого для решения задачи:

          логическая;

          аналитическая;

          экспериментальная;

          графическая.

          Форма организации выполнения задачи:

          индивидуальная;

          групповая;

          фронтальная.

          На основе этой схемы можно описывать основные аспекты ориентации ТЗ. Она же может помочь в планировании структуры вновь создаваемой БТЗ.

          В некоторых случаях удается добиться еще более детальной классификации заданий. Для этого дополним приведенную первую дюжину оснований еще одной.

          Вторая дюжина оснований

          Может быть построена на основании работы (Васильев В. И., Тягунова Т. Н. Теория и практика формирования программно-дидактических тестов. М.: Издательство МЭСИ, 2001. – 130 с.) и ряда сделанных нами дополнений:

          Форма:

          на указание верных вариантов (закрытая форма);

          на исправление или ввод информации (открытая форма);

          на указание соответствия;

          на указание последовательности.

          Тип оценивания:

          с конструктивной оценкой

          с неконструктивной оценкой

          Шкала (логика) оценивания

          с двузначной шкалой оценивания (верно – не верно)

          с трехзначной шкалой оценивания (верно – не совсем верно – не верно)

          с четырехзначной шкалой оценивания (верно – не полно – не точно – не верно)

          Форма демонстрационных материалов

          не мультимедийное

          мультимедийное

          графическое

          текстовое

          Тип носителя

          бланковое;

          компьютерное.

          Величина эмпирических параметров:

          вес;

          трудоемкость;

          сложность.

          Содержание:

          информационно-отражающие;

          проблемно-эвристические;

          развивающие.

          Направленность выяснения характеристик претендента:

          знаний;

          умений;

          навыков.

          Общие требования:

          технологичности;

          формы;

          содержания

          Статистические требования:

          известной трудности;

          достаточной вариации тестовых баллов;

          положительной корреляции баллов задания с баллами по всему тесту.

          Ориентация:

          нормативные тесты – ориентированные на статистические нормы, основанием для сравнения в которых служат статистически полученные данные о выполнении теста репрезентативной выборкой претендентов;

          критериальные тесты – ориентированные на критерии, предназначенные для определения уровня достижений претендента относительно заданного критерия;

          прогностические тесты – ориентированные на прогноз успешности деятельности.

          Вид тестирования:

          статическое тестирование – направлено на измерение результатов обучения, но не может оценить потенциал претендента;

          динамическое тестирование – направлено на выявление скрытых способностей претендента, а также оценку – насколько успешно он может далее обучаться.

          Чаще авторы тестов не пользуются типологиями, составляя тесты так, как они считают нужным. Их оправдывает прагматичная цель – не повышение качества измерения, а надежная дифференциация групп претендентов. Тестирования с такими тестами похожи на обычную экзаменационную лотерею, в которой гарантированно выигрывает только подготовленный претендент. Чаще всего, свойств таких тестов вполне достаточно для практического применения.

          В упомянутой книге Е. А. Михайлычева приведен обширный обзор различных типологий тестовых заданий. В настоящее время наиболее распространенной типологией ТЗ является дифференциация по четырем формам.

          Четыре группы из восемнадцати характеристик ЗУН, выявляемых путем тестированияКогда я был маленьким, у меня тоже была бабушка :

          Тов. Дынин (к/ф «Добро пожаловать или посторонним вход воспрещен»)

          Приведем классификацию параметров претендентов, выделенных разными авторами. Мы разбили их на четыре больших группы.

          1. Кругозор:

          знание основных фактов;

          знание истории науки;

          методологическая подготовка (классификации, внутридисциплинарные и междисциплинарные связи);

          умение применить философские методы, понимание противоречий, различение формы и содержания;

          знакомство с основной литературой;

          словарный запас.

          2. Знания основ дисциплины (темы):

          знание законов;

          знание определений и ключевых понятий, номенклатуры;

          знание правил;

          знание основных концепций.

          3. Умение решать стандартные задачи в рамках дисциплины (темы):

          умение применять знания в решении простых задач;

          умение защищать свои взгляды;

          умение логичного изложения;

          умение приложить теорию к практике, описать и объяснить простое явление;

          наличие стандартных умений и навыков (построение таблиц и графиков, формул, проведение экспериментов, анализ текстов и изображений);

          умение перевести стандартный текст на иной язык.

          4. Умение разрешать проблемы:

          понимание взаимосвязанности тем и разделов курса, умение применить взаимосвязи;

          знакомство с периодической и не основной литературой;

          наблюдательность, умение вычленить главное;

          умение распознать структуру текста (проблемы, изображения, формулы, явления);

          умение применить межпредметные знания, «сквозные» учебные умения и навыки.

          Два десятка требований к тестовым заданиямБыло бы ошибкой думать:

          (классический пример неверно составленного тестового задания)

          Тестовые задания должны отвечать следующим требованиям (в алфавитном порядке):

          Адекватность – соответствие инструкции, формы и содержания задания;

          Взвешенность – наличие веса, т. е. определенного, выраженного в виде числа или отношения порядка уровня сложности или трудоемкости задания;

          Дистрактивность – степень похожести неправильных вариантов на правильные и наоборот;

          Дифференцирующая способность – свойство отдельных заданий и теста дифференцировать претендентов на группы в соответствии со степенью их подготовки;

          Доступность – потенциальная возможность выполнения для большинства претендентов;

          Интегрированность, синтетичность – наличие или отсутствие межпредметных связей;

          Корректность – отсутствие малопонятных и редко употребляемых выражений, а также неизвестных для претендентов символов и слов, затрудняющих восприятие смысла;

          Краткость – тщательный подбор слов, символов, графиков, позволяющая минимумом средств добиваться максимума ясности смыслового содержания задания;

          Критериальность – наличие возможности предъявить претендентам не только двузначную шкалу оценки вариантов выполнения («верно – не верно») но и иные, в соответствии с критериями (напр., «верно – не точно – не полно – не верно»);

          Многофункциональность – наличие возможности диагностики и памяти, и мышления;

          Оригинальность – минимизирующая вероятность пользования шпаргалкой;

          Открытость – претенденты имеют возможность познакомиться с подобными ТЗ заранее;

          Понятность – отсутствие двойных отрицаний, придаточных предложений, скрытых вопросов, подразумеваемого смысла и т. п.;

          Привлекательность – присутствие доли юмора и аналогичных элементов, способствование развитию желания претендентов к самообразованию;

          Технологичность – простота составления и корректировки, наличие четких правил составления и оценивания весов;

          Толерантность – отсутствие фрагментов, вызывающих непонимание и возмущение, связанные с различием людей по объективным признакам (национальность, пол и пр.);

          Универсальность – возможность использования в разных тестовых комплексах;

          Формальность – соответствие избранной форме;

          Эргономичность выполнения и обработки – минимальность затрачиваемого времени на прочтение, понимание, ответ; минимальность затрат ресурсов и времени на проверку и анализ результатов.

          Целесообразность.

          Две дюжины недостатков тестовых заданий и полдюжины их причинМы шли по тропе. Тропа поднималась в гору.

          Левицкая Н. В., Луганская Л. И., Лаврова К. И. Русский язык.

          Учебное пособие для солдат, не владеющих или

          слабо владеющих русским языком. Воениздат, 1982

          В отечественной и зарубежной научной тестологической литературе неоднократно отмечалось, что большинство создателей тестовых заданий совершают ряд одинаковых ошибок. Перечислим основные ошибки в порядке частотности появления.

          В списке ответов правильный ответ, как правило, самый длинный. Поэтому его нетрудно найти. Это основная ошибка начинающих составителей тестовых заданий. Часто учащиеся об этом знают, и умело пользуются этим знанием.

          Неправильные варианты ответов бывают не согласованными с вопросом задания в падежах, родах, числах и т.д. Авторы и редакторы обращают на них внимания меньше, чем на правильные варианты.

          В вариантах выполнения заданий встречаются перекрестные логические и информационные ссылки, что усложняет нахождение верного варианта, если ответы расставлены компьютером по случайному алгоритму.

          Верный вариант выполнения задания можно с большой степенью вероятности «вычислить» логически, путем исключения явно неверных.

          Вопрос задания содержит скрытый вопрос, который, особо искушенные в тестированиях («особо одаренные»), испытуемые, ища логический подвох, могут принять за основной.

          Вопрос содержит дополнительную контекстную информацию, могущую показаться неверной части испытуемых (особенно это касается истории, политологии и т. п.).

          Вопрос задания многословен, содержит придаточные предложения, двусмыслен.

          В задании отсутствует задание или вопрос, т. е. есть только текст в области задания и четыре варианта текста в области ответов.

          Задание содержит утверждение с многоточием и варианты замещения многоточия.

          Задание предполагает непропорционально высокие затраты времени на знакомство испытуемого со всеми вариантами выполнения.

          Задание предполагает возможное непроизвольное подсознательное запоминание испытуемым неправильных вариантов как правильных.

          Задание содержит логически невозможные варианты выполнения. Например, в литературе часто обсуждается известный логический запрет на применение таких вариантов ответа в заданиях закрытого типа, как

          «правильного ответа нет';

          «все ответы правильные';

          «все ответы неправильные».

          В задании отсутствует инструкция и трудно определить, что же требуется от испытуемого на этот раз. Например, в заданиях третьей и четвертой форм, когда на экране компьютера присутствуют два-три одинаково нумерованных элементов, а в задании предлагается «указать» один из них, испытуемый вынужден обращаться за толкованием к дежурному в классе, который может не иметь нужной информации.

          Нарушение изоморфизма. В заданиях третьей и четвертой форм, где требуется перенумеровать или сопоставить друг другу элементы, встречаются элементы, которым можно сопоставить разный порядок или которые можно одновременно сопоставить нескольким элементам.

          Присутствие логической связи между разными вариантами выполнения задания, не позволяющей рассматривать их по-отдельности, например, если компьютер демонстрирует их по очереди или в случайном порядке.

          Вопрос задания не однозначен, содержит в себе более одного вопроса (т. е. несколько подвопросов). Техника составления таких вопросов используется в социологических опросниках для «подталкивания» человека к нужному ответу, но в школьных тестовых заданиях они появляются исключительно по неопытности составителей. Подвопросы часто логически скрыты и видны только специалисту. Поэтому иногда трудно однозначно определить, какой ответ авторы считают полным и верным.

          Вопрос задания содержит двойное отрицание. В этом случае часто можно построить не менее двух верных и совершенно противоположных по смыслу ответов на такой вопрос.

          Вопрос задания не подразумевает полный однозначный ответ, не очерчивает круг обязательной информации, которую должен содержать ответ. Такая ошибка составителей часто встречается в заданиях всех четырех форм.

          Например, на вопрос: «Где произошло Бородинское сражение?» можно абсолютно точно ответить «Под Москвой», «В России», «У деревни Бородино», «В поле».

          Например, в заданиях с вопросами типа «Кто первым изобрел:?» не поясняется, должен ли ответ содержать фамилию, инициалы, национальность ученого, а также один или несколько ученых имеются в виду. Не учитывается, что вопрос «Кто?» применяется в русском языке и для случая одного человека, и для случая группы.

          Например, вопрос сформулированный так: «Назовите клички лучших английских скакунов...», не содержит пояснения, сколько кличек нужно назвать.

          Подлежащее в именительном падеже легко путается с прямым дополнением в винительном падеже, например: «мать любит дочь» (пример В. С. Аванесова);

          На вопрос «Когда началась Великая отечественная война?» можно ответить; «в июне», «в XX веке» и пр.;

          В заданиях открытой формы следует указывать род, падеж и пр. ожидаемых слов. Например, на вопрос «Как называется судно, колющее лед?» можно ответить и «ледокол», и «ледоколом».

          среди заданий на установление соответствия или на установление последовательности встречаются варианты, трактуемые в разных источниках по-разному (причины и последовательности исторических событий).

          Вопрос неоднозначен либо варианты ответа не настолько полны и однозначны, как подразумевается вопросом задания. Например, нельзя в задании задавать вопрос «Когда началась Великая отечественная война?». Следует задание формулировать так: «Назовите дату начала Великой отечественной войны». Ведь правильный ответ для первой формулировки неоднозначен: «В июне», «В XX веке» и пр.

          Варианты ответа не согласованы с вопросом в числе и падеже, дают повод для противоречивого толкования.

          ТЗ содержат орфографические и иные языковые ошибки. Эти ошибки, ставят в логический тупик учащегося, поскольку ему не известно, случайна или намеренна ошибка. Особенно такие ситуации драматичны в тестированиях по русскому языку.

          В инструкции задания открытого типа не указывается, в каком числе и падеже должен быть написан вариант словосочетания. В итоге – введенный принципиально правильный вариант может быть принят при автоматической проверке за неверный.

          В задании открытого типа возможно несколько формулировок ответа, а составителем бывает предусмотрена только одна. В итоге – введенный принципиально правильный вариант может быть принят при автоматической проверке за неверный

          Задания однообразны, нудны. Последовательность таких заданий отрицательно воздействует на учащихся, вызывают так называемый эффект «ровной дороги» – известный в практике водителей-дальнобойщиков эффект засыпания за рулем, отвлечения и рассеяния внимания, когда дорога слишком ровна и пустынна.

          Часто учащиеся знают о типовых ошибках, и умело пользуются этими знаниями, получая высокие отметки. Известны случаи, когда шутник, осведомленный о таких ошибках, уверенно сдавал экзамен, например, по специальной медицинской дисциплине.

          Бесполезно придумывать защиту от дурака –

          ведь дураки так гениальны:.

          Э. Мэрфи, Dec

          Применяемые в системе образования БТЗ часто далеки от идеала. Приведем самые веские причины этого объективного положения:

          Составлять тексты так, чтобы они были удобочитаемы и удовлетворяли правилам русского языка, не так просто, как представляют себе многие. Не всякий учитель способен сформулировать вопрос так, чтобы он однозначно воспринимался всеми;

          В специальных науках укоренились жаргонные словосочетания, которые могут быть применяемы в кругу единомышленников для оптимизации времени общения, но не в печати. Часто такие словосочетания противоречат языковым нормам, и смысл их трудно воспринимается неспециалистами;

          Объективно невозможно полностью исключить вероятность угадывания правильного ответа, хотя и существует целый ряд методик, позволяющих ее минимизировать. Сравните два задания (пример А. Анастази):

          Плохо составленное задание: «Нелегальный: несекретный, незаконный, сексуальный, безграмотный, дерзкий».

          Хорошо составленное задание: «Нелегальный: секретный, противозаконный, сексуальный, неграмотный, дерзкий».

          В первом случае слово «незаконный» предполагает правильный ответ с приставкой «не», а во втором – слово «неграмотный» наводит на ложный след;

          Можно утверждать, что практически в любом тесте можно найти «дикие» с точки зрения русской языковой культуры фразы, несогласованности падежей, родов;

          Отсутствие культуры критики. В вузовских тестах (так же, как и в учебных пособиях) значительно меньше «дикостей», чем в школьных. Причина этого культурно-языкового превосходства, по нашему мнению, заключена в следующем. В вузовской среде, в отличие от школьной, поощряется критика: критические замечания по поводу методических пособий публикуются. Рассмотрите критически сборники тестов для школьников и студентов, рекомендованные для подготовки к тестированиям;

          Нет предела совершенству. Идеал трудно достижим еще и по причине несогласованности спорности разрабатываемых требований к тесту.

          Глава 7. ОИТ для зашиты качества и управления качеством образованияГоворят, что, лучшее правило политики – не слишком управлять.

          Это правило столько же верно и в воспитании.

          Жан Поль.

          (http://fraza.net.ua)

          Защита качества образования и управление качеством образования – пока непривычные понятия для российского педагога. Они пришли в образование из производственной сферы. Появление их здесь обусловлено массовым внедрением ОИТ и появлением новых эффективных взглядов на управление развитием общественных отношений и производства.

          ОИТ и управление качеством. Антураж компьютерных тестированийПервый миф науки управления состоит в том,

          что она существует.

          Закон Хеллера (Артур Блох, Прикладная Мерфология)

          Эффективное управление системой образования страны невозможно без наличия обратной связи – надежной информации о состоянии системы, включающей показатели, характеризующие:

          кадровое и материально-техническое обеспечение образования;

          учебный процесс;

          результаты обучения.

          Получение такой информации в полном объеме невозможно в настоящее время в России по ряду причин, например, отсутствие:

          надежной и научно обоснованной системы показателей, характеризующих состояние системы образования;

          федеральной системы мониторинга образования.

          Данные, полученные в ходе исследовательских проектов, представляют научную и практическую ценность, при условии доказанности их валидности и надежности, а также представительности выборки обследуемых объектов.

          Управлению качеством посвящено немало научной и методической литературы. Есть стандарты качества учреждений, например популярный стандарт – ISO-


--
«Логопед» на основе открытых источников
Напишите нам
Главная (1 2 3 4 5 6 7 8 9 10)