В целях обеспечения объективности проведение, обработка и интерпретация (оценка) результатов работы должны быть строго нормированы. Констатация и оценка или измерение и интерпретация должны быть максимально отделены друг от друга. С этой целью должны быть составлены точные инструкции проведения работы, исправления ошибок и оценки результатов.
Объективность проведения измерений требует, чтобы все учащиеся были подвергнуты одному и тому же испытанию в аналогичных условиях. Например, испытание должно длиться для всех одинаковое количество времени. Необходимо следить за тем, чтобы учащиеся не списывали друг у друга в процессе выполнения работы. Во избежание этого тест успеваемости необходимо проводить с совершенно отделенными друг от друга учащимися в двух или даже в четырех параллельных вариантах.
Большую трудность представляет обеспечение объективности интерпретации результатов исследования. Об объективности интерпретации можно говорить в том случае, когда несколько лиц одинаковым образом интерпретируют одни и те же результаты при обработке данных, устанавливают одни и те же взаимосвязи. Для большей объективности обработки данных рекомендуется в анкетировании, тестировании, наблюдении использовать закрытые вопросы, когда достаточно поставить крестик, цифру, выбрать одно слово из нескольких. Так как при оценке одной и той же работы с открытыми вопросами, свободной формой конструирования ответа разными учителями по-разному, имеет место субъективность обработки данных.
Объективность никогда не становилась самоцелью. Она является только предпосылкой надежности и валидности измерений. Необъективное измерение не может быть надежным и валидным.
Надежность теста – один из критериев качества теста, относящийся к степени точности измерений того или иного конкретного признака. Чем больше надежность теста, тем относительно свободнее он от погрешностей измерения.
В тестовой методике общепринято учитывать три коэффициента надежности: 1) коэффициент стабильности или постоянства, который представляет собой коэффициент корреляции между результатами тестирования при первом и повторном испытании одним тестом одного и того же ученического коллектива; 2) коэффициент эквивалентности, представляющий собой коэффициент корреляции результатов тестирования одного и того же контингента испытуемых вариантами одного и того же теста, либо разными, но эквивалентными по форме и цели тестами; 3) коэффициент внутреннего постоянства, или внутренней однородности, являющийся коэффициентом корреляции результатов частей теста, показанных одними и теми же испытуемыми.
При определении надежности теста успеваемости чаще всего используется коэффициент внутреннего постоянства, обычно посредством методов дисперсионного и факторного анализа. В тесте успеваемости коэффициент надежности (коэффициент корреляции) должен быть > 0,7.
При определении надежности следует учитывать, что в каждом результате измерения присутствуют «истинная» и «искажающая» части. Предпринимаются попытки оценить соотношение этих частей с помощью различных методов, которые применяются при конструировании тестов. Обычно используется метод повторного тестирования, метод деления пополам и метод параллельного тестирования.
Метод ретеста или повторного теста позволяет обработать одни и те же задания, выполненные одними и теми же испытуемыми в разное время, и просчитать взаимосвязь результатов, выраженную в коэффициенте самокорреляции (коэффициенте релиабильности). Тем самым замеряется внутренняя константность теста, то есть в какой мере все задания теста замеряют одно и то же свойство. Обычно коэффициент релиабильности обозначается rjj. Положительным считается результат самокорреляции теста, при котором, как указывалось выше, rjj > 0,7. Этот метод редко применяется при измерении успеваемости, так как при повторном тестировании приходится считаться с эффектом тренировки, который оказывается тем сильнее, чем легче для запоминания задания и короче промежуток времени между первой и второй обработкой полученных данных.
Метод деления пополам может устранить вышеназванное препятствие. В этом случае подборка однажды выполненных заданий делится пополам. В первый полутест входят задания с нечетным порядковым номером, а во второй полутест – с четным. Подборка заданий может быть разделена надвое и на основании какого-либо другого принципа. Затем устанавливаются результаты каждого испытуемого по обоим полутестам и вычисляется коэффициент корреляции между полутестами, что дает сведения о надежности применяемого метода. Надежность теста успеваемости вычисляется по формуле:
Где R – надежность теста успеваемости;
r1,2 – коэффициент корреляции между половинами теста успеваемости.
Метод параллельного теста. При методе параллельного теста для измерения одних и тех же знаний конструируются два различных набора заданий, которые по своему содержанию напоминают близнецов. Оба параллельных набора заданий можно предложить непосредственно друг за другом или при удобном случае. Эффект запоминания возникнуть не может, так как актуальная постановка заданий в каждом наборе несколько иная.
Составление эквивалентных тестов по естественно-математическим циклам достаточно просто, а по гуманитарным – более сложно. Каждый вопрос теста или контрольной работы проверяется методом (хи-квадрат). Учащиеся при этом выполняют задание по первому варианту, потом по второму. После чего вычисляется корреляция между полученными результатами. Если коэффициент корреляции тестов > 0,7, то тест считается надежным. Для вычисления корреляции применяют формулу:
Помимо общепринятых вышеперечисленных методик при определении надежности тестов иногда используются метод сравнения групп и метод сравнения трудности заданий.
Метод сравнения групп организуется следующим образом. Проводится контрольная работа в «сильной» и «слабой» группах учащихся, после чего подводятся итоги, сравниваются полученные результаты и вычисляется коэффициент корреляции по следующей формуле:
Где k – количество вопросов;
– 27 % от общего количества учащихся N;
S(VN + VT) – сумма ошибок в «слабой» и «сильной» группах.
Сравнение степени трудности задач. Степень трудности задач обычно сравнивается методом теста с использованием системы четырех полей:
Где Б – количество учащихся, которые решили правильно первую задачу, неправильно вторую задачу;
B – количество учащихся, которые решили правильно вторую задачу, неправильно первую (см. табл. 3).
Число степеней свободы 1, поэтому можно считать разность между степенями трудности первой и второй задач незначительной, и эти задачи можно применять в разных вариантах контрольной работы (по специальной таблице мы узнаем, что ).
Таблица 3
Сравнение степени трудности задач
Первую задачурешилиВторую задачу решилиВсего
ПравильноНеправильно
Правильно40 (А)10 (Б)50
Неправильно20 (В)5 (Д)25
Итого6015
Валидность [< англ. valid – пригодный] – один из основных критериев качества теста. Валидность (адекватность) теста в настоящее время понимается как точное соответствие содержания задаваемой тестом пробы смыслу и содержанию выявляемого признака.
Валидность теста успеваемости характеризуется корреляцией между результатами теста и каким-либо выбранным критерием валидности. Такими критериями могут быть оценка знаний учащихся учителем, результаты, полученные с помощью других методов оценки (например, опроса или контрольной работы), проанализированные компетентными судьями, опытными методистами или преподавателями. При коэффициенте корреляции 0,7-0,9 считается, что валидность теста высока, при 0,45-0,65 удовлетворительная.
Проблема валидности возникает в процессе применения теста, когда ставится задача установить соответствие между степенью выраженности интересующего свойства личности и методом его измерения. Чем валиднее тест, тем лучше он отражает то качество (свойство), ради измерения которого он создан.
Понятие валидности относится не только к тесту, но и к критерию оценки его качества. Чем выше коэффициент корреляции теста с критерием, тем выше валидность. Развитие факторного анализа позволило создавать тесты, валидные по отношению к идентифицируемому фактору. Только проверенные на валидность тесты могут быть использованы в научных исследованиях.
В то же время необходимо заранее предполагать, что ни один элемент измерительного инструментария не является валидным вообще, он может быть валидным лишь в определенном смысле. Математический тест не дает сведений о развитии интеллекта, об уровне владения лингвистическими навыками и др. Математический тест, предназначенный для второго полугодия 6-го класса, не является валидным для другой стадии обучения. Если тест ориентирован на содержание конкретного учебника, то его валидность для учащихся, работавшим по иным учебникам, является проблематичной. В связи с этим определение валидности теста требует постановки дополнительных вопросов: валидность для чего, для какой цели, по какому критерию?
На валидность измерения могут влиять различные факторы. Возрастные, социальные или временные изменения влияют, помимо заранее спланированных педагогических условий, на сформированность тех или иных качеств личности. Незапланированное и неучитываемое воздействие личности педагога-экспериментатора на учащихся. Ошибки и неточности, связанные с субъективностью оценки поступков, мнений и действий наблюдаемых учащихся. Нередко наблюдается случайный отбор школьников для проведения опытно-экспериментальной работы без учета требований типичности характерных проявлений изучаемых сторон личности, в этом случае нарушается условие репрезентативности выборки из генеральной совокупности. Преобладание в экспериментальном классе учащихся с крайними позитивными или негативными проявлениями изучаемого свойства или качества влияет на весь ход опытноэкспериментальной работы. Большая психологическая настроенность, определенная установка на участие в исследовательской работе, которая существует в экспериментальном классе в отличие от контрольного. Как правило, ученики экспериментального класса более податливы к различным воздействиям и влияниям экспериментатора, чем такие же ученики в независимых условиях. Неравномерные изменения в составе классов во время проведения исследовательской работы, так как появление в классе большого количества новых для этого коллектива учеников будет влиять на конечный результат.
Наряду с тремя важнейшими критериями качества измерения в литературе называются и другие критерии. Линерт (Lienert, 1969) различает, например, следующие: а) нормирование теста, позволяющее включать результаты индивидуального тестирования в систему соотносительных понятий; б) сопоставимость теста, возможная благодаря параллельным формам или благодаря тестам с одинаковой валидностью. В таком случае тест можно сравнить с его «близнецом» или «двойняшкой». К тому же при групповых исследованиях в школьных классах параллельные формы затрудняют списывание; в) экономичность теста, имеющая место в том случае, если для проведения тестирования и обработки данных не требуется больших затрат времени и средств, если тест несложен и может использоваться в группах; г) полезность теста, являющаяся максимальной, если существует большая практическая потребность в исследовании данного поведения и если для этой цели еще не разработано или разработано слишком мало методов.
Советский исследователь А. А. Кыверялг подробно описал такой критерий, как диагностическая ценность теста, используемый при конструировании тестов успеваемости.
Диагностическая ценность теста успеваемости определяется путем проведения предварительного опыта с так называемым «нейтральным классом», результаты которого в дальнейшей исследовательской работе не используются. В процессе обработки результата предварительной контрольной работы все полученные данные располагают в возрастающем порядке и определяют медиану, т.е. величину члена, находящегося в середине ряда. Учеников, которые получили оценку ниже медианы, считают «слабыми», тех, кто получил оценку выше медианы, считают «сильными».
Далее при каждом задании выясняется количество правильных и ошибочных ответов «сильных» и «слабых». Результаты заносятся в схему четырех полей.
Предположим, что на первый вопрос из 15 «сильных» учеников 10 ответили правильно, 5 – ошибочно; из «слабых» – 3 правильно, 12 ошибочно.
Составим схему четырех полей (см. табл. 4).
Таблица 4
Результаты теста успеваемости
Количество правильных ответовКоличество неправильных ответов
«Сильные» ученики105
«Слабые» ученики312
Диагностическая ценность задачи представляет собой частное скрещивающихся сумм диагоналей четырех полей, т. е.:
.
Критической величиной диагностической ценности задачи считают 1,5. Если диагностическая ценность, полученная путем вычисления, больше критической величины 1,5 тогда задача имеет нужную диагностическую ценность. Практически считают частное скрещивающихся сумм диагоналей 3 хорошей диагностической ценностью. Надо обратить внимание на то, что при одной задаче, данной в предварительной контрольной работе, нецелесообразно делить экспериментальную группу на «сильных» и «слабых», это надо делать на основании оценки учителя.
Для оценки диагностической ценности (D) каждого вопроса правильные и неправильные ответы учащихся на каждый вопрос вносятся в таблицу (см. табл. 5).
Таблица 5
Ответы на каждый вопрос теста успеваемости
ВопросНеправильные ответы в «слабой» группе VNНеправильные ответы в «сильной» группе VTОстаток «сильных» и «слабых'VN – VTСумма ответов «сильных» и «слабых» VN+VT
1.2022
2.1221014
3.1410424
и т.д.????
S= 80= 60
Диагностическая ценность каждого D вопроса вычисляется по формуле:
Где K – общее количество вопросов (следовательно, и возможных ответов);
– количество учеников в «сильной» («слабой») группе.
Где N – общее количество учеников, которые написали работу;
VN – ошибки в «слабой» группе;
VT – ошибки в «сильной» группе.
Предположим, что для определения диагностической ценности вопросов контрольной работы была проведена контрольная работа с 50 учениками, причем правильные и неправильные ответы трех первых вопросов распределились так, как приведено в таблице (в обеих группах, т.е. в «слабой» и «сильной», было 14 учеников):
количество вопросов 15.
Диагностическая ценность первого вопроса:
.
Диагностическая ценность второго вопроса:
.
Диагностическая ценность третьего вопроса:
.
Практически диагностирующими считаются те задачи, диагностическая ценность которых составляет от 16% до 84%. Если задача слишком легкая и большинство учеников могут решить ее, тогда диагностическая ценность ее ниже 16%, если задача слишком трудная и ее не может решить большинство учеников, тогда диагностическая ценность ее больше 84%. Следовательно, первая задача, приведенная в примере, слишком легкая, третья – слишком трудная, вторая задача имеет удовлетворительную диагностическую ценность.
На основании таблицы 5 можно также сделать заключение о диагностической ценности задач. Это показывает число(VN – VT), приведенное в четвертом столбце таблицы 5. Чем больше это число, тем выше диагностическая ценность вопроса. Пятый столбец показывает степень трудности задач: чем больше это число, тем труднее задача.
Иногда случается, что число, находящееся в четвертом столбце отрицательное, т.е. на некоторые вопросы «сильные» отвечают неправильно, «слабые» – правильно. Обычно такие вопросы неясно сформулированы, поэтому ответы случайны. При выявлении таких вопросов их следует переформулировать иначе.
Диагностическую ценность теста успеваемости или контрольной работы можно легко определить при помощи знакового теста.
На основании предварительного опыта выбирают «сильных» и «слабых» учеников (27%) и проводят с ними предварительную контрольную работу. Для каждой задачи отмечают в «слабой» и «сильной» группах правильный или неправильный ответ каждого ученика буквой П или Н. Затем вычисляют достоверность различия знаков. Если общее количество однородных знаков («+», или «-»), полученных путем вычисления, больше критического числа, приведенного в специальной таблице, тогда задача имеет достоверную диагностическую ценность.
Хорошим способом проверки валидности теста успеваемости или контрольной работы является и коррелирование результатов теста с оценками учителя об учениках или сравнение с результатами, полученными путем проведения теста, сформулированного по-другому. В таком случае надо также проверить достоверность коэффициента корреляции.
Другим методом решения вопроса о дифференцирующей способности задания может быть следующий способ вычисления так называемого «индекса дифференциации». Испытуемых по результатам выполненных заданий делят на три группы – сильную, среднюю и слабую. Если общее число не делится на 3, то сильную и слабую группу делают по количеству одинаковыми. Индекс дифференциации вычисляется по формуле:
Где K» – количество правильных ответов в сильной группе,
K» – количество правильных ответов в слабой группе,
– число испытуемых в группе.
E имеет пределы от –1 до +1. Допустимым считается значение E = +0,4. Меньшее значение E говорит о том, что такая формулировка задания не позволяет различать испытуемых по уровню подготовки. Отрицательное значение E свидетельствует о том, что слабо подготовленные лучше справились с заданием, чем сильные. Следовательно, задание необходимо либо переделать, либо отказаться от него.
После определения диагностической ценности вопросов нельзя исключать вопросы из контрольной работы механически, потому что низкая диагностическая ценность вопроса не всегда зависит от содержания, она может зависеть и от формулировки. Рекомендуется переформулировать вопросы, имеющие малую диагностическую ценность, и затем вторично дать их ученикам в предварительном опыте. Практически вопросами основного эксперимента могут быть те, которые при предварительном опыте дали приблизительно 50% правильных и 50% неправильных ответов.
Если тест или контрольная работа состоит из отдельных вопросов, которые не обязательно систематизированы по содержанию, тогда вопросы основного эксперимента должны быть поданы в тексте по порядку их трудности – в начале более легкие, в конце более трудные.
Трудность или легкость определяется по процентному отношению правильных ответов к общему числу возможных. Тест или контрольная работа имеет хорошую диагностическую ценность в том случае, когда за предусмотренное время сможет ответить на все вопросы 90% учеников (некоторые считают 75%). Это означает, что если все ученики за предусмотренное время смогут ответить на все вопросы, то тест слишком легкий, если за это время на вопросы сможет ответить ниже 90% учеников, то тест слишком трудный.
Степень сложности заданий можно определить при вычислении процента учащихся, получивших верный результат. Если 80% учеников, обрабатывающих задание, решили его правильно, то в таком случае степень сложности этого задания составляет 80 единиц. Степень сложности задания можно вывести с помощью следующей формулы:
Где K – количество учащихся, получивших верные ответы;
N – количество учащихся, решавших задания.
Степень сложности P в числовом выражении тем больше, чем легче задание.
В том случае, когда требуется провести дифференциацию учащихся с самой низкой успеваемостью, создаются легкие тесты, когда необходимо отобрать сильных, обращаются к сложным тестам. В остальных случаях для достижения хорошего результата распределения результатов тестирования стремятся к распределению степени сложности от P = 20 до P = 80 со средней величиной P = 50.
5. Техника построения тестовОтечественный исследователь В. П. Беспалько рассматривает конструирование педагогических тестов на четырех уровнях в соответствии с четырьмя уровнями обученности испытуемых.
На уровне знакомства должны использоваться тесты по узнаванию, т.е. отождествлению объекта и его обозначения. Такими тестами могут стать задания на опознание, различение или классификацию объектов, явлений и понятий. Тесты на опознание достаточно просты, они должны привести в результате к одному из альтернативных ответов: да – нет, относится – не относится, согласен – не согласен. Тесты на различение более сложные, от предыдущих отличаются тем, что их выполнение осуществляется в условиях выбора правильного решения среди имеющихся различных вариантов.
На втором уровне, уровне репродукции, наиболее простыми являются тесты-подстановки, в которых намеренно пропущено слово, фраза, формула или другой какой-либо существенный элемент текста. Здесь возможны также конструктивные тесты, в которых учащимся в отличие от теста-подстановки не содержится никакой помощи даже в виде намеков. Пример: «Что такое галлюцинация?».
В качестве тестов второго уровня могут использоваться и типовые задачи. Это такие задачи, условия которых позволяют «с места» применять известную разрешающую их процедуру (правило, формулу, алгоритм) и получать необходимый ответ на поставленный в задаче вопрос. Именно необходимость поисковой деятельности исключается в типовых задачах, так как условия в них формулируются близкими к тем, которые имели место в учебной обстановке, а для их решения можно воспользоваться готовым алгоритмом или формулой. Например, тест «Является ли слово «белизна» существительным?» может служить примером типовой задачи, так как отнесение различных слов к определенным частям речи требует использования определенного правила (разрешающей процедуры). Эти правила применяются здесь непосредственно. В тех случаях, когда условия задачи не позволяют непосредственно усмотреть то правило, которое может быть использовано для получения необходимого ответа, и требуется соответствующее предварительное преобразование условий задачи или самого правила, мы имеем дело с нетиповой задачей. Примером нетиповой задачи может быть следующая: «Образуйте из слова «белый» другие возможные части речи». Деятельность в данном случае не регулируется однозначно правилами, а требует их преобразованного применения. Это уже тест третьего уровня.
При выполнении тестов второго уровня учащимся демонстрируется только знание способов деятельности применительно к разобранным в процессе обучения ситуациям. Учащийся, воспроизводя сообщенные ему правила действия на типовых примерах, никакой новой информации самостоятельно не получает.
Третьему уровню соответствуют задания, содержащие продуктивную деятельность, в процессе которой необходимо использовать знания-умения. Тестами третьего уровня могут стать нетиповые задачи на применение знаний в реальной практической деятельности. Условия задачи формулируются близкими к тем, которые имели место в реальной жизненной обстановке.
Решение задачи третьего уровня сводится в сведении ее к типовой задаче путем очистки от привходящих обстоятельств, рассеивающих внимание, и нахождения скрытых в ней дополнительных условий.
При решении тестов этого уровня учащийся не просто оперирует имеющейся информацией о способах деятельности, но и получает субъективно новый результат, который раньше не был ему известен. В ходе выполнения тестов третьего уровня учащийся каждый раз решает для себя вопрос, как использовать известный ему способ деятельности в новой ситуации. Он не просто применяет этот способ действия в известной обстановке, как в тестах второго уровня, а каждый раз преобразует его в связи с необычной ситуацией, осуществляет поиск метода решения, а не только результатов.
Тесты четвертого уровня – это проблемы, решение которых есть творческая деятельность, сопровождающаяся получением объективно новой информации. Тестами четвертого уровня выявляется умение учащихся ориентироваться и принимать решения в новых, проблемных ситуациях.
Тест имеет задание и эталон, по которому сравниваются ответы учащихся. При конструировании тестов четвертого уровня трудно предусмотреть эталон, так как предполагается, что результат предстоит получить объективно новый. Если метод получения результата известен, то данный тест становится тестом третьего уровня, то есть с получением лишь субъективно нового результата.
В качестве проблем для создания тестов четвертого уровня рекомендуется выбирать такие, которые могут быть разрешены существующими средствами современной науки, уже хорошо «просматриваются» методически и стоят на повестке дня. В решении таких проблем проявляется научная эрудиция испытуемого, умение выдвигать и проверять обоснованные гипотезы, применять соответствующие методики исследования, прогнозировать возможные трудности.
Проблемные ситуации в тестах четвертого уровня создаются двумя способами.
Во-первых, в учебных целях применяются уже исследованные проблемы, решение которых широко не опубликовано. В этом случае найденное в публикациях решение проблемы может стать эталоном теста четвертого уровня. Этот путь создания тестов пригоден лишь в студенческих учебных условиях, но не пригоден для поступающих в аспирантуру. Именно этим должны отличаться диссертации на соискание ученой степени бакалавра наук от кандидатских диссертаций.
Во-вторых, в качестве задания теста четвертого уровня может быть проблема, еще не получившая своего разрешения. В качестве эталона используется созданная экспертами методика разрешения сформулированной проблемной операции, хотя решения в деталях теста-проблемы еще нет.
Основные понятия по темеВАЛИДНОСТЬ [< англ. valid – пригодный] – один из основных критериев качества измерения, валидность понимается как точное соответствие содержания задаваемой контрольным заданием (тестом) пробы смыслу и содержанию выявляемого признака.
ТЕСТ [< англ. test – испытание, исследование] – определенные задания стандартной формы, по результатам выполнения которых можно судить о психофизиологических и личностных характеристиках, а также знаниях, умениях и навыках испытуемого; степень успеха или неудачи в таких заданиях оценивается количественно.
Вопросы и задания для самоконтроляВ чём специфика метода тестирования?
Перечислите типы тестирования.
Раскройте виды тестовых заданий.
Охарактеризуйте критерии качества измерений в общественных науках: объективность, надежность, валидность.
В чём сущность построения тестов различного уровня?
Глава 5. Применение опросных методов исследования (беседа, интервью, анкетирование) 1. Специфика опросных методовОпросные методы, к числу которых относятся беседа, интервью и анкетирование, являются инструментом социологических исследований, откуда они и были заимствованы педагогами, психологами. Такие методы используют как разведочные (в начале исследования) и как уточняющие (в его итоге). Беседа, интервью – устный опрос, а анкетирование – письменный. При проведении опросов предварительного решения требуют три проблемы: во-первых, объем и, во-вторых, однородность выборки. Опрос будет ненадежным при охвате слишком узкого круга лиц и если окажется, что индивиды, входящие в выборку, весьма различаются по измеряемым параметрам. В-третьих, всегда существует проблема репрезентативности выборки, для распространения выводов, полученных при изучении части (выборки) на целое (генеральную совокупность).
Все виды опросов делятся на имеющие определенную программу (план, опросник) и свободные (беспрограммные). Свободные опросы проводятся в начале исследования, когда необходимо продумать до конца цели, задачи и гипотезу, выдвинуть и обосновать научную проблему.
Опрос проводится с учетом следующих этапов: адаптация, достижение поставленной цели, снятие напряжения. В процессе адаптации реализуются две важные цели: создание у респондента позитивной мотивации для ответа на вопросы и настройка его к исследованию. Этап адаптации складывается из обращения и нескольких вопросов. Обращение – завязка, начало опроса, момент весьма ответственный. От начала во многом зависит достоверность информации. В связи с этим не рекомендуется задавать основные вопросы сразу, без адаптации. Необходимо подготовить респондента к беседе психологически.
На этапе достижения поставленной цели происходит сбор информации. В этот период задаются основные вопросы.
Наконец, в процессе опроса может накапливаться отрицательное психологическое напряжение, в связи с чем перед расставанием необходимо попытаться сгладить это впечатление, снять стресс. Для этого рекомендуется в конце опроса ставить функционально-психологические вопросы, которые не направлены на сбор важной информации.
По цели различают вопросы содержательные (основные) и функциональные (не основные). Содержательные направлены на получение информации об явлениях и взаимосвязях. Функциональные используются для оптимизации, упорядочения течения опроса.
Основные вопросы направлены на сбор информации о содержании исследуемого явления. Не основные – на выявление адресата основного вопроса (вопросы-фильтры), проверку искренности ответов (контрольные вопросы).
Различают несколько видов функциональных вопросов: 1) функционально-психологические, которые используют для снятия напряжения; 2) вопросы-фильтры, которые задаются перед содержательными, чтобы определить, относится ли респондент к той группе людей, для которой предназначен вопрос; 3) контрольные вопросы, которые используются для проверки данных; 4) поддерживающие вопросы, необходимые для оптимизации проведения опроса.
Выделяют прямые и косвенные вопросы. Прямые вопросы – такие, при которых объект интереса исследователя совпадает с содержанием вопроса (Нравится ли Вам профессия педагога-психолога?). Косвенный вопрос, когда содержание вопроса и объект интереса исследователя расходятся (Согласны ли Вы, что профессия педагога-психолога одна из лучших?).
Открытые и закрытые вопросы. Открытые вопросы в свободной анкете предполагают любой ответ. Их применяют для предварительной ориентировке в мнениях. Закрытые вопросы предусматривают выбор одного ответа среди нескольких имеющихся вариантов. Такие ответы легче подвергать статистической обработке. Закрытые вопросы могут быть альтернативные, когда на один вопрос имеется лишь два ответа: «да», «нет». Стандартизированные ответы на закрытые вопросы легко поддаются обработке. В этом их достоинство. Полузакрытый вопрос предоставляет возможность наряду с выбором готового ответа дать свой вариант.
При составлении вопросов педагог-исследователь должен избегать ряда типичных ошибок, которые значительно снижают ценность полученных данных. Ошибки эти заключаются в следующем: скрытые подсказки желаемого ответа; сверхдетализированность вопроса; двусмысленность вопросов; преобладание закрытых вопросов, которые в анкетах снижают возможность качественного анализа ответов; отсутствие логической связи вопросов друг с другом, их последовательности и взаимозаменяемости, что часто делает полученные результаты с научной точки зрения бессмысленными.
2. Метод беседыБеседа как метод исследования в значительной мере искусство. Ее результат во многом зависит от личностных качеств исследователя. Беседа может быть индивидуальной, групповой и коллективной. Предварительно определяется программа: цель, объект, предмет разговора, отдельные вопросы и место проведения. Успех зависит от заинтересованности предметом разговора, умения вызвать на откровенность. Формулировки вопросов должны быть понятными, тактичными. Опыт показывает, что нецелесообразно ставить прямые вопросы «в лоб», типа: «Какой у вас режим?» Лучше: «Когда вы ложитесь спать?».
Для вступления в контакт рекомендуется придерживаться следующих правил. Люди склонны охотно говорить о тех предметах, которые их интересуют и увлекают (профессия, хобби), поэтому важно предварительно узнать о преобладающих интересах данного ученика или группы. Поводом для начала беседы могут быть объекты, ситуации или события, имеющие эмоциональный характер. Например, результаты смотра художественной самодеятельности. При этом следует избегать того, о чем собеседнику вспоминать неприятно. Важно создать атмосферу доверия и соблюдать педагогический такт. Человек должен быть уверен, что результаты беседы не станут для него источником неприятностей. Благоприятной обстановкой для беседы является привычная и естественная среда: класс, домашняя обстановка, совместный отдых. Беседу лучше сначала запомнить, а потом записать.
3. Метод интервьюВажным методом сбора информации является интервью. Интервью [< англ. interview] в научных исследованиях разновидность беседы с целью сбора материала для изучения и обобщения. В беседе идет разговор, то есть взаимообмен информацией, каждый из участников может задать или ответить на вопрос. В интервью один спрашивает другого, сам свое мнение не высказывает. Интервью бывает индивидуальным и групповым.
Интервьюер – лицо, которое проводит интервьюирование. Интервьюирование в социальных исследованиях – процесс сбора первичного материала с помощью метода интервью. Метод интервьюирования полезен, когда исследователь заранее уверен в объективности ответов ученика. Так как интервью не предполагает ряда уточняющих вопросов, как в беседе.
Интервью по целям делят на интервью мнений (изучают отношение людей к явлениям) и документальное интервью (уточняют факты, события). Документальное интервью отличается большей достоверностью информации.
Выделяют стандартизированное, нестандартизированное и полустандартизированное интервью. В нестандартизированном интервью формулировка и последовательность вопросов по ходу могут подменяться и изменяться от первоначального замысла. В стандартизированном интервью вопросы предлагаются в определенной последовательности. Схема содержит также необходимые пояснения к вопросам, а также описание ситуации, в которой должен проходить опрос (в квартире, в классе, в школьном дворе на прогулке).
Нестандартизированное интервью чаще всего применяют в начале исследования, когда необходимо уточнить проблематику, еще раз проверить основные положения плана сбора информации, определить объект исследования. В этом случае для опроса задается только тема, в рамках которой проходит беседа. Интервьюер направляет опрос в нужное русло только с помощью промежуточных вопросов. Респондент имеет оптимальную возможность выразить свою позицию в наиболее удобной для себя форме.
Преимущество стандартизированного интервью выражается в следующем: оно следует основному принципу измерения – сделать информацию сопоставимой; оно сокращает до минимума количество ошибок при формулировке вопроса.
4. Метод анкетированияУстный опрос (беседа, интервью) применяется в том случае, когда охватывается небольшой круг людей, но, если при этом необходимо опросить несколько десятков, сотен или тысяч людей за короткий промежуток времени, используется письменный опрос – анкетирование. Анкета [< фр. enquete – список вопросов] – методическое средство для получения первичной социологической и социально-педагогической информации на основе вербальной коммуникации. Анкета представляет собой набор вопросов, каждый из которых логически связан с центральной задачей исследования. Анкетер – лицо, проводящее сбор материала анкетированием.
Анкетирование – метод сбора первичного материала в виде письменного опроса большого количества респондентов с целью сбора информации с помощью анкеты о состоянии тех или иных сторон воспитательного процесса, отношения к тем или другим явлениям. Анкетой можно охватить большой круг людей, что дает возможность свести к минимуму нетипичные проявления, при этом не обязателен личный контакт с респондентом. Плюс ко всему анкеты удобно подвергать математической обработке.
Первый этап в разработке анкеты – определение ее содержания. Составление анкеты заключается в переводе основных гипотез исследования на язык вопросов. Если помимо самого мнения необходимо знать и его интенсивность, то в формулировку вопроса включают соответствующую шкалу оценок.
Второй этап заключается в выборе нужного типа вопросов (открытые-закрытые, основные-функциональные).
Третий этап в составлении анкеты связан с определением числа и порядка задаваемых вопросов.
Анкета применяется при выяснении мнений, оценки событий, выявления взаимоотношений, отношения учащихся к видам деятельности и различным поручениям. В анкете задается серия вопросов (в 3-4-х классах не более 4, в 6-8-х до 7-8, в 9-10-х допустимы опросные листы, требующие раздумья и письменного ответа в пределах 15 минут). В анкете существует жесткая логическая структура. Вопросы специально подобраны, заранее тщательно продуманы, предварительно апробированы на небольшой группе испытуемых (5-6 человек).
Виды анкет. Выделяются анкеты-интервью, когда исследователь сам заполняет анкету, уточняя мысли собеседника, выявляя правильность понимания вопроса, выясняя мотивы ответа. Прессовая анкета – отправляется по почте, в конверт закладывается пустой конверт с написанным обратным адресом.
Анкетные данные тем достовернее, чем больше лиц опрошено. Типичными недостатками метода анкетирования являются неточность в формулировке вопросов, что порождает ошибочные ответы. Порой бывает обилие вопросов, сходных по содержанию, вызывающих недоумение и механические ответы без серьезных раздумий. Неумелая мотивировка важности анкетного опроса ведет к попытке угадывания ответов, какой нужен исследователю. И, наконец, неорганизованность в проведении опроса приводит к шуму, консультациям, списыванию друг у друга.
Грамотно составленные анкеты должны удовлетворять обычным критериям надежности и валидности, но помимо этого, каждый вопрос анкеты проверяется по следующим критериям. Предусмотрены ли такие варианты ответов, как «не знаю», «затрудняюсь ответить». Такие ответы предоставляют респонденту возможность уклониться от ответа, когда он сочтет это нужным. Не следует ли добавить к некоторым закрытым вопросам позицию «другие ответы» со свободными строчками? Тем самым закрытый вопрос превращается в полузакрытый. Достаточно ли ясно объяснена респонденту техника заполнения ответа? Нет ли логического несоответствия между смыслом формулировки вопроса и шкалой измерения? Есть ли необходимость заменить непонятные слова или термины? Не превышает ли вопрос компетентности опрашиваемого? Если такое возможно, то необходимо предусмотреть вопрос-фильтр на проверку компетентности. Не слишком ли многочисленны варианты ответов на вопрос? При необходимости следует один вопрос раздробить на целый блок вопросов. Не задевает ли вопрос самолюбия респондента, его достоинства, престижных представлений?
Композиция анкеты проверяется по следующим критериям. Соблюдается ли принцип расположения вопросов от наиболее простых («контактных») в начале анкеты к наиболее сложным в середине ее и простым («разгрузочным») в конце анкеты? Нет ли скрытого влияния предшествующих вопросов на последующие? Отделены ли смысловые блоки вопросов «переключателями внимания», обращением к респонденту, информирующими о начале следующего блока? Нет ли скоплений однотипных вопросов, вызывающих ощущение монотонности и утомления у респондента?
Итак, в процессе педагогического исследования необходимо применить наиболее оптимальный комплекс методов, которые позволяли бы получать разносторонние сведения, могли бы отражать динамику развития формируемых качеств во времени, а также позволили бы анализировать ход экспериментально-педагогического процесса, его результаты и его условия, в которых он функционирует. На разведочном этапе, на этапе проверки экспериментальных данных этому наилучшим образом соответствуют опросные методы исследования (беседа, интервью, анкетирование). Начинающему исследователю важно только позаботиться о следующем: выбранные методы должны соответствовать объекту, предмету и общим задачам проводимого исследования; соответствовать современным принципам научного исследования; соответствовать этапу исследования; гармонично дополнять другие методы в единой
