К критериально ориентированным тестам интеллекта относятся. Критериально- ориентированное педагогическое тестирование

позволяет выявить степень усвоения испытуемым определенного раздела в заданной предметной области. Эти тесты появились в 60-х годах 20 века. Критериально-ориентированные тесты в свою очередь делятся на ориентированные на предметную область и квалификационные тесты.

Целью критериально-ориентированного теста является выяснение - знает ли испытуемый стандартный учебный материал (предмет, раздел, тему). В результате тестирования может оказаться, что все испытуемые успешно выполнили все задания. Это означает, что они освоили учебный материал. Если все испытуемые не справились с заданиями теста, то это означает, что учебный материал не усвоен. В обоих случаях тест выполнил свою задачу.

КРИТЕРИАЛЬНО-ОРИЕНТИРОВАННЫЙ тест представляет собой систему заданий, позволяющую измерить уровень учебных достижений относительно полного объема знаний, умений и навыков, которые должки быть усвоены учащимися. Материалом для таких тестов служат задания из конкретных учебных предметов и установленные специальным анализом отдельные собственно психологические аспекты их выполнения.

При сопоставлении результатов тестирования и социально-психологического норматива судят о соответствии умственного развития школьников рассматриваемому этапу возрастного развития. Сопоставление результатов выполнения теста с критерием позволяет выявить, соответствуют ли осуществляемые учащимися умственные действия логике рассматриваемого материала. Подлежат исследованию связи между компонентами умственного развития, специфичного для той или иной области учебного содержания. Соотношение результатов выполнения «нормативных» и «критериальных» методик могло бы установить особенности умственного развития учащихся в овладении содержанием учебных предметов на конкретном этапе обучения.

28. КОРТ своими содержательными и структурными характеристиками соответствуют конкретной ситуации обучения и выступают в качестве оперативного средства контроля и оценки его результатов. Обычно ограничения, связанные с получением высокого коэффициента ретестовой надежности (в частности, влияние обучения на повторное тестирование, определение изменения в понятийном и логическом развитии ученика и т.п.), не могут не проявиться в ситуации КОРТ. Так, результаты в КОРТе у учащихся, не прошедших определенный этап обучения, будут значительно отличаться от тестовых результатов этих же учащихся после овладения ими рассматриваемым учебным материалом.

Отечественным примером КОРТ является школьный тест умственного развития. ШТУР предназначен для диагностики умственного развития подростков - учащихся 7-9 классов.

ШТУР состоит из 6 субтестов, каждый из которых может включать от 15 до 25 однородных заданий.

Два первых субтеста направлены на выявление общей осведомленности школьников и позволяют судить о том, насколько адекватно используют учащиеся в своей активной и пассивной речи некоторые научно-культурные и общественно-политические термины и понятия.

Третий субтест направлен на выявление умения устанавливать аналогии, четвертый - логические классификации, пятый - логические обобщения, шестой - нахождение правила построения числового ряда.

Тест ШТУР является групповым. Время, отведенное на выполнение каждого субтеста, ограничено и является вполне достаточным для всех учащихся. Тест разработан в двух параллельных формах А и Б.

Авторами ШТУР являются К.М.Гуревич, М.К.Акимова, Е.М.Борисова, В.Г.Зархин, В.Т.Козлова, Г.П.Логинова. Разработанный тест соответствует высоким статистическим критериям, которым должен удовлетворять любой диагностический тест.

32. выраженный в годах, указывает, что данный индивид по своему умственному развитию соответствует большинству людей такого-то возраста. К примеру, при тестировании молодого человека 23 лет (реальный паспортный возраст) было выявлено, что его умственный возраст равен 25 годам. Из этого следует, что этот молодой человек интеллектуально развит так же как большинство 25-летних. Его коэффициент умственного развития (IQ) = 25х23 = 1,1, что составляет около 110% ("отличная" норма).

Новый взгляд на тесты стал формироваться в нашей стране и за рубежом в связи с гуманистическими критериями оценки человека и смысла его существования. Особое место в связи с этим принадлежит акмеологии как науки о полноценном гармоничном формировании психики взрослой личности [Деркач А.А., 2002, 2004; Деркач А.А., Зазыкин В.Г., 2003].

Современная гуманистическая социопсихология показывает, что критерием полноценной жизнедеятельности являются качества развития. Это значит, что организация жизни человека должна способствовать пробуждению интереса к познанию окружающего мира и активизации собственной его активности и инициативности. Этому способствует включение личности в социум, осуществляемое, в частности, через работу. Психологи, социологи, педагоги в практической работе имеют дело со всей психологической реальностью человека постольку, поскольку они могут способствовать оптимальности его психического развития.

Психологическая служба в развитых странах (например, во Франции) может менять государственные стандарты, если они препятствуют прогрессивному развитию личности. Цели психологической службы - предотвратить стрессирующий человека неуспех, способствовать социальному научению и социальной адаптации личности, помогать в трудных ситуациях развития интегрироваться в общий поток социального прогресса (что прямо противоположно цели, выдвигаемой на предшествующих этапах службы, направленной на отделение таких людей), содействовать общеобразовательному и профессиональному росту, повышать квалификацию специалистов в области психологических служб.

Инновационные технологии, основанные на экологической (целостной, сохраняющей, предохраняющей) психологии индивидуальности должны в плане проведения психодиагностики прежде всего рассмотреть особенности «зоны» ближайшего развития. Данная ориентация методов позволяет психологу иметь конструктивную оценку тех новообразований личности, которые на момент обследования еще не фиксируются, но могут быть сформированы во взаимодействии человека с социумом.

Широкое внедрение в практику получили отечественные методики оценки и психокоррекции психического развития детей разных возрастов. Например, школьный тест умственного развития (ШТУР) и комплекс коррекционных методов, как свидетельствует опыт работы школьной психологической службы, позволяет формировать недостаточно развитые высшие психические функции до социального норматива . Успехи в данной области науки отмечены Государственной премией за обеспечение работы психологической службы образования.

Здесь особо отметим гуманистическую направленность российской школы психодиагностики, психокоррекции и реабилитации. В противовес традиционным тестам, пытающимся ситуативно обусловленный диагноз выдать за долгосрочный прогноз будущих успехов человека, в нашей стране и за рубежом развиваются так называемые критериально-ориентированные тесты (КОРТы). Они основываются на социальных нормативах психического развития лиц разных возрастов, выделении соответствующих психических функций, процессов и свойств, которые в комплексе могут обеспечить комфортную напряженность человека в процессе усвоения необходимых для интенсивного психического развития знаний, умений, навыков. Своевременная психодиагностика последних позволяет выявить «слабые» стороны рассматриваемого среза характеристик и с помощью коррекционных методик развить уровень нужных параметров до социально фиксируемых нормативных значений.

В этой связи показательны стратегии создания школьного теста умственного развития (ШТУР), который является основным в работе школьного психолога . Первый этап конструирования данного теста состоял в подробном опросе и анкетировании компетентных, авторитетных учителей, психологов, руководителей системы образования об их мнении о том, что является необходимым школьнику, чтобы он в современной школе учился с комфортной напряженностью и высокой результативностью. Эти материалы анализировались (переводились на язык психологии) с выделением конкретных психических функций, процессов, индивидуальных свойств, знаний, умений, необходимых для каждого возраста школьного обучения.

Далее на каждый аналитически выделенный компонент (отдельно для дошкольников, учащихся 1-3, 4-6, 7-9 классов) конструировали специальные критериально - ориентированные тесты (в двух формах - А и Б), которые тщательно проверялись на надежность, валидность, тест-ритес-товую коррелируемость и другие необходимые качества полноценной тестовой методики. При этом важно подчеркнуть, что данные критерии априорно признавались психологами временными, обусловленными сегодняшними требованиями общества к развитию способностей школьника. (Так, например, умение читать когда-то признавалось особой способностью, которой наследственно обладают только дворяне - люди с «голубой» кровью. В наши дни это мнение уже не признается в обществе).

Реабилитационное значение такой стратегии очевидно. Внедряемые в социальную практику психологические технологии снимают необходимость фатально предопределять траектории психического развития человека, что ранее способствовало созданию в обществе своеобразных психологических резерваций.

Актуальные вопросы проводимой сейчас реформы образования (включающей вопросы непрерывного образования людей разных возрастов) обусловлены его изменившимися стратегическими целями. Ориентация «времен застоя» на формирование конкретных знаний, умений, навыков и требуемых обществу качеств личности становится в современном мире недостаточной из-за непредсказуемости траекторий индивидуального развития под влиянием сложносочетанных факторов социума.

Развивающийся человек вынужден сегодня действовать в характерных для общества ситуациях неопределенности прогноза будущего. Психологическая специфика данных ситуаций способствует фиксации стрессогенных состояний, выраженность которых неблагоприятно сказывается на психосоматическом здоровье человека и на темпах психического развития. Поэтому планирование содержательной стороны тех знаний, которыми должен обладать индивид, становится в наши дни весьма сложной проблемой. Оптимизация психического развития здесь в значительной степени определяется формально-динамической стороной жизнедеятельности (темп, объем и др.), которая отражает индивидуализированные задатки способностей личности.

Практическая психология подчеркивает значение научно обоснованного критериально-ориентированного тестирования, в частности в ходе сопровождения психического развития личности в плане работы психологической службы образования. Однако аналитические стратегии традиционных КОРТов, которые подошли для решения определенного круга задач школьного образования, не могут напрямую применяться к работе со зрелой личностью, часто иррациональной, непредсказуемой и вариативно изменяющейся.

Решение актуальных для современного мира проблем совладания с трудными и стрессогенными ситуациями, снятия фиксированных страхов, вопросов профотбора и профподбора, выделения сущностных детерминант формирования интеллекта, сохранения и приумножения здоровья нации требуют системного комплексного анализа интеграции процессов, состояний и свойств индивида, личности и субъекта деятельности в структуре индивидуальности. Соответствующие проблемы наиболее полно прорабатываются с учетом знания акмеологических законов формирования целостной индивидуальности как предиктора своеобразия строения психики человека.

Особое значение для модификации психотехнологий тестирования имело обновление системы образования в России, направленное на демократизацию и гуманизацию учебно-воспитательного процесса. При этом кардинально изменились цели воспитания и обучения, в качестве которых выступает не совокупность знаний, умений, навыков, а свободное развитие личности. Знания, умения, навыки сохраняют свое значение в качестве средств достижения целей субъекта. В этих условиях на первый план выступают акмеологические технологии формирования инициативы личности, самостоятельности, творческости, которые позволят эффективно действовать в условиях неопределенности прогноза будущего (именно эта особенность характеризует современное общество, что ведет к стрессам и психосоматическим заболеваниям, к снижению умственного развития).

Данные качества личности могут помочь преодолевать противоречия между технической и гуманитарной культурой и обеспечить включение развивающегося человека в новые социально-экономические условия общества. Осуществление этих задач предполагает формирование акмеологи-ческой культуры самоопределения личности, понимание самоценности человеческой жизни, ее индивидуальности и неповторимости.

Принципиально новый этап развития психодиагностики открывается в связи с интенсивным развитием акмеологии, которая впервые поставила в центре исследования человека, который вариативно изменяется, строит семью, взаимоотношения с людьми, профессиональную карьеру на жизненном пути при высокой «планке» планируемых достижений. Ранее психология изучала психику человека в «особых условиях», например, - при патопсихологических или нейропсихологических дефектах, личностных деформациях, в младенчестве, «группах риска». Фиксируемые закономерности с трудом можно переносить на зрелую личность. Отмечу, что планируемый в образе-цели высокий норматив результата деятельности является целостнообразующим фактором, скрепляющим параметры жизнедеятельности в «жесткие» звенья, которые служат инвариантным звеном широкого содержательного спектра целенаправленной активности и сказываются в эмоционально-энергетической «канве» жизнедеятельности.

Отличаются от традиционных тестов тем, что в традиционных оценка осуществляется путем соотнесения индивидуальных результатов с групповыми (ориентация на статистическую норму), а в критериально-ориентированных – оценка осуществляется путем соотнесения индивидуальных результатов с некоторым критерием. В качестве такого критерия выступает уровень владения навыком, умениями, знаниями.

КОТ используются в образовании. Цель тестирования с помощью КОТ – оценка владения навыком. Итоговый показатель фиксирует степень владения навыком и не включает в себя индивидуальные различия, что является слабым местом КОТ. Поэтому их использование возможно для оценки элементарных навыков.

Отечественным примером КОТ является Школьный Тест Умственного Развития – ШТУР (1).

Критериально-ориентированные тесты – тип тестов, предназначенных для определения уровня индивидуальных достижений относительно некоторого критерия на основе логико-функционального анализа содержания заданий. В качестве критерия (или объективного эталона) обычно рассматриваются конкретные знания, умения, навыки, необходимые для успешного выполнения той или иной задачи. Это основное отличие критериально-ориентированных тестов от традиционных психометрических тестов, оценка в которых осуществляется на основе соотнесения индивидуальных результатов с групповыми (ориентация на статистическую норму). Термин «критериально-ориентированные тесты» предложен Р. Гласером в 1963 г. Установление содержательного и структурного соответствия заданий теста и реальной задачи – важнейший этап разработки критериально-ориентированных тестов. Этим целям служит так называемая спецификация, включающая:

б) систематизацию знаний, умений и навыков, обеспечивающих выполнение критериальной задачи;

в) образцы тестовых заданий и описание стратегии их конструирования.

Различают две разновидности критериально-ориентированных тестов:

1) тесты, задания которых гомогенны, т. е. сконструированы на одной или аналогичной содержательной и логической основе. Обычно такого рода критериально-ориентированные тесты разрабатываются на материале учебных программ и используются для контроля за формированием соответствующих знаний, умений и навыков;

2) тесты, задания которых гетерогенны и заметно отличаются по логической структуре. В этом случае обычна ступенчатая структура теста, при которой каждая ступень характеризуется собственным уровнем сложности, определяемым логико-функциональным анализом содержания, относящегося к критериальной области поведения. А. Анастази (1982) считает, что акцент критериально-ориентированных тестов на содержательном смысле интерпретации тестовых показателей может оказать благотворное влияние на тестирование в целом. В частности, описание результатов, полученных с помощью тестов интеллекта, в терминах специфических навыков и умений в значительной мере обогащает фиксируемые ими показатели. Для критериально-ориентированных тестов непригодны в большинстве случаев обычные приемы определения валидности и надежности.

Исходя из социально-психологического норматива анализируются результаты, полученные с помощью известных психометрических тестов.

Билет №26 Тесты достижений.

Тест достижений – это группа психодиагностических методик, направленных на оценку достигаемого уровня развития навыков и знаний.

2 группы тестов достижений:

1. Тесты успешности обучения (используются в системе образования)

2. Тесты профессиональных достижений (тесты диагностики специальных знаний и трудовых навыков, необходимых для выполнения профессионально-трудовых действий).

Тест достижения противоположен тесту способностей. Различия: между этими тестами существует различие в степени единообразия предшествующего опыта, который и диагностируется. Если тест способностей отражает влияние совокупного разнообразного опыта, получаемого учащимися, то тест достижений отражает влияние относительно стандартного курса обучения чему-то.

Цель применения тестов способностей и тестов достижений:

· тесты способностей – для предсказания различия успешности выполнения деятельности

· тесты достижений – делают конечную оценку знаний и навыков по завершении обучения.

Ни тесты способностей, ни тесты достижений не диагностируют способности, навыки, одаренность, а только успешность предшествующего достижения. Идет оценка того, чему человек научился.

Классификация тестов достижений.

Широкоориентированные – для оценки знаний и навыков, соответствие основным целям обучения (рассчитанным на продолжительное время). Например: тесты достижений на понимание научных принципов.

Узкоспециализированные – усвоение отдельных принципов, отдельных или учебных предметов. Например: усвоение темы в математике – раздел простые числа – как усвоен этот раздел.

Цели использования тестов достижений.

Вместо учительской оценки. Ряд преимуществ по сравнению с учительской оценкой: объективность - можно выяснить насколько усвоены главные темы, выявление основного. Можно построить профиль усвоения каждой темы.

Тесты достижений очень компактны. Тесты достижений – групповые – поэтому удобны. Можно оценить сам процесс обучения и усовершенствовать его.

Как конструировать тесты достижений?

1. Тест достижений состоит из заданий, которые отражают определенную область содержания курса обучения. Сначала нужно спланировать тему содержания, выявить важные темы в курсе обучения. В конструировании теста достижений должен участвовать учитель, который преподавал темы. Психодиагност должен знать основные темы.

2. Исключить из задания второстепенные знания, малосущественные детали. Желательно, чтобы выполнение заданий в малой степени зависело от механической памяти ученика, а зависело от понимания, критической оценки ученика.

3. Задания должны быть репрезентативны целям обучения. Есть цели обучения, успешность усвоения материала, по которым сложно оценить (например, усвоение темы о правах), тогда нужно составлять задания так, чтобы отразить усвоенность материала.

4. Тест достижений должен полностью охватить ту область учебного предмета, который должен быть изучен. Задания должны быть широко репрезентативны этой изучаемой области.

5. Тестовые задания должны быть свободны от посторонних затрудняющих элементов, не должно быть затрудняющих элементов, не должно быть дополнительных трудностей.

6. Каждое задание сопровождается вариантами ответов.

7. Задание должно быть четко, кратко, недвусмысленно сформулировано. Чтобы ни одно задание не было подсказкой на другое задание теста (проверить после составления).

Ответы должны быть построены так, чтобы исключить возможность напоминания ответов (то есть не давать не относящихся к теме варианты ответов или очень легкие, чтобы испытуемый не смог догадаться, отбросив варианты ответов, как заведомо неприемлемые).

8. Задается критерий выполнения. Психолог разрабатывает большое число заданий, не все они войдут в тест. Для начала все задания проходят проверку. Войдут в тест те задания, которые решаются стопроцентным большинством людей, которые хорошо владеют материалом. Вторая проверка на тех, кто не владеет материалом – они должны выполнить меньше половины. Задания составляются по максимальному критерию. 90-100% - высокий уровень обученности. Тест достижений не оценивается по сопоставлению со статической нормой, а с классом. Сопоставляется индивидуальный результат.

Тесты профессиональных достижений.

Тесты профессиональных достижений используются для оценки эффективности обучения профессионалов или профессиональных тренировок. Для отбора людей на наиболее ответственные должности – профотбор. Используется для оценки уровня квалификации работников, при переходе на другую должность. Цель – оценить уровень обученности профессиональным знаниям, навыкам.

3 формы тестов профессиональных достижений:

1. тест исполнения действия

2. письменные

3. устные тесты профессиональных достижений

1. Тесты исполнения. Выполнение ряда заданий, обнаруживающих владение основными навыками или действиями. Используются те механизмы, аппаратура, инструменты, которые используются в трудовой деятельности или моделировании отдельных элементов профессиональной деятельности, способность воспроизводить отдельные операции.

2. Письменные тесты достижений. Используются там, где требуется выяснить, насколько человек владеет специальными знаниями. Задания на бланках. Выполняются в письменной форме с определенной формой ответов.

3. Устные тесты профессиональных достижений. В период первой мировой войны тесты профессиональных достижений использовались для отбора персонала. Серии вопросов, выявляющих специальные знания. Диагностика в виде интервью. Проводилась индивидуально. Удобны в применении. Не нужно распечатывать. Испытуемый должен в заданной форме отвечать.

Тесты профессиональных достижений создаются, как и тесты достижений. Создается большое количество заданий, заведомо больше в несколько раз. Проверяют. Испытывают три группы работников:

1. эксперты высокой квалификации

2. новички

3. представители смежных профессий.

Задание включается в тест, если:

· задание выполнено большинством экспертов (это есть признак валидности)

· задание выполнено меньшим процентом новичков (приблизительно 60-70%)

· и, если еще меньший процент представителей смежных профессий выполнило задание.

Больше чем для 250 видов профессиональной деятельности разработаны тесты достижений. У нас таких тестов практически нет.

Билет№46 психодиагностика профессиональной деятельности.

Психодиагностика профессиональной деятельности позволяет изучить профессиональные интересы человека при помощи косвенных вопросов, на основе использования специальных психологических тестов , что позволяет глубже ознакомиться со спецификой профессиональной направленности личности и дает возможность выявить степень ее выраженности.

Диагностика профессиональной пригодности: профессиональная пригодность человека определяется как "совокупность психологических и психофизиологических особенностей, необходимых и достаточных для достижения им, при наличии специальных знаний, умений и навыков, общественно приемлемой эффективности труда... ". В это понятие входит также "удовлетворение, переживаемое человеком в процессе самого труда и при оценке его результатов".

Задачи профессиональной диагностики: а) определение наличного уровня профессионализма; б) установление соответствия человека требованиям профессии и соответствия профессии требованиям человека; в) выявление потенциальных профессиональных возможностей человека; г) помощь конкретному работнику в использовании его реальных профессиональных возможностей для эффективного выполнения труда.
Таким образом, диагностика профессиональной деятельности специалиста выполняет не только собственно диагностическую функцию, в которую входят определение уровня профессионализма на данный момент и установление степени соответствия данного человека объективным требованиям данной профессии. В конечном счете результатом проведения диагностики профессиональной деятельности специалиста является определение для него возможных направлений дальнейшего личностного развития и профессионального роста. Определение требований человека к своей профессии, его потенциальных возможностей профессиональной самореализации и реальных профессиональных возможностей существенно помогает специалисту оптимизировать свою профессиональную деятельность.

Психодиагностика кандидатов, отбираемых в правоохранительные органы
Психодиагностическое обследование кандидатов на службу в правоохранительные органы должно производится с помощью специально подобранной батареи тестов,
которые обеспечивают решение следующих задач: отбор кандидатов , наиболее
пригодных по своим индивидуально-психологическим качествам к работе в
правоохранительных органах; выявление и отсев лиц, которые по своим
интеллектуальным способностям могут быть в значительной степени подвержены
профессиональной дезадаптации и, соответственно, не отвечают требованиям,
предъявляемым работникам правоохранительных органов.
При психодиагностическом обследовании кандидатов из резерва на выдвижение
может производится психологическая оценка степени их пригодности для работы в
качестве руководителей. В этом случае используется та же самая батарея
тестов, что и при отборе лиц, впервые поступающих на работу, с той лишь
разницей, что оценке подвергаются также качества, профессионально важные для
лиц, назначаемых на должности руководящих работников.
В соответствии с указанными выше задачами психодиагностические тесты должны:
· выявлять общий уровень интеллектуального развития кандидата,
структуру его индивидуально-психологических свойств, особенности темперамента
и характера, адаптивные возможности к избранной профессии;
· быть достаточно надежными, обладать не только текущей
(диагностической), но и прогностической валидностью, т.е. давать возможность
не только оценивать актуальное состояние кандидата, но и составлять научно
обоснованной, достоверный прогноз относительно его дальнейшего наиболее
эффективного использования;
· быть компактными, удобными для группового обследования кандидатов в
ограниченные промежутки времени с использованием автоматизированной обработки
результатов тестирования;
· перепроверять и взаимодополнять друг друга в целях повышения
надежности, точности и достоверности полученных результатов.
Психологическое обследование лиц, отбираемых в органы прокуратуры, а также
выдвигаемых из кадрового резерва на руководящие должности в прокуратурах
областного и им равного звена должно производиться на основе этих тестов.
После всестороннего изучения опыта профессионально-психологического отбора,
накопленного в некоторых государственно-правовых ведомствах, близких по
характеру работы своих сотрудников к профессиональной деятельности
прокурорских работников, а также на основе специально проведенного
исследования была скомплектована батарея тестов, в которую в качестве
основных вошли следующие психодиагностические методики: шкала прогрессивных
матриц Дж. Равена, 16-факторный личностный опросник Р.Б. Кеттелла (16-ФЛО),
стандартизированный метод исследования личности (СМИЛ) - адаптированный; в
качестве дополнительных: цветовой тест М. Люшера, опросник «Уровень
субъективного контроля» А.М Эткина, опросник УСК, тест «Стратегии поведения в
конфликтной ситуации» К. Томаса.
В ходе проведенного исследования психологические критерии профессиональной
пригодности, выявленные с помощью отобранных тестов, сопоставлялись с
объективными критериями оценки прокурорских работников. Материалы личных дел,
а также факт назначения на руководящую должность в группе прокурорских
работников из резерва для выдвижения, позволили разделить всех обследованных
на четыре группы профессиональной пригодности:
1 - я группа - высокий уровень профессиональной эффективности, полное
служебное соответствие, высоковероятный прогноз профессиональной успешности;
2 - я группа - средний уровень профессиональной пригодности (в основном,
соответствует требованиям прокурорско-следственной специальности);
3 - я группа - кандидат частично соответствует требованиям прокурорско-
следственной специальности (может быть принят на работу при большом числе
вакантных мест);
4 - я группа - низкий уровень профессиональной эффективности, несоответствие
кандидата служебному назначению, прогноз его профессиональной неуспешности.
Шкала прогрессивных матриц Дж. Равена (тест Равена).
Данный тест предназначен для исследования интеллекта субъекта, выявления его
способности логически мыслить, находить существенные связи между предметами и
явлениями, для определения уровня умственной работоспособности, умение
концентрировать внимание, сообразительности в целом, т.е. качеств,
необходимых в деятельности юриста, а более прокурорско-следственных
работников. Низкие результаты по методике позволяют выявить лиц со сниженными
интеллектуальными, познавательными способностями, с недостаточно развитым
аналитическим складом мышления, неспособных концентрировать внимание.

Лекция 8. Педагогические тесты, их виды и предназначение.

1.Нормативно-ориентированный и критериально-ориентированный подходы в педагогических измерениях.

2.Задачи тестирования и виды тестов.

3.Классификация видов педагогических тестов.

4.Понятийный аппарат: предтестовое задание, тестовое задание, педагогический тест.

1. Нормативно-ориентированный и критериально-ориентированный подходы в педагогических измерениях

Общие подходы к интерпретации результатов педагогических измерений. При педагогических измерениях интерпретация баллов учащихся может иметь различный характер в зависимости от того, каким способом сравниваются оценки учеников. Согласно одному подходу проводится сопоставление баллов каждого учащегося с результатами определенной группы – выборки учащихся, выпол­нявших тот же самый тест, для определения места каждого балла по отношению к среднему результату в группе (нормативно-ори­ентированный подход). Согласно другому подходу результаты испытуемых интерпретируются по отношению к содержательной об­ласти, включенной в тест и снабженной определенными крите­риями выполнения (критериально-ориентированный подход).

Оба подхода дают информацию о подготовленности учащихся, однако она имеет различный характер. В соответствии с этими под­ходами к интерпретации результатов тестирования выделяют нор­мативно-ориентированные и критериально-ориентированные те­сты.

Нормативно-ориентированный подход и нормы. Стандартизация тестов . Основная цель нормативно-ориентированного тестирова­ния заключается в дифференциации испытуемых по результатам выполнения теста. При интерпретации результатов относительная позиция испытуемого может оцениваться по-разному, поскольку он будет выглядеть лучше на фоне более слабой, чем более силь­ной группы. Для корректной интерпретации результатов тестиро­вания балл каждого учащегося необходимо сравнивать с нормами выполнения теста.

Нормы – это совокупность показателей, отражающая резуль­таты выполнения теста четко определенной выборкой испытуе­мых – релевантной нормативной группой, репрезентативно пред­ставляющей генеральную совокупность тестируемых учащихся . К нормам обычно относят среднее значение тестовых бал­лов и показатель разброса (вариативности) вокруг среднего зна­чения всех остальных баллов, полученных представительной вы­боркой тестируемых учащихся, (методы подсчета среднего значения и показателей вариативности, приведены в главе 9). Имея нор­мы можно установить положение каждого результата по отноше­нию к среднему баллу по тесту, посмотреть, насколько результат учащегося выше или ниже среднего.

Процесс определения норм называется, стандартизацией тес­та. Стандартизация всегда осуществляется на репрезентативной выборке испытуемых, формирование которой – обязательный момент при определении норм теста.

Относительность норм и выборка стандартизации . Тестовых норм, пригодных для интерпретации результатов всех учащихся по лю­бым тестам; не существует. Область применимости любой нормы ограничивается данным тестом и конкретной совокупностью ис­пытуемых, поэтому нормы не абсолютны и не постоянны. Они отражают результаты выборки стандартизации на момент созда­ния теста и подлежат систематическому, обновлению и перепро­верке.

К нормам предъявляют следующие требования:

Нормы должны быть дифференцированными. Например, тес­ты для общеобразовательных и профильных школ необходимо стандартизовать на различных выборках, в результате чего полу­чатся, скорее всего, существенно различающиеся нормы;

Нормы должны отражать реальный контингент и актуальные требования к качеству учебных достижений, вытекающие из со­временной ситуации в образовании;

Нормы должны быть репрезентативными, поэтому они все­гда устанавливаются эмпирически в соответствии с результатами тестирования выборки стандартизации (федеральной – для ЕГЭ, муниципальной – для аттестации школ, внутришкольной – для аттестации учащихся в школе).

«Норма» – относительное понятие, тесно связанное с каче­ством выборки, использованной для стандартизации. Выборка должна точно отражать категорию (или несколько категорий) лиц, для которых предназначен тест, а также быть достаточно большой и сбалансированной для обеспечения столь малой стандартной погрешности, чтобы ею можно было пренебречь в процессе стан­дартизации теста. Таким образом, при формировании выборки стандартизации необходимо учитывать две переменные – объем и представительность, обеспечивающие в совокупности высокую точность при оценивании норм выполнения теста.

Стратификация выборки. Для равномерного представления раз­личных групп учащихся в популяции испытуемых используют спе­циальный процесс – стратификацию. Стратификация – расслое­ние выборки на страты, размеры которых должны быть пропорциональны размерам соответствующих популяций в генеральной совокупности учащихся . Обычно в качестве оснований для стратификации выделяют факторы, наиболее связанные с переменной измерения. В ЕГЭ к числу таких факторов можно отнести социальное положение родителей выпускника, регион, где рас­положена школа, ее принадлежность к числу сельских или город­ских школ и т.д.

Наличие многих факторов стратификации, необходимость ана­лиза пропорций генеральной совокупности испытуемых, прове­дение апробационного тестирования для определения норм дела­ют работу по стандартизации тестов довольно дорогостоящей и трудоемкой процедурой. Современный уровень развития тестовых технологий позволяет моделировать тесты с прогнозируемыми нор­мами с помощью IRT , банка калиброванных тестовых заданий и специальных программ для компьютерной генерации вариантов теста.

Информация, прилагаемая к стандартизированным тестам . К стандартизованному тесту необходимо приложить:

Нормы выполнения теста, которые определяются на выборке стандартизации;

Объем выборки стандартизации, основания для ее стратифи­кации и временной период ее использования;

Необработанные результаты выполнения теста для выборки стандартизации.

Сопоставление норм по различным тестам возможно лишь в том случае, если есть основания для утверждения об адекватности выборок стандартизации.

Критериально-ориентированный подход в педагогических изме­рениях . При критериально-ориентированном подходе в педагоги­ческих измерениях результаты учащихся интерпретируются по от­ношению к содержательной области или требованиям, установ­ленным к учебным достижениям. При дихотомическом оценивании («1» или «0») результатов выполнения отдельных заданий балл каждого учащегося подсчитывается путем перевода в проценты доли правильно выполненных заданий по отношению к общему числу заданий теста. В случае политомических оценок в проценты переводится отношение сырого балла учащегося, накопленного по заданиям, к максимально возможному баллу по тесту. Полу­ченный для каждого учащегося процент сравнивается со стандар­тами выполнения – критериями, установленными экспертным путем и прошедшими эмпирическую валидизацию в процессе конструирования теста .

При критериально-ориентированном подходе по результатам тестирования можно:

- выявить освоенные и не освоенные знания, умения и навыки и построить индивидуальную образовательную траекторию каж­дого учащегося;

Ранжировать тестируемых по проценту выполнения и по­строить рейтинговые шкалы;

Разбить испытуемых на две группы с помощью одного крите­риального балла или на несколько групп с помощью нескольких критериальных баллов, поставив, например, школьные отметки – «два», «три», «четыре», «пять».

Недостатки критернально-ориентированного подхода. Критери­ально-ориентированный подход имеет недостатки, связанные с необходимостью полного охвата содержания, принимаемого за 100 %, в одном тесте. Аттестационные критериально-ориентиро­ванные тесты нередко получаются очень длинными – из 150 - 300 заданий, выполнить которые даже в старших классах при одноразовом предъявлении просто невозможно. Поэтому при ат­тестации нередко применяют адаптивное тестирование, позво­ляющее за счет оптимизации трудности заданий значительно со­кратить длину теста. Используют также сокращение содержания теста за счет минимизации целей оценивания. Для этого крите­риально-ориентированные тесты нередко применяют для про­верки одного-двух умений или навыков, а при охвате более раз­нородного содержания выбирают нормативно-ориентированные тесты.

Критериально-ориентированные тесты имеют к тому же довольно ограниченную область применения. Они пригодны в тех случаях, когда можно четко определить знания, умения и навыки по конкретной области содержания и задать их верхний и нижний пределы для корректного определения критериев выполнения те­стов. В более сложных и менее структурированных областях зна­ний, связанных с решением задач творческого уровня, опреде­лить верхний предел зачастую невозможно.

Иногда при выполнении таких заданий школьник руководству­ется знаниями, но чаще все решают смекалка и догадка. Поэтому при создании тестов, предназначенных для контроля за выполне­нием задач творческого уровня, следует отдавать предпочтение нормативно-ориентированному подходу или стараться совмещать оба подхода в одном тесте .

Различия в нормативно-ориентированном и критериально-ори­ентированном подходах. Нормативно-ориентированные и крите­риально-ориентированные тесты различаются по целям создания, методике отбора содержания, характеру распределения эмпири­ческих результатов, тестирования, методам их обработки, крите­риям качества тестов и тестовых заданий, а главное, по интерпре­тации результатов испытуемых, выполнивших тест.

В критериально-ориентированных тестах, используемых для аттестации, задания достаточно простые, поскольку педагоги все­гда стараются спланировать процент «двоек» и ограничить число неаттестованных учеников. Например, если «двойки» не должны превышать 10% и критерий отсева неуспевающих планируется ус­тановить на уровне 70% (все, кто выполнил меньше 70% заданий теста, получают «два»), то в тест необходимо включить не менее 70% легких заданий, которые смогут выполнить 90% тестируе­мых учеников (рис. 9). Нормативно-ориентированные тесты обыч­но намного труднее. В них включают от 50 до 70 % заданий средней трудности, т.е. тех, которые смогла выполнить верно только по­ловина тестируемых учеников (рис. 10).

Рис. 9. Распределение заданий по трудности, в нормативно-ориентирован­ном тесте

Рис. 10. Распределение заданий по трудности в критериально-ориенпированном тесте

В силу того, что распределения сырых баллов репрезентативной выборки испытуемых по нормативно-ориентированным и крите­риально-ориентированным тестам имеют, как правило, различную форму (рис. 11), приходится использовать различающиеся ме­тоды оценивания надежности и валидности результатов педагоги­ческих измерений, методики шкалирования и выравнивания.

Рис. 11. Типичное распределение баллов по тестам для репрезентативной

выборки учащихся

Наиболее существенные различия между нормативно-ориен­тированными и критериально-ориентированньми тестами пред­ставлены в табл. 1.

Таблица 1

Различия между нормативно-ориентированными и критериально-ориентированными тестами

Характеристики	Нормативно-ориентированные тесты	Критериально-ориентированные тесты
Типичное среднее чис­ло учеников, выполнивших правильно поч­ти все задания теста
Область для сравнения результатов учащихся	Результаты других учеников
Диапазон охвата целей проверки	Широкий, охватывает многие цели и виды учебной деятельности	Узкий, обычно охва­тывает несколько це­лей контроля
Репрезентативность охвата содержания предмета	Умеренная, фрагментарная, – обычно включают не все раз­делы	Большая, обычно включают все то, что можно операционализировать и принять за 100%
Разброс результатов учащихся (вариатив­ность баллов)	Высокий, поскольку основная цель тестирования – дифференциация испытуемых по уровню подготовки	Низкий, внутри ре­зультатов группы учащихся, превысивших по своим результатам критериальный балл, почти нет вариативно­сти
Подбор заданий по трудности	Распределение оценок трудности близко к нормальному. Основ­ная часть заданий име­ет трудность 40-60%	Распределение ско­шенное. Основная часть заданий имеет трудность 80-90%

Для учителя наиболее информативной является ситуация, ког­да оба подхода взаимно дополняют, друг друга. Поэтому некоторые тесты разрабатываются с расчетом на то, что результаты учащих­ся можно соотносить как с нормами, так и с содержанием теста. Пример – контрольно-измерительные материалы (КИМ) ЕГЭ.

2. Задачи тестирования и виды тестов

Общая классификация задач, решаемых с помощью тестов . В со­ответствии с видами контроля при тестировании можно выделить:

Задачи, стоящие на входе в обучение (входной контроль);

Текущие задачи (текущий контроль);

Задачи, соответствующие концу определенного периода учеб­ного процесса (итоговый контроль) .

Тестирование во входном контроле . Началу обучения соответ­ствует входное тестирование, позволяющее выявить степень вла­дения базовыми знаниями, умениями и навыками, необходимы­ми для начала обучения, и определить уровень владения новым материалом до начала его изучения в классе. Последняя ситуация кажется не типичной для школы, вместе с тем достаточно вспом­нить классический пример, когда в первый класс поступают хо­рошо читающие дети и начинают скучать на уроках.

Тесты для входного контроля, обычно называемые претестами (предварительными тестами), делятся на два типа.. Претесты первого типа позволяют выявить готовность к усвоению но­вых знаний в классе. Они разрабатываются в рамках критериаль­но-ориентированного подхода и содержит задания для проверки базовых знаний, умений и навыков, необходимых для усвоения нового материала. В основном эти претесты предназначены для наиболее слабых учеников, находящихся на границе между явно подготовленными и явно не подготовленными к началу усвоения нового материала. По результатам выполнения претеста проводится деление тестируемых на две группы, в одну из которых попадают те, кто может двигаться дальше, а в другую – те, кто нуждается в дополнительной работе и консультациях педагога.

Претесты второго типа разрабатываются в рамках нор­мативно-ориентированного подхода. Они охватывают планируемые результаты предстоящего обучения и построены полностью на но­вом материале. По результатам выполнения претеста преподаватель принимает решение, позволяющее внести элементы индивидуали­зации в массовый учебный процесс. Если ученик показал некоторые предварительные знания по новому материалу, то план его обуче­ния необходимо перестроить и начать с более высокого уровня, чтобы учебный материал имел для него действительный характер новизны. Иногда роль входного претеста выполняет итоговый тест, который предназначен для будущей оценки результатов усвоения нового материала после завершения его изучения.

На рис. 12 показаны возможные функции входного тестирова­ния в учебном процессе.

Рис. 12. Упрощенная модель функций входного тестирования в учебном

процессе, соотнесенная с задачами педагога.

Тестирование в текущем контроле . Для текущего контроля раз­рабатывают корректирующие и диагностические тесты. Корректи­рующие тесты, как правило, являются критериально-ориентиро­ванными: если процент ошибок учащегося превышает критери­альный балл, то его знания нуждаются в коррекции. С помощью корректирующих тестов, можно найти слабые места в подготовке учащихся и выявить направления индивидуальной помощи в осво­ении нового материала.

Корректирующие тесты не следует путать со средствами теку­щего контроля знаний учеников, однако они в какой-то мере близ­ки, хотя бы по целям применения. Однако между первыми и вто­рыми средствами есть существенные различия технологического и содержательного характера. Традиционные средства текущего кон­троля менее эффективны и в основном ориентированы на про­верку и систематическую оценку знаний учеников по небольшим единицам учебного материала. Корректирующие тесты предназначены для выявления пробелов в знаниях по группе учебных еди­ниц, включающих содержание нескольких тем или даже разделов. Обычно они содержат задания, расположенные по нарастанию трудности, с тем чтобы выявить первые же проблемы в усвоении учебного материала.

Если затруднения ученика при выполнении заданий носят систе­матический характер, то педагог может прибегнуть к помощи диаг­ностических тестов. Основная цель диагностики – установление причин пробелов в знаниях учеников – достигается специальным подбором содержания заданий в тестах. Как правило, в них бывают представлены слабо варьирующие по содержанию задания, рассчи­танные по форме представления на отслеживание отдельных этапов выполнения каждого задания корректирующего теста. Подробная де­тализация позволяет выявить причины устойчивых ошибок учени­ков, конкретизировать характер возникающих затруднений и полу­чить выводы о несформированности тех или иных учебных умений.

Например, задание с выбором одного правильного ответа из коррек­тирующего теста по математике для начальной школы может иметь сле­дующий вид:

2+6:3 – 8:4=

A. 2

Б. 3

B. 1

Г 4

Максимальное число заданий диагностического теста определяется количеством действий при выполнении задания корректирующего теста. Например, для рассматриваемого числового выражения, можно предло­жить четыре задания, если у педагога нет желания проверять знание уча­щимся порядка действий:

1) 6:3= А. 3 Б. 2 В. 4

2) 8:4= А. 2 Б. 4 В. 1

3) 2+6:3= А. 5 Б. 6 В. 4

4) 2+6:3-8:4 = А. 3 Б. 2 В. 0

Подбор заданий в диагностический тест осуществляется в ин­дивидуализированном режиме, в зависимости от тех заданий, которые выполнил неверно каждый учащийся в корректирующем тесте. Особенно эффективны процессы коррекции и диагностики при компьютерной генерации и предъявлении тестов в сочетании с обучающими модулями по каждой единице неусвоенного учеб­ного материала. В этом случае коррекция проводится незамедли­тельно, поскольку после выявления очередного пробела и уста­новления его причины компьютер сам подбирает обучающий мо­дуль и сразу же выдает его ученику.

Упрощенная модель функций текущего тестирования представ­лена на рис. 13.

Рис. 1З. Модель функций тестирования в текущем контроле

Итоговое тестирование. Основная цель итогового тестирова­ния – обеспечение объективной оценки результатов обучения, которая ориентирована на характеристику освоения содержания курса (критериально-ориентированные тесты) или на дифференциацию учащихся (нормативно-ориентированные тесты). На рис. 14 приведена модель функций итогового тестирования.

Рис. 14. Модель функций итогового тестирования

Итоговые тесты обычно подвергаются стандартизации, по­скольку чаше всего они применяются для принятия администра­тивных управленческих решений в образовании, Если проведе­ние входного и текущего тестирования – функция учителя, то итоговое тестирование часто проводится внешними структурами и носит характер независимых проверок. Примером независимо­го итогового тестирования в России является ЕГЭ, тестирова­ние при аттестации школ и т.д. внутри школы итоговые тесты можно, использовать при переводе учащихся из класса в класс, при отборе отстающих учеников для определения их в коррекционные классы и т.д.

3. Классификация видов педагогических тестов

Основные подходы к классификации тестов. В отечественной и иностранной литературе существуют различные подходы к классификации педагогических тестов, различающиеся по признакам, которые положены в основу демаркации видов. В соответствии с подходом к интерпретации данных выделяют нормативно-ориентированные и критериально-ориентированные тесты.

По размерности конструкта педагогические тесты делятся на гомогенные (измеряющие только одну переменную и потому од­нородные по содержанию) и гетерогенные (измеряющие более одной переменной – случай многомерного конструкта) тесты. Гетерогенные тесты бывают полидисциплинарными и междисцип­линарными . Полидисциплинарные тесты состоят из гомо­генных субтестов по отдельным дисциплинам. Результаты учени­ков по субтестам объединяются для подсчета итоговых баллов по всему полидисциплинарному тесту. Для выполнения заданий междисциплинарных тестов требуется применение обобщенных, меж­предметных, интегративных знаний и умений. Междисциплинар­ные тесты всегда многомерны, их разработка требует обращения к факторным методам анализа данных, математико-статистическим методам многомерного шкалирования и т.д.

По характеру измеряемых переменных выделяют тесты для про­верки знаний, учебных, практических умений, навыков, а также компетентностные тесты. Иногда в отдельную группу выделяют ско­ростные тесты, требующие жесткого временного ограничения на выполнение каждого задания и содержащие всегда избыточное число заданий, не позволяющее выполнить весь тест. В зависимости от формы предъявления различают бланковые и компьютерные, устные и письменные тесты.

Наиболее общая классификация тестов в учебном процессе позволяет разделить их на две неравные группы: стандартизован­ные тесты, обладающие нормами выполнения, и нестандартизованные тесты, которых значительно больше, поскольку для использования в повседневном учебном процессе их готовит каж­дый педагог. Нестандартизованные тесты нередко называют учи­тельскими, или авторскими, тестами.

Классификация по видам контроля, их функциям и характеру решаемых задач. Если в качестве признака демаркации выбрать виды контроля и характер задач, решаемых преподавателем с по­мощью тестов, то получится классификация видов педагогичес­ких тестов, представленная на рис. 15.

Рис. 15. Классификация педагогических тестов

Анализ классификационной таблицы позволяет выделить в ка­честве основополагающих четыре вида педагогических тестов, среди которых, наибольшую важность по сфере использования имеют итоговые нормативно-ориентированные тесты.

Увеличение влияния тестирования на принятие управлен­ческих решений на основе данных мониторинга и анализа ка­чества образования во многих странах привело в XXI в. к воз­никновению нового вида тестов административно-управленческого предназначения (в англоязычной литературе – High - Stakes tests ). Данные административно-управленческого тестирования являются важным информационным источником для анализа последствий образовательных реформ и инноваций в образова­нии, проведения сравнительных исследований качества подго­товленности выпускников различных регионов России, аттес­тации учебных заведений и оценки эффективности их деятельности.

4. Основные определения понятийного аппарата

Понятийный аппарат при разработке и использовании тестов. Необходимость создания четкого понятийного аппарата для раз­работки тестов не всегда понятна преподавателям-практикам. От­части это объясняется кажущейся простотой самих понятий, так как нередко любой набор заданий в тестовой форме в представле­нии учителя ассоциируется с тестом. Такие псевдотесты сплошь и рядом публикуются в специальных сборниках. Их можно исполь­зовать в текущем контроле, но не в работе аттестационных цент­ров.

Несоответствие псевдотестов научно обоснованным критери­ям качества может привести к значительному ошибочному ком­поненту в оценках подготовленности учащихся, следствием кото­рого будут неправильные выводы относительно эффективности работы отдельных преподавателей или педагогических коллекти­вов. Таким образом, понятийный аппарат необходим, поскольку он служит целям отделения тестов от того, что нередко за них принимается.

Предтестовое задание . Определение предтестового задания яв­ляется базовым, содержащим специфические требования, с тем чтобы отличить его от традиционного контрольного задания. Пред­тестовое задание – это единица контрольного материала, содер­жание, логическая структура и форма представления которого удовлетворяют ряду требований и обеспечивают однозначность оценок результатов выполнения благодаря стандартизованным правилам проверки .

В предтестовых заданиях проверяются наиболее существенные опорные элементы содержания дисциплины. В каждом предтестовом задании определяется то, что однозначно считается правиль­ным ответом с запланированной степенью его полноты.

Требования, предъявляемые к форме пред тес­товых заданий , можно условно разделить на специальные, отражающие специфику формы, и общие, инвариантные относи­тельно выбранной формы. Согласно, общим требованиям задание должно иметь определенный порядковый номера стандартную ин­струкций по выполнению, адекватную форме, эталон правильно­го ответа, стандартизованные правила по оценке результатов его выполнения и т. д. (см. Лекцию 10). Специальные требования к форме довольно многочисленны, частично они представлены в Лекции 10, посвященной формам предтестовых заданий.

Преимущества предтестовых заданий по сравнению с традиционными контрольными заданиями обеспечиваются предельной стандартизацией при предъявлении и оценивании результатов их выполнения, что в целом повышает объективность оценок уча­щихся по тесту.

Тестовое задание . Предтестовые задания должны пройти обязательную эмпирическую проверку, по результатам которой часть из них превращается в тестовые, а оставшаяся часть удаляется из первоначальной совокупности заданий теста. Предтестовое зада­ние превращается в тестовое, если количественные оценки его характеристик удовлетворяют определенным критериям, нацелен­ным на эмпирическую проверку качества содержания, формы и системообразующих свойств предтестовых заданий.

Обычно требуется не менее двух-трех апробаций, по результа­там которых ведется коррекция содержания, формы, трудности задания, его валидности и статистических свойств, характеризу­ющих качество его работы вместе с остальными заданиями теста. Исследование системообразующих характеристик тестового зада­ния проводится на основе анализа дескриптивной (описательной) статистики, а также методов корреляционного, факторного и латентно-структурного анализа. Интерпретация результатов ана­лиза – это всегда сложная аналитическая работа, результаты ко­торой зависят от множества условий, в том числе и от вида создаваемого теста. Статистические характеристики тестовых заданий и требования к их качеству рассмотрены в Лекции 12.

В длительной апробации и коррекции нуждаются в основном итоговые тесты, используемые для принятия управленческих ре­шений в образовании. Например, при разработке учительских те­стов для текущего контроля корреляционный и факторный анализ не нужны, но дескриптивная статистика, позволяющая без особых усилий отобрать валидные задания приемлемой трудно­сти, будет также очень полезна.

Педагогический тест. В отличие от первых двух определений, инвариантных относительно целей тестирования и решаемых задач, определение педагогического теста должно быть ориентиро­вано на конкретный вид теста. В частности итоговый нормативно-ориентированный тест – это система тестовых заданий, упорядо­ченных в рамках определенной стратегии предъявления и обладающих такими характеристиками, которые обеспечивают высокую дифференциацию, точность и обоснованность оценок качества учебных достижений.

Из этого определения следуют два важных вывода. Первый: нет и не может быть тестов, качественных вообще, так как оценка дифференцирующего эффекта теста, точности измерений (надежности) и их адекватности поставленным целям (валидности) за­висит не только от характеристик тестовых заданий, но и от осо­бенностей тестируемого контингента учащихся. Второй: для оцен­ки качества теста необходимы эмпирические данные тестирова­ния, полученные на репрезентативной выборке учащихся. Работа по коррекции теста консолидирует систему тестовых задании – постепенно нарастают внутренняя связь и целостность, интегративностъ системы, совершается переход от совокупности предтестовых.заданий к профессионально разработанному тесту.

Итоговый критериально-ориентированный тест – это система тестовых заданий, упорядоченных в рамках определенной страте­гии предъявления и обладающих такими характеристиками, ко­торые обеспечивают валидную содержательную интерпретацию учебных достижений по отношению к установленным, статисти­чески обоснованным критериям выполнения . В определении не конкретизируется базовая содержательная область, используе­мая при интерпретации, что позволяет применять его для различ­ных разновидностей критериально-ориентированных тестов.

Психологическая диагностика - Учебное пособие (К.М. Гуревича)

Глава xi критериально-ориентированное тестирование (корт)

Критериально-ориентированное тестирование - новое направле». ние в диагностике умственного развития учащихся. Основанные на, особых способах конструирования и обработки методики КОРТ приобретают все большее значение в современной школе. Для по-, строения заданий в КОРТ используется материал учебных программ -. из него отбираются учебные задания, отвечающие определенным требованиям: задания должны репрезентировать внутренне завер­шенную область какого-то учебного предмета. Далее необходимо, чтобы задание могло быть представлено как логическая последова-" тельность умственных действий, приводящих к его выполнению. Это задание при его выполнении должно вводить в мышление уча-, щихся новые термины, понятия, ситуации и способствовать уста­новлению связей и отношений между ними и тем, что уже было ус-. воено ранее. Такие задания называют ключевыми.

Первый - критерий как показатель учебных достижений. Он обобщает ключевые задания из тех разделов учебных программ, изучение которых уже завершено. Сравнивая результаты, получен­ные при испытании методиками КОРТ, с критерием, устанавливают уровень умственного развития отдельного учащегося или группы учащихся. Разумеется, что этот уровень развития относится к той специфической области, которую представляет критерий.

Второй вид - критерий как показатель логико-психологической подготовленности учащегося к выполнению ключевых заданий из состава разделов программы, которые предстоит изучать. Критерий этого вида предназначен для того, чтобы установить, соответствует ли умственное развитие учащегося требованиям, предъявляемым новым программным материалом. И в этом случае результаты испы-

таний методиками КОРТ при их сравнении с критерием дадут ин­формацию о том, представлены ли в мышлении учащегося необхо­димые для усвоения новых разделов программы умственные дейст­вия, может ли он уверенно использовать, актуализировать их при выполнении новых ключевых заданий.

При анализе этой информации нужно считаться с тем, что уро­вень умственного развития учащихся может выявить недочеты ло­гико-психологической структуры тех разделов учебной программы, которые уже изучены и должны бы были подготовить учащихся к восприятию и усвоению нового материала.

По отношению к отдельным учащимся полученная по результа­там испытаний методиками КОРТ информация после ее психологи­ческого анализа позволяет установить пробелы и недостатки в их умственном развитии и построить систему коррекционных занятий, направленных на его приближение к критерию.

§ 1. РАЗРАБОТКА МЕТОДИК КОРТ, ДИАГНОСТИРУЮЩИХ МАТЕМАТИЧЕСКОЕ МЫШЛЕНИЕ

Получившая развитие в США и других странах практика разра­ботки методик КОРТ, традиционно ориентируясь на концепцию критерия как определенного континуума знаний, навыков, специфи­ческих операций, оставила без должного внимания изучение психо­логических предпосылок, обеспечивающих выполнение критериаль­ного задания. Преодоление этой тенденции вызвало необходимость исследования модели разработки методик КОРТ, в которых вопло­щено психологическое содержание, выделены основные требования к умственному развитию учащихся.

Психологическое содержание методик КОРТ определяется не только их особой направленностью - обращенностью теста на кон­троль и оценку умственного развития. Методики КОРТ исследуют умственные действия, опосредующие выполнение учащимися учеб­ных заданий. Указания на то, что это за действия, в методической литературе, как правило, отсутствуют, а если и имеются, то им присущ самый общий характер - это ссылки на необходимость анализа, синтеза, сравнения, обобщения, без определения содержа­тельных показателей их выполнения на материале с конкретной предметной спецификой. Эти действия должны быть выявлены как путем логико-психологического анализа задания, так и в ходе спе­циально организованных наблюдений за учащимися, когда они вы­полняют задание. Психологическое содержание закладывается в тест и с помощью методических приемов, связанных с отбором со­держания тестовых заданий, а также анализом способов ориентации в предметном материале, каждый из которых обусловлен

тивной логикой» учащихся, овладевающих требуемыми умственш ми действиями.

Все это учитывается в ходе составления спецификации теста.3!! Описывая критерий, на который данный тест ориентирован, спецйИ| фикация вместе с тем определяет границы той области содержания,^ к которой тест относится. *

Для того чтобы показать, как проводится спецификация, обра-Д;

тимся к уже имеющемуся опыту разработки методик КОРТ. Тест, of котором пойдет речь далее, был разработан на материале математи-^ ки (6 класс общеобразовательной школы) и был направлен на вы-^ явление умственных действий, опосредующих умение составлять уравнения по условиям тестовых задач. Конструируя методику" КОРТ, автор всегда исходит из того, что представленное в тесте за-"" дание является ключевым. В данном случае предполагалось, что":

умение составлять уравнения является таковым в ряду математиче­ских знаний и умений. В 5-6 классах это умение только формиру­ется, здесь закладывается и его психологическое содержание, т.е. умственные действия, обусловливающие функционирование умения. На дальнейших-этапах роль этого умения возрастает.

Подготавливая спецификацию теста, прежде всего нужно рас­крыть критериальное значение исследуемого содержания. Для ука-i занного теста оно таково: специфика изучения математики тесно связана с актуализацией умственных действий, формированием приемов мышления школьников. Эти приемы выступают как усло­вие исследования и решения тестовых задач. В данном случае в, спецификации отмечается, что существенным в решении текстовых задач является построение последовательности моделей задачи, ко­нечным звеном в которой является математическая модель (уравнение). Моделирование отношений между величинами являет­ся конституирующей характеристикой математического мышления, а знаковые модели и их трансформации выступают в качестве со­держательной основы умственных действий. Ориентация на знако­вую модель, которая является результатом мыслительного преобра­зования текстовой математической задачи, выступает, таким обра­зом, как критерий формирования умственных действий. Он и закла­дывается в данный тест. Составление уравнения по условиям тек­стовых задач предполагает, что учащийся владеет такими умствен­ными действиями:

1) анализирует ситуацию задачи, т.е. выявляет условие, сущест­венное для составления уравнения по тексту задачи (основание для уравнивания);

2) устанавливает тождество между знаковыми моделями разной степени обобщенности и текстом-описанием;

3) разбивает задачи на классы по существенному основанию - типу отношений между величинами;

4) усматривает подобие в задачах исходя из аналогичного харак­тера моделирования зависимости между величинами.

Выявленная совокупность умственных действий состав­ляет основу конструирования методики КОРТ. Сформиро-ванность каждого действия проверяется отдельным субтес­том. В тесте, о котором идет речь, таких субтестов четыре (по чис­лу обозначенных действий): «Выделение существенного», «Четвертый лишний», «Найди подобную», «Установление тождества».

Разработчик теста должен быть уверен, что в тест войдет мате­риал, который репрезентативен для исследуемого учебного содер­жания. С этой целью была произведена каталогизация тестовых за­дач. Она включала в себя сведения о сюжетах, особенностях задач, их предметном содержании (т.е. какие величины представлены в задаче: взаимосвязанные или разные значения одной и той же ве­личины), типах знаковой модели отношений между величинами, входящими в условие задачи. Далее определялся примерный удель­ный вес каждой задачи, т.е. то место, которое отводится задаче данного типа в школьном учебнике математики. Таким образом, в задания субтестов были включены все основные типы задач, пред­ставленные в учебной программе. При разработке методики КОРТ тексты отобранных задач были подвергнуты некоторым изменениям, связанным с включением в условия стимульного материала. Напри­мер, для заданий методик КОРТ стимульным материалом явились такие элементы содержания и структуры задачи, которые могли бы побудить учащихся использовать сложившиеся у них способы ори­ентации в материале - субъективные «логики». В условия задач вводились одинаковые числовые данные, сходная лексика и т.д. Все эти несущественные, внешние по отношению к собственно матема­тическому содержанию задач данные осуществляли функцию «шума», предназначенного «маскировать» сигналы, т.е. отношения между вели­чинами, фиксируемые знаковой моделью определенного вида.

Внесение в задания стимульного материала позволяет опреде­лить, насколько соответствует степень сформированности умствен­ного действия установленному критерию. Если ученик так и не ов­ладел требуемым умственным действием, он не сумеет преодолеть неадекватные способы ориентации в учебном материале. Все это ясно продемонстрирует методика КОРТ.

Приведем образцы заданий всех четырех субтестов рассматри­ваемого КОРТ с указанием содержательных показателей их выпол­

Субтест «Выделение существенного». В него входят задания следующего типа. Установи, какое из выделенных (А, Б, В, Г) условий является существенным в определении характера уравнения, которое \% следует составит^ к данной задаче, sj

Заказ по выпуску машин завод должен был выполнить за 15 дней (А), но уже за два дня до срока (Б) завод не только выполнил план, но и выпустил сверх плана еще 6 машин (В), так как ежедневно выпус- ;

кал по 2 машины сверх плана (Г). Сколько машин должен был выпус- ;

тить завод по плану?

Правильное выполнение задания предполагает, что учащийся ориентируется на условие, указывающее на отношение между вели­чинами (условие В): «Объем выпущенной сверх плана продукции на 6 машин -больше планового объема». Данное условие является «ключевым» в выявлении характера уравнения, тогда как условия А, Б, Г, уотя и содержат в себе определенную математическую ин-формаци1Ь, определяют лишь вид отдельных алгебраических выра­жений, но не уравнения в целом.

Субтест «Четвертый лишний». В него включены задания ти­па: даны четыре задачи; три - одного вида, одна - другого, т.е. лишняя, относится к задачам другого вида. Определи, какая из за­дач (А, Б, В, Г) является лишней.

А. Бригада трактористов намечала ежедневно вспахивать по 60 га. Однако план вспашки перевыполнялся ежедневно на 25\%, а поэто­му пахота была закончена за день до срока. Определите, за сколько дней было вспахано поле.

Б. По плану колхоз должен был засевать по 25 га в день. Но колхозники смогли увеличить дневную норму на 5 га и закончили сев на три дня раньше срока. Какова площадь поля?

В. Расстояние между двумя станциями электропоезд проходит за 1,2 часа. Из-за ремонта пути поезд уменьшил свою скорость на 20\% и прошел это расстояние за 1,5 часа. Найдите первоначальную скорость поезда.

Г. Два звена собрали со своих участков 8840 ц кукурузы, причем первое звено получило в среднем с га по 150 ц, а второе - по 108 ц. Участок второго звена был на 35\% больше участка первого зве­на. Определите площадь участка первого звена.

При выполнении задания существенным является то, что уча­щийся сопоставляет и объединяет задачи на основе общности типа отношений между величинами (лишняя в ряду задач - задача Г). Общность сюжета (работа в колхозе - задачи А, Б, Г), сходство отдельных деталей (зависимость между значениями величин задает­ся в форме процентного соотношения - задачи А, Б, Г) не являют-" ся достаточными основаниями для заключения о том, что задачи относятся к одному и тому же виду.

Субтест «Найти подобную». В него входят задания такого ти­па: найти задачу, подобную данной: найти три последовательных нечетных числа, сумма которых равна 81.

А. Шнур разрезали на три части, причем первая часть в 2 раза больше второй и третьей в отдельности. Чему равна длина каждой из трех частей, если известно, что вторая часть меньше первой на 81 см?

Б. Сумма двух чисел равна 81. Если одно из них увеличить в два раза, то сумма полученных чисел будет равна 136. Чему равно каж­дое из двух чисел?

В. Сумма углов треугольника равна 180 градусам. Величины уг­лов относятся как числа 3, 4 и 5, найти углы треугольника.

Г. Найдите два числа, сумма которых равна 132, если 1/5 одного числа равняется 1/6 другого.

Существенным при актуализации действия нахождения аналогии является ориентация на подобие знаковых моделей рассматривае­мых задач (задача В). Нахождение аналогии на основе сходства числовых данных (А), отдельных лексических единиц условия за-дачной ситуации (Б), аналогичных синтаксических организаций (Г) свидетельствуют о том, что учащийся представленным в субтесте умственным действием не владеет.

Субтест «Установление тождества». В него входят задания такого вида: какая из составленных задач соответствует уравнению вида 6х - х = 25?

А. Витя задумал два числа. Их частное равно 6, а разность - 25. Какие числа задумал Витя?

Б. Мама испекла 25 пирожков с малиной и яблоками. С малиной пирожков было в 6 раз больше. Сколько пирожков было с яблоками?

В. В одной комнате в 6 раз больше людей, чем во второй. После того как из первой комнаты 25 человек перешли во вторую, в обеих комнатах людей стало поровну. Сколько людей было в каждой ком­нате первоначально?

Г. После того как в первую неделю израсходовали шестую часть всего имеющегося угля, на складе осталось 25 т угля. Сколько всего угля было на складе?

Показателем того, что ученик владеет представленным в субтесте умственным действием, является сопоставление уравнения и условия задачной ситуации на основе заданного в тексте-описании и фиксируе­мого уравнением типа отношений между величинами (задача А).

Успешность выполнения каждого задания оценивается по двоич­ной системе: 1 соответствует правильному выполнению, 0 - непра­вильному или отказу от решения.

Независимо от того, на каком предметном содержании разраба­тываются методики КОРТ или какие частные принципы положены в

основу их конструирования, спецификация теста всегда включает в| себя краткое описание той области содержания, для изучения кото-| рои предназначен тест, образцы задания, стимулы-признаки крите-^ рия, типичные ответы, которые могут дать испытуемые в ситуаций тестирования. Спецификация теста задает основу для установлении"1 содержательного соответствия тестовых заданий реальных учебных" задач. И не важно, подробной или краткой будет эта спецификация, ее основное значение заключается в том, что она позволяла в со­держательном и операциональном планах оценить, что действитель-" но означает выполнение теста по отношению к критериальной об­ласти поведения.

Когда спецификация составлена, подготовленные мето­дики КОРТ подлежат проверке.

Прежде всего разработчику теста необходимо убедиться, что его предварительный анализ умственных действий, опосредующих вы­полнение учебных заданий, был верен и каждое из умственных дей­ствий имеет свое собственное логическое содержание. Эта задача решается путем составления результатов по отдельным субтестам КОРТ". Если каждое из анализируемых умственных действий играет свою особую роль в опосредовании умения, то вряд ли можно будет ожидать, что между успешностью выполнения отдельных субтестов будет выявлена тесная связь.

Модель умственных действий, представленная в методиках КОРТ, должна быть исследована с точки зрения ее содержательного соответствия реальному выполнению учащимися учебных заданий. Это достигается путем сопоставления результатов КОРТ и предста­вительных выборок учебных контрольных заданий (сокращенно КЗ). Это не исключает сопоставления данных тестирования с учебной успеваемостью, с результатами экзаменационных проверок и т.д.

Если анализ логического состава умения верен и владение сово­купностью умственных действий, актуализируемых методикой КОРТ, действительно связано с реальным выполнением учебных за­даний, то следует ожидать, что учащиеся, которые владеют всеми умственными действиями по методике КОРТ, успешно выполнят и КЗ. Соответственно те учащиеся, которые не владеют ни одним из умственных действий, заданных КОРТ, с ними не справятся. Про­верка этого предположения осуществляется путем установления зависимости между выполнением методики КОРТ и КЗ.

" При сопоставлении выполнения субтестов КОРТ, а также методики КОРТ в целом с другими методиками обычно используют Ф-коэффициент (коэффициент Пирсона для дихотомических данных) как оптимальный метод анализа экспериментальных данных подобного характера (см. главу XIV).

Сопоставление методик КОРТ и КЗ не может ограничиваться рассмотрением коэффициентов корреляции, поскольку этот коэф­фициент не говорит о причинах совпадений или расхождений. Воз­никает необходимость качественного анализа рассогласовании. Это предполагает обращение к характерным особенностям выполнения методик КОРТ и КЗ отдельными учащимися и их группами.

Специальному анализу подлежат также данные учащихся, кото­рые, владея лишь некоторыми из представленных в методиках КОРТ умственными действиями, все же выполняют КЗ с высоким результатом. Будет правомерным предположить, что успех выпол­нения заданий (КЗ) здесь может непосредственно зависеть от того, удается ли им заменить то умственное действие, которым они не владеют, другими действиями или их сочетаниями. Компенсация умственного действия в данном случае связана с переформулирова­нием условия задания, с перестройкой умственных действий для решения задания. В исследовании математического КОРТ, напри­мер, был выявлен и проанализирован случай, в котором может идти речь о компенсации.

По результатам методик математического КОРТ учащийся владе­ет лишь двумя из умственных действий - выделением существен­ного и установлением тождества. Ему предлагают установить, какое из трех уравнений к задаче составлено правильно. Учащийся вы­полняет задание следующим образом. Он выделяет в условии дан­ной ему задачи основание для уравнивания и составляет уравнение (выделение существенного), затем последовательно сопоставляет полученное им уравнение с тремя предложенными вариантами (установление тождества) и тем самым правильно выполняет кон­трольное задание.

Вместе с тем актуализация этих умственных действий по отно­шению к данному заданию представляет собой неэкономный в логи­ческом плане способ решения. Ориентация на тип задачи и харак­теризующий его вид уравнения позволила бы сократить зону поис­ка. Но для этого следовало бы использовать умственные действия нахождения аналогии и определения классификации, а ими-то уча­щийся не владеет. Компенсация здесь заключалась в том, что уча­щийся заменяет те действия, которыми он не владеет, другими, по­зволяющими справиться с заданием.

Анализ рассогласований в выполнении методик КОРТ и КЗ по­зволяет исследователю выявить присущие учащимся способы вы­полнения заданий и оценить, насколько эти способы отвечают зада­чам умственного развития в области математики.

Корт своими содержательными и структурными характеристика­ми соответствует конкретной ситуации обучения и поэтому может

служить оперативным средством контроля и оценки результате обучения. Разработка и исследование таких тестов всегда связаны решением актуальных учебно-образовательных задач. С помощь^, методик КОРТ учителя и психологи могут выявить объективные пв3 казатели умственного развития в отношении тех разделов обучении! которые соотносимы с ключевыми, ведущими требованиями школб^ ной программы. Анализ выполнения теста позволяет локализовать к раскрыть недостатки и пробелы в логико-психологической и учеб. ной подготовке школьников, в их умственном развитии, определить направление и содержание коррекционных воздействий. Критери­ально-ориентированное тестирование может выступить как один из компонентов обратной связи в функционировании системы образо­вания. Применение методик КОРТ позволяет выявить, соответству­ют ли осуществляемые учащимися умственные действия логике предметного материала, складывается ли у учащихся предметная ориентация мышления. И не случайно первый опыт разработки ме­тодик КОРТ был вызван необходимостью углубленного психологи­ческого анализа трудностей и недостатков умственного развития учащихся, связанных с усвоением базовых учебных умений и прие­мов мыслительной деятельности в конкретных областях предметно­го содержания.

§ 2. ДИАГНОСТИКА РАЗВИТИЯ ЕСТЕСТВЕННОНАУЧНОГО МЫШЛЕНИЯ

Современная психологическая диагностика располагает достаточ­но большим арсеналом методик для оценки сформированности ма­тематического мышления, о чем шла речь в предыдущем параграфе, а также лингвистического и технического мышления. Это связано с достаточной исследованностью проблемы содержания и структуры данных видов мышления.

Отсутствие до недавнего времени методик, посвященных диагно­стике сформированности естественнонаучного мышления, было свя­зано, как отмечается в литературе, с неразработанностью специфи­ки этой проблемы (Г.А. Берулава, 1991).

Выработка эффективных способов естественнонаучного мышле­ния у учащихся связана с ориентацией не на жесткие алгоритмы мыслительной деятельности, а на предписания алгоритмического и эвристического типов. В связи с этим для диагностики сформиро­ванности процесса теоретического естественнонаучного мышления должны использоваться задания качественного характера, решение которых невозможно подвести под жесткий алгоритм. Качествен­ными заданиями в естествознании (в отличие от расчетных, экспе­риментальных и графических задач) называются задания, которые

решаются логическим способом. При решении данного типа заданий не требуется никаких вычислений, определяются только качествен­ные зависимости между объектами. Существенно и то, что качест­венная форма проблемной ситуации в наибольшей степени соответ­ствует реальной ситуации научного поиска. Известно, что ученые, представители естественных наук, при решении сложных научных проблем избегают формализации ситуации поиска. Вследствие этого используемые для исследования естественнонаучного мышления ка­чественные задания релевантно отражают специфику естественно­научного мышления, и именно такие задания позволяют диагности­ровать этапы и уровни развития мышления учащихся. В связи с этим необходимо отметить, что в традиционных методиках диагно­стики мышления используются преимущественно задания алгорит­мического характера. При этом оценка сформированности у уча­щихся отдельных умственных действий, и прежде всего действия обобщения, основывается на предположении о том, что, усвоив оп­ределенное правило, определенный алгоритм, учащийся может без­ошибочно решить задачу. Соответственно подобные диагностиче­ские методики фактически диагностируют специфику математиче­ского мышления и в большей степени сформированность у индивида определенных умений.

В противоположность этому использование нестандартных каче­ственных задач ориентировано на диагностику сформированности продуктивного, творческого мышления.

Дифференциация стадий сформированности естественнонаучного мышления должна осуществляться в зависимости от сформирован­ности действия теоретического обобщения. Основное содержание теоретического обобщения определяет процессы синтеза, осуществ­ляемые как переход мысли от известной закономерности к приме­нению ее в конкретных условиях.

Структура теста должна быть связана с диагностикой развития естественнонаучного мышления как процесса. При этом если диаг­ностика процесса мышления на микроуровне направлена на иссле­дование сформированности отдельных нормативных составляющих мыслительных процессов (прежде всего анализа и синтеза) и выяв­ление тем самым реального процесса мышления в его индивидуаль­ном варианте, то диагностика мыслительного процесса на макро­уровне предполагает анализ сформированности его отдельных ста­дий и определения, таким образом, индивидуальных моделей разви­тия мышления. И та и другая диагностика при этом связаны с оценкой промежуточных результатов в развитии мышления, но не­посредственно интегрированных с процессом мышления и вследст­вие этого характеризующих его.

Диагностируя мышление как процесс, мы фиксируем его отдель.1 ные результаты в определенных точках временной шкалы. "р

Понимание мышления как процесса не может абстрагироваться от. составляющих его действий и операций, сформированность кото­рых на каждом временном этапе выступает как определенный про. межуточный результат.

Сформированность теоретического обобщения определяется каче­ством его выполнения (правильность выполнения задания) и его ус­тойчивостью (переход от абстрактного к конкретному выполняется для различных типов связей). Это означает, что ребенок может ус­тойчиво выделять общее и особенное в различных ситуациях. В ко­личественном аспекте коэффициент сформированности действия теоретического обобщения (Kg) на каждой из стадий может опреде­ляться как отношение количества решенных задач (О) к общему количеству (S), т.е. Kg = 0/S.

Существенно, что определение коэффициента сформированности действия теоретического обобщения не предполагает суммирования правильно решенных задач по отдельным стадиям, поскольку каж­дая из них будет связана со своим «масштабом» развития. При этом мы основывались на очень точном замечании Л.С. Выготского о том, что «не может существовать равных единиц для измерения всех ступеней в развитии интеллекта, каждая качественно новая ступень требует своей особой меры» (1984. Т. 4. С. 56).

Возникает проблема появления нового интегративного способа мышления, характерного для мышления современных ученых-естество­испытателей. Могут быть выделены две стадии сформированности тео­ретического естественнонаучного мышления: дифференциально-синтетическая (в основе которой лежат внепредметные теоретиче­ские обобщения) и стадия синтетическая (в основе которой - межпредметные теоретические обобщения). Различие выделенных стадий обусловлено качественным своеобразием синтеза естествен­нонаучных знаний. Рассмотренные стадии различаются по уровню теоретического обобщения, однако это различие связано не просто с объемом материала, на базе которого осуществляется обобщение (т.е. с «широтой охвата»), но с качественным своеобразием данного обобщения и, в частности, с ориентацией на всеобщее, а не на осо­бенное отношение.

В то же время современное естественнонаучное образование не ориентировано на формирование у учащихся интегративного спосо­ба мышления. Теоретическое естественнонаучное мышление фор- j мируется как дифференциально-синтетическое (физическое, хими- I. ческое, биологическое) на основе внутрипредметных обобщений с | ориентацией на особенные для каждой естественной науки сущно-

сти. Это во многом обусловлено тем, что в качестве основы меж­предметных связей указываются различные типы ассоциаций, при этом практически игнорируется основополагающая роль теоретиче­ских обобщений как психологической базы установления связи ме­жду научными понятиями.

В рамках эмпирического типа мышления могут быть выделены эмпирически-бытовая и эмпирически-научная стадии. Для эмпири­чески-бытового способа мышления характерна апелляция учащихся к своим донаучным представлениям, стремление решить задачу на бытовом уровне. Общей отличительной особенностью данного спо­соба мышления является то, что ребенок ищет путь решения задачи в области бытовых представлений и понятий и не делает какой-либо попытки научного анализа условий задачи.

Эмпирически-научный способ мышления характеризуется тем, что ребенок делает попытку научного анализа решения задачи, но ориентируется лишь на конкретные условия взаимодействия мате­риальных объектов. В процессе решения он использует те или иные естественнонаучные законы, но поскольку их поиск носит эмпири­ческий характер, то ответ, как правило, неверен. Общим для данно­го подхода является ориентация лишь на конкретные условия зада­чи, хотя и делается попытка их научного анализа. Для эмпириче­ского типа мышления существенно то, что учащиеся, зная естест­веннонаучные законы, лежащие в основе решения задач, не могут «увидеть» их в предложенных конкретных условиях. Соответствен­но не может быть сделан вывод о том, что высшей стадией сформи­рованности естественнонаучного мышления является синтетическая стадия, связанная со сформированностью у учащихся интегративно­го способа мышления, основанного на межпредметных теоретиче­ских обобщениях за счет становления более высокой формы теорети­ческого синтеза - внешнего (междисциплинарного), выступающего как психическое новообразование подросткового возраста.

Из всего сказанного ясно, что методики диагностики естествен­нонаучного мышления непременно должны учитывать его специфи­ку, связанную прежде всего с особенностями процесса теоретиче­ского естественнонаучного обобщения и стадиями развития данного вида мышления.

Рассматривая развитие мышления, следует учитывать, что оно осуществляется прежде всего в рамках организованного обучения;

социальные требования к развитию естественнонаучного мышления в обязательном порядке будет трансформироваться в определенной системе обучения.

Поскольку процесс обучения реализуется через систему учебных предметов, релевантных основным видам деятельности, то требова-

ния к развитию конкретного вида мышления реализуются через ределенный процесс обучения, в совокупности составляющий его содержание, методы и средства обучения, f.

Если у учащихся посредством определенной системы обучения! формируется один уровень мышления (например, в школе с углуб­ленным изучением естественнонаучных дисциплин этот уровень ориентирован на деятельность ученого-исследователя), то и соот­ветствующим должен быть критерий его сформированности.

§ 3. КРИТЕРИАЛЬНО-ОРИЕНТИРОВАННЫЕ ТЕСТЫ ДЛЯ ДИАГНОСТИКИ СФОРМИРОВАННОСТИ ЕСТЕСТВЕННОНАУЧНОГО МЫШЛЕНИЯ

В рамках критериальной диагностики разработаны тесты для ди­агностики естественнонаучного мышления (Г.А. Берулава, 1992). Тесты естественнонаучного мышления для учащихся 7 (ТЕМ-7) и 8 класса (ТЕМ-8) включают в себя систему заданий, являющихся мо­делью когнитивной организации предметной области естествозна­ния. Каждый тест содержит родовые задачи, каждой из которых соответствует некоторый класс индивидуальных задач.

В тесты включены лишь задачи качественного характера. В есте­ственнонаучных предметах процент задач, решаемых по жесткому алгоритму, очень незначителен. Это связано с тем, что взаимодей­ствие объектов, лежащих в основе любой естественнонаучной зада­чи, в значительной степени определяется условиями взаимодейст­вия и индивидуальными свойствами объектов взаимодействия, в от­личие, например, от математики, где данные факторы не имеют значения.

При определении содержательной валидности тест должен ори­ентироваться на внешние социально обусловленные и педагогически адаптированные требования. Однако сам теоретический критерий валидности должен быть психологическим. При этом существенно, что он должен быть различным для дифференцированных моделей обучения, реализуемых в рамках школ различных типов.

Разработанные тесты являются нормативными для учащихся школ с углубленным изучением естественнонаучных предметов. Все задания носят качественный характер. При этом сюжетная форма заданий, без наличия в их условиях каких-либо абстрактных симво­лов и знаков, не позволяет ассоциировать их с какой-либо абст­рактной теорией.

Каждый тест для диагностики сформированности у уча­щихся естественнонаучного мышления содержит 30 задач, в основе которых лежит 5 естественнонаучных законов, яв­ляющихся для усвоения учебного материала в 7 и 8 клас-

сах основополагающими. Каждому закону соответствуют шесть задач, три из которых составлены на материале физики, в рамках которого изучались данные законы, и три - на межпредметном ма­териале (биологии и физики в 7 классе, биологии, физики и химии - в 8). Каждый тест содержит два субтеста, один из котоэых диагно­стирует сформированность дифференциально-синтетической стадии естественнонаучного мышления, а второй - синтетической. Приводим примеры заданий из дифференциально-синтетического субтеста теста естественнонаучного мышления для 7 класса (ТЕМ-7).

Задание. Почему нельзя тушить горящий керосин, заливая его водой?

а) вода будет испаряться с поверхности горящего керосина; б) вода будет смешиваться с керосином вследствие явления диффузии;

в) плотность воды больше плотности керосина, поэтому вода будет опускаться вниз, а керосин будет всплывать наверх и не закроет доступ воздуха, необходимого для горения керосина.

Варианты ответов для задания субтеста (их по три в каждой за­даче) позволяют диагностировать преимущественный способ мыш­ления учащегося: эмпирически-бытовой (ему в данном задании со­ответствует 1-й вариант ответа), эмпирически-научный (ему соот­ветствует 2-й вариант ответа) или дифференциально-синтетический (3-й вариант ответа), который характеризует уже теоретический тип мышления.

Аналогичную структуру имеют задания синтетического субтеста.

Задание. Почему кит, оказавшись на мели, погибает?

а) сила трения, имеющаяся на твердой почве, мешает ему доб­раться до воды; б) кит задыхается от воздуха; в) вследствие закона Архимеда вес кита оказывается незначительным; на суше выталки­вающая сила отсутствует, и кит погибает под действием собствен­ного веса.

В основе решения данной задачи лежит закон Архимеда, в то же время "она построена на нехарактерном для курса физики биологиче­ском материале. Эмпирически-бытовому способу мышления в данном случае соответствует 2-й вариант ответа, эмпирически-научному - 1-й вариант, теоретическому (дифференциально-синтетическому) способу мышления соответствует 3-й вариант ответа.

При разработке структуры теста естественнонаучного мышления для 8 класса (ТЕМ-8) был использован тот же принцип построения, но законы, лежащие в его основе, являются уже репрезентативны­ми для естественнонаучного познания учащихся 8 класса.

Задания дифференциально-синтетического субтеста ТЕМ-8 имеют структуру, аналогичную заданиям дифференциально-синтетического субтеста ТЕМ-7.

Задание. Почему притертую стеклянную пробку легко вынуть из флакона, если потереть его горлышко сухой тряпкой или бумагой?

а) при натирании горлышка бутылки совершается механическая работа, благодаря чему увеличивается внутренняя энергия горлыш­ка, оно нагревается и расширяется; б) из-за колебаний горлышка бутылки пробка расшатывается, и ее легче вынуть из бутылки; в) в результате силы трения горлышко расшатывается, и поэтому проб­ку легче вынуть из бутылки.

Вариант ответа «б» при этом соответствует эмпирически-бытовому способу мышления, «в» - эмпирически-научному. Пер­вый вариант ответа характеризует теоретический способ мышления (в данном случае его дифференциально-синтетическую стадию). В основе решения предложенной задачи лежит закон сохранения энергии. В рамках дифференциально-синтетического субтеста ему соответствуют две задачи, построенные на характерном для курса физики материале. В синтетическом субтесте данный закон приме­няется в условиях, адекватных материалу, используемому в курсах биологии и химии.

Задание. Почему пораженные током живые организмы погибают?

а) потому что ток убивает клетки живых организмов; б) при про­хождении тока по клеткам живого организма электрическая энергия превращается во внутреннюю энергию, вследствие чего нагревается плазма клеток; в) потому что при прохождении тока в клетках жи­вых организмов происходят необратимые химические реакции.

С использованием предметного материала курса химии закон со­хранения и превращения энергии реализован, например, в задаче следующего содержания.

Задание. Почему выделяется теплота при взаимодействии цинка с разбавленной серной кислотой?

а) потому что у серной кислоты повышена температура, и она сжигает все вещества; б) в процессе химической реакции с серной кислотой уменьшается внутренняя энергия системы, вследствие че­го выделяется теплота; в) выделение теплоты в процессе указанной реакции происходит в результате взаимодействия электрических за­рядов цинка и серной кислоты.

Структура теста позволяет оценить сформированность процесса теоретического обобщения, понимаемого как восхождение от абст­рактного к конкретному. Это обеспечивается тем, что каждому ес­тественнонаучному закону соответствует серия задач одинаковой объективной сложности, в которых варьируются лишь конкретные условия применения закона.

Сложность заданий определялась по объективным критериям экспертным путем и с помощью алгоритмического метода, при этом

учитывалось то, что жесткая статистическая оценка трудности за­дач для критериальных исследований неприемлема.

Тесты прошли формальную проверку на надежность и валид-ность. Ретестовая надежность определялась повторным тестирова­нием через 3,5 месяца (существенно, что данный интервал прихо­дится на летние каникулы учащихся). Коэффициент ранговой кор­реляции для ТЕМ-7 равнялся для дифференциально-синтетического теста 0,93, для синтетического - 0,92. Для ТЕМ-8 эти значения соответственно для дифференциально-синтетического субтеста - 0,89, для синтетического субтеста - 0,91. Значимость на уровне 0,01.

Был использован и такой метод выявления надежности теста, как определение его гомогенности. С этой целью каждый субтест был разделен на три части (по 5 заданий в каждой). Надежность оцени­валась посредством вычисления интеркорреляций выделенных час­тей с применением формулы Кьюдера-Ричардсона. При этом ко­эффициенты корреляции располагались в пределах от 0,95 до 0,98.

Валидность тестов определялась сравнением успешности выпол­нения их заданий со школьными оценками за самостоятельные ра­боты по решению естественнонаучных задач. При этом для опреде­ления валидности дифференциально-синтетического субгеста ис­пользовались оценки за решение физических задач. Валидность синтетического субтеста оценивалась по результатам выполнения задач межпредметного характера. Коэффициенты корреляций для ТЕМ-7 распределялись следующим образом: для дифференциально-синтетического - 0,72; для синтетического - 0,70; для ТЕМ-8 - 0,74; для дифференциально-синтетического - 0,74; для синтети­ческого - 0,69. Значимость на уровне 0,99.

Корреляция ТЕМ-7 с субтестом «Обобщение» из теста ШТУР соста­вила 0,69 для дифференциально-синтетического субтеста и 0,67 - для синтетического.

Для ТЕМ-8 эти значения распределялись следующим образом: для дифференциально-синтетического - 0,68; для синтетического - 0,65 (по отношению к тесту ШТУР).

Полученные данные позволяют сделать вывод о том, что разрабо­танные тесты удовлетворяют необходимым статистическим критериям.

Диагностика сформированности естественнонаучного мышления с помощью разработанных тестов создает возможность не только опре­делить тип естественнонаучного мышления (эмпирический или теоре­тический), но и стадию их сформированности. В рамках эмпирического типа - это эмпирически-бытовая и эмпирически-научная стадии.

Каждому естественнонаучному закону соответствует серия зада­ний одинакового уровня сложности, в которых варьируют лишь конкретные условия применения закона.

Разработанный тест является групповым. Время для решения всего теста - 40-50 минут (1 урок). Тест предъявляется всем учащимся класса одновременно, при этом сидящие рядом ученики делают разные субтесты. Каждое верно выполненное задание оценива­ется одним баллом.

Качественная обработка результатов позволяет также сделать вывод, какие типы связей (законов) вызывают затруднение у уча­щихся, и произвести в этом направлении целенаправленную кор­рекцию.

Проверка тестов, диагностирующих некоторые специальные виды мышления учащихся (математическое и естественнонаучное), пока­зала, что они обладают высокой практической эффективностью. В этой главе описаны два варианта разработки методик критериально-ориентированного тестирования. В том и другом варианте диагно­стирование ставило своей целью выявить, насколько умственное развитие учащихся приближается к тем требованиям, которые предъявляются учебными программами. В диагностировании естест­веннонаучного мышления тестовые задания позволяли дифференци­ровать разные стадии развития этого вида мышления.