Что является характеристикой критериально ориентированных тестов. Критериально-ориентированное тестирование и новый взгляд на тесты

Различают критериально-ориентированные тесты и тесты, ориентированные на статистическую норму.

Норма характеризует выборку или популяцию , но не раскрывает действительных требований к человеку.

^ Социально-психологический норматив (СПН) - система требований, которые общество предъявляет каждому из его членов . Чтобы не быть отторгнутым от существующей общности, человек должен овладеть теми требованиями, которые к нему предъявляются, причем, процесс, этот является активным - каждый стремится занять определенное место в своей социальной общности и сознательно осуществляет этот процесс приобщения к классу, к группе. Эти требования и могут составлять содержание СПН , которые выступают как идеальная модель требований социальной общности к личности.

Следовательно, при оценке результатов тестирования итоги надо подводить по степени близости к СПН, который дифференцируется в образовательно-возрастных границах . Подобные требования могут быть закреплены в форме правил, предписаний, требований к человеку и включать самые разнообразные аспекты: умственное развитие, нравственное, физическое и т. д. Тем более что эти требования, составляющие содержание СПН , вполне реальны и присутствуют в образовательных программах и т.д.

^ Использование в качестве критерия развития СПН выдвигает на первый план качественный способ обработки теста, при котором необходимо учитывать : какие термины и понятия по степени обобщенности усвоены лучше , а какие - хуже ; какие логические операции освоены более, а какие менее - успешно ; в каком круге понятий и терминов ученики ориентируются менее, а в каком - более уверенно . Поэтому в отличие от статистической нормы СПН качественно иным образом рассматривает содержательную сторону развития человека.

Появление критериально-ориентированных тестов (КОРТ) связано стестированием достижений и успехов в учебе как детей, так и взрослых после специальных курсов обучения. Первым, кто обозначил “самостоятельную сущность” нетрадиционной формы тестирования и отделил ее от тестирования, ориентированного на статистическую норму, был Р. Глезер (1963). Он же и ввел термин “criterion referenced measurement” - критериально-ориентированное измерение . Различие между критериально-ориентированным и ориентированными на норму подходами было зафиксировано, но в диагностической практике разница между двумя подходами не выявилась. Это, возможно, зависело от того, что было недостаточным проанализировать практический смысл применения критериально-ориентированной тестовой модели. Было важно другое: разработать методики конструирования и проверки тестов, ориентированные на критерий.

Предметом анализа КОРТ становится содержание деятельности индивида: что индивид знает или умеет делать по отношению к конкретным требованиям, которые предъявляет к нему учебно-образовательная программа. В КОРТе анализ текста должен заключаться в его проверке по характеристикам, сосредоточенным на содержательных и сравнительных особенностях заданий теста, а не только на его статистических показателях. Установление содержательного соответствия теста и реального учебного задания выступает как решающий этап разработки КОРТа. По отношению к КОРТу учебное задание является не “внешним критерием”, но той реальностью, существенные моменты которой данный КОРТ моделирует.

^ Виды критериев в КОРТе. На начальном этапе становления критериально-ориентированного подхода былавыдвинута концепция критерия как уровня выполнения . КОРТы представляют сведения относительно того, что ученик не усвоил. Учащегося возвращают к тем фрагментам учебного материала, на которые ему необходимо обратить внимание (тестирование обнаруживает проблемы в знаниях и неосвоенные навыки).

Критерий как уровень мастерства - эталонная совокупность всех компонентов, составляющих конкретное знание. Располагая такой характеристикой, учитель или исследователь может сравнить то, что делает ученик, с тем, что он должен уметь делать. Особенность КОРТов, направленных на становление уровня мастерства, состоит в том, что они не только выявляют объемы усвоенного материала, но указывают на возможности ученика активно использовать полученные знания в усвоении нового, более сложного материала . Если КОРТы, ориентированные на уровень выполнения, могут установить, что ученик достаточно подготовлен, чтобы перейти на следующий этап обучения, то КОРТы, ориентированные на уровень мастерства, воплощают в себе требования, которые прежде всего обусловлены сложившимися в теории и методике обучения стандартами и образцами усвоения (они зафиксированы как учебные цели).

КОРТ на уровень мастерства рекомендуется строить по ступенчатому признаку. Каждая ступень будет характеризоваться своим уровнем сложности. Сложность здесь понимается как объективная категория, определяемая числом и характером свойств и отношений между элементами учебного задания. Ступенчатая структура представляет возможность не только установить, достаточно ли владеет учащийся определенным умением, но и выявить, в какой мере успешность реализации этого умения определена содержательными характеристиками учебного материала.
^

3.5. Компьютеризация психодиагностических методик

Компьютер не может подменить интуицию и творческую активность человеческой психики, ее пристрастность и избирательность, целостность восприятия и дар предвосхищения.

Но применение ЭВМ открывает широкие перспективы для психологических исследований. В связи с задачами психологической диагностики крайне важно, что с помощью компьютера экспериментатор получает для анализа такие данные, которые без ЭВМ получить практически невозможно: время выполнения отдельных заданий теста, время получения правильных или ошибочных ответов, количество отказов от решения и обращений за помощью, время, затрачиваемое испытуемым, на обдумывание ответа при отказе от решения, время ввода ответа (если он сложен) в ЭВМ и т.д. Эти особенности испытуемых можно использовать для углубленного психологического анализа их деятельности в процессе тестирования.

ЭВМ изменили почти все этапы тестирования - от создания теста до его применения, подсчета первичных показателей, регистрации и интерпретации, обеспечили гибкий и скоростной способ переработки данных.

С момента применения компьютеров в психодиагностике можно выделить несколько направлений в этой сфере.

Одно из них - сбор и обработка тестовых данных, к которым приспособлено большинство современных методик.

Большие возможности в решении указанных задач открываются при использовании ЭВМ для автоматизации стандартизации процедуры тестирования. Применение компьютера обеспечивает массовость испытаний, повышает их объективность и достоверность за счет снижения влияния на испытуемого личности экспериментатора, вариативность некоторых условий тестирования и т.д.

На еще более высоком уровне при этом осуществляется качественный анализ результатов диагностики и машинная интерпретация тестовых показателей. При такой организации тестирования определенные серии ответов связываются с теми или иными словесными формулировками, хранящимися в памяти ЭВМ. При желании можно получить информацию и в виде графиков, таблиц, диаграмм, профилей.

Важную роль играют компьютеры и в решении ряда вопросов, непосредственно связанных с разработкой новых тестов, с созданием алгоритма для их разработки.

Особое значение имеет проблема разработки методики адаптированного (индивидуализированного) тестирования , которому большинство зарубежных авторов отдают предпочтение. При этом подходе каждый испытуемый получает задание, соответствующее ему по трудности. Адаптированное тестирование значительно сокращает время испытаний, позволяет проводить их практически в индивидуальном темпе и повышает точность диагностики свойств испытуемых. Адекватность трудности заданий возможностям испытуемых повышает их мотивацию.

При тестировании с использованием ЭВМ исследователь может получить объективную информацию не только об особенностях выполнения определённых заданий группой учащихся (характеристика теста), но и об индивидуальных данных учащихся (характеристика испытуемого). Имеются в виду показатели умственного развития, скоростные особенности (темп) деятельности испытуемого, динамика его работоспособности, особенности выполнения вербальных и невербальных субтестов и т. д.

^ Выводы

• 
  Основная особенность психодиагностики – измерительно -испытательная направленность , за счет которой достигается количественная и качественная оценка изучаемого явления.

• 
  Выделяют три основных психодиагностических подхода , которые охватывают все множество имеющихся диагностических методик: “объективный”, “субъективный” и “проективный” .

• 
  Выделяют четыре основных типа методик: тест; опросники и анкеты; проективные техники и психофизиологические методики .

• 
  Для того чтобы тест считался научно-эффективным, он должен пройти проверку по четырем специальным критериям. Эти критерии : стандартизация, нормы, надежность, валидность.
• 
  Стандартизация - это единообразие процедуры проведения и оценки выполнения теста . Таким образом, стандартизация рассматривается в двух планах: 1) как выработка единых требований к процедуре эксперимента и 2) как определение единого критерия оценки результатов диагностических испытаний.
• 
  Надежность теста – постоянство и устойчивость результатов тестирования.
• 
  Валидность теста – пригодность теста измерять то свойство, для измерения которого он предназначен.

• 
  Не существует какого-либо единственного показателя, демонстрирующего валидность теста. Когда тест проверяется на валидность, важно указывать, на какой вид валидности .
• 
  Различают тесты, ориентированные на критерий, и тесты, ориентированные на норму.

Первое, на чем надо остановиться, рассматривая классификацию тестов, это два подхода, которые в настоящее время сложились в тестировании – тесты, ориентированные на критерий (критериально-ориентированные), и тесты, ориентированные на норму (нормативно-ориентированные).

Критериально-ориентированный тест позволяет оценить, насколько учащиеся достигли заданного уровня знаний, умений и отношений, например, определенного как обязательный результат обучения (образовательный стандарт). В данном случае оценка конкретного ученика не зависит от того, какие результаты получили другие ученики. Результат будет показывать, соответствует ли уровень достижений данного ученика социально-культурным нормам, требованиям стандарта или другим критериям. При данном подходе результаты могут интерпретироваться двумя способами: в первом случае делается вывод о том, освоен или не освоен проверяемый материал (достиг стандарта или нет), во втором – дается уровень или процент освоения проверяемого материала (на каком уровне освоен стандарт или какой процент из всех требований стандарта усвоен).

Нормативно-ориентированный тест ориентирован на статистические нормы, определяемые для данной совокупности учащихся. Учебные достижения отдельного ученика интерпретируются в зависимости от достижений всей совокупности учащихся, выше или ниже среднего показателя – нормы. Происходит распределение учащихся по рангам. Независимо от того, какая шкала используется при этом, все эти шкалы не дают информации об овладении учащимися определенной системой знаний и умений или о достижении ими конкретных целей обучения. Данный подход не соотнесен с содержанием процесса обучения.

Хорошо иллюстрирует разницу в критериально-ориентированных и нормативно-ориентированных тестах схема, предложенная В. С. Аванесовым. Для критериально-ориентированной интерпретации вывод выстраивается вдоль логической цепочки: задания → ответы → выводы о соответствии испытуемого заданному критерию.

Для нормативно-ориентированной ориентации вывод достраивается рейтингом: задания → ответы → выводы о знаниях испытуемого → рейтинг, понимаемый как вывод о месте или ранге испытуемого.

В современных тестах, ориентированных на норму, обычно объединяют задания в определенные группы (кластеры), выполнение которых позволяет описать достижения учащихся по отношению к определенным целям или темам (критериям) обучения. Результаты выполненных заданий позволяют сравнивать различные группы друг с другом и проводить аналогию внутри одной группы.

Критериально-ориентированные тесты определяют, насколько каждый испытуемый владеет знаниями и навыками, необходимыми для выполнения каких-либо учебных или профессиональных задач. Некоторые тесты больше подходят для диагностики развития того или иного качества, умения, навыков, однако сложнее поддаются стандартизации и количественным измерениям.

Нельзя не согласиться с А. Н. Майоровым, который указывает, что термины «нормативные» (нормативно-ориентированные), «критериальные» (критериально-ориентированные) тесты не являются строго корректными. В основе каждого нормативного теста лежат определенные критерии оценивания правильности ответа, и, в свою очередь, каждый критериальный тест должен отвечать на вопрос о том, достигнуты ли при тех или иных его показателях минимально требуемые цели (на данном этапе обучения, в данных конкретных условиях). Однако эта терминология в современной зарубежной и отечественной педагогике и психологии уже является общепринятой и отвечает целям тестирования.

Психологи, занимавшиеся разработкой критериальных тестов, отмечают, что определение задания в качестве критериального обусловлено двумя факторами. Первый заключается в том, что представленный в задании материал позволяет дать обобщенную совокупность знаний и умений, относящихся к внутренне завершенной области учебной или профессиональной деятельности. Второй фактор – возможность представить систематизированный перечень умственных действий, обеспечивающих его выполнение. Ни нормативные, ни критериальные тесты не идеальны. Нормативные тесты критикуют в основном за недостаточную репрезентативность выборок их валидизации и социокультурные аспекты формулировки заданий теста. Зачастую эта критика справедлива, однако сейчас при решении многих диагностических задач в педагогике без нормативных тестов не обойтись, тогда как большинство трудностей критериального тестирования в педагогике связано с тем, что далеко не все учебные предметы имеют профессиональный аналог в каком-либо виде деятельности, связанной с той предметной областью, на которую ориентирован тест.

В последнее время наметилась тенденция объединения двух подходов (критериально-ориентированного и нормативно-ориентированного) при оценке образовательных достижений и использовании в одном инструментарии (например, тесте) характеристик как тестов, ориентированных на норму, так и тестов, ориентированных на критерии.

Стремление объединить два подхода к разработке инструментария можно проиллюстрировать следующими примерами. В соответствии с классической схемой тест для итогового контроля должен разрабатываться в рамках нормативно-ориентированного подхода. Однако итоговые тесты, оценивающие достижение стандарта, предлагается разрабатывать в рамках критериально-ориентированного подхода. По мнению некоторых ведущих специалистов мира (Р. Вуд, В. Ангофф), основная характеристика критериально-ориентированного теста заключается не в наличии проходного критерия (прошел – не прошел, достиг – не достиг), а в тщательном описании проверяемого содержания, разработке теста в строгом соответствии с этим содержанием и описании результатов выполнения тестов в терминах, что освоено из проверяемого содержания. В настоящее время понятия «критериально-ориентированный подход» или «тест» заменяются понятиями «ориентированный на содержание» («сопtеnt-геfегеnсеd») и «ориентированный на цели или требования к уровню подготовки» («оbjective- геfегеnсеd»).

Критериально-ориентированные тесты – тип тестов, предназначенных для определения уровня индивидуальных достижений относительно некоторого критерия на основе логико-функционального анализа содержания заданий. В качестве критерия (или объективного эталона) обычно рассматриваются конкретные знания, умения, навыки, необходимые для успешного выполнения той или иной задачи. Это основное отличие критериальноориентированных тестов от традиционных психометрических тестов, оценка в которых осуществляется на основе соотнесения индивидуальных результатов с групповыми (ориентация на статистическую норму). Термин «критериально-ориентированные тесты» предложен Р. Гласером в 1963 г. Установление содержательного и структурного соответствия заданий теста и реальной задачи – важнейший этап разработки критериально-ориентированных тестов. Этим целям служит так называемая спецификация, включающая:

2) систематизацию знаний, умений и навыков, обеспечивающих выполнение критериальной задачи;

3) образцы тестовых заданий и описание стратегии их конструирования.

Различают две разновидности критериально-ориентированных тестов:

1) тесты, задания которых гомогенны, т. е. сконструированы на одной или аналогичной содержательной и логической основе. Обычно такого рода критериально-ориентированные тесты разрабатываются на материале учебных программ и используются для контроля за формированием соответствующих знаний, умений и навыков;

2) тесты, задания которых гетерогенны и заметно отличаются по логической структуре. В этом случае обычна ступенчатая структура теста, при которой каждая ступень характеризуется собственным уровнем сложности, определяемым логико-функциональным анализом содержания, относящегося к критериальной области поведения. Такого рода критериально-ориентированные тесты обычно используются для диагностики специфических трудностей в обучении. Существенной особенностью критериально-ориентированных тестов является то, что в них индивидуальные различия сводятся к минимуму (индивидуальные различия влияют на длительность усвоения, а не на конечный результат). Поэтому критериально-ориентированные тесты лучше всего приспособлены для оценки развития основных навыков на элементарном уровне. В более сложных областях поведения предела достижений не существует, и исходя из этого необходимо обращаться к оценкам, ориентированным на нормы.

Сегодня за рубежом разработаны тесты, выполнение заданий которых можно соотносить как с критериями, так и с нормами. Необходимо учитывать и то, что нормы неявно присутствуют в критериально-ориентированных тестах, ибо выбор содержания или навыков, подлежащих измерению, предполагает наличие сведений о том, как в подобных ситуациях действовали другие обследуемые (А. Анастази, 1982). Исходя из этого наиболее перспективным представляется объединение критериально-ориентированного подхода с традиционным психометрическим.

А. Анастази (1982) правомерно считает, что акцент критериальноориентированных тестов на содержательном смысле интерпретации тестовых показателей может оказать благотворное влияние на тестирование в целом. В частности, описание результатов, полученных с помощью тестов интеллекта, в терминах специфических навыков и умений в значительной мере обогащает фиксируемые ими показатели. Для критериально-ориентированных тестов непригодны в большинстве случаев обычные приемы определения валидности и надежности.

В отечественных исследованиях имеется опыт создания критериально-ориентированных тестов (Е. И. Горбачева, 1985). Кроме того, осуществляется разработка методик, близких критериальноориентированным тестам, но ориентированных не на критерий, а на так называемый социально-психологический норматив или общественно-заданный объективный содержательный эталон (Школьный тест умственного развития). Также исходя из социально-психологического норматива анализируются результаты, полученные с помощью известных психометрических тестов.

1. Постройте схему многообразия типов шкал в психодиагностике.

2. В чем заключается сходство и различие MMPI и 16-факторного опросника Кеттелла?

3. Дайте подробную характеристику основных шкал MMPI.

Тест критериально-ориентированный

Методики психодиагностики, выявляющие, насколько испытуемый владеет знаниями, навыками умственных действий, необходимыми и достаточными для выполнения определенных классов учебных или профессиональных заданий. Критерием служит наличие или отсутствие этих знаний. Тестирование критериально-ориентированное позволяет обнаружить при анализе результатов конкретные недочеты развития умственного как индивидов, так и целых групп, и наметить меры для их устранения.

По своей сущности эти тесты представляют собой инструмент связи обратной в организации процессов обучения. Они конструируются на базе анализа логико-психологической структуры критерия. Между методикой и критерием заранее предусматривается психологическое соответствие, релевантность. Результаты тестирования, проведенного с помощью этих методик, оцениваются не по порядковому месту испытуемого в выборке и не по отношению к статистической норме, а по отношению этих результатов ко всей сумме тестовых задач. Каждая из задач построена из ключевых понятий и терминов критерия, с коими испытуемому предлагается выполнить логические операции. Этим индивидуальные оценки по таким тестам отличаются от оценок, получаемых при традиционном тестировании интеллекта и способностей.

Первые сообщения о тестах критериально-ориентированных появились на Западе в начале 60-х гг. Позднее проблемы тестирования критериально-ориентированного обсуждались во многих монографиях и руководствах, посвященных психодиагностике. Положительно оценивались результаты применения тестов критериально-ориентированных в школе. Западные авторы тестов критериально-ориентированных уделяют недостаточно внимания собственно психологическим аспектам методик. Отечественные психологи, работая в этой области, руководствовались в исследованиях принципом единства формы и содержания мышления. Было показано, что успех индивида в работе с каким-то одним предметным содержанием (например, заданиями по математике) не означает, что он столь же успешно будет работать с другим предметным содержанием (например, заданиями по языку, по биологии). В каждом случае можно обнаружить специфику выделения в предметном содержании признаков, нужных для успешного выполнения задания. При этом успех зависит не только от предшествующего обучения, но и от природных данных индивида.

Словарь практического психолога. - М.: АСТ, Харвест . С. Ю. Головин . 1998 .

Смотреть что такое "тест критериально-ориентированный" в других словарях:

- ((criterion referenced tests). Тест, оценивающий результат индивидуума относительно требуемого уровня владения конкретными навыками или установленных целей обучения … Психология развития. Словарь по книге

Словарь-справочник по педагогической психологии

Тип тестов, предназначенный для определения уровня индивидуальных достижений относительно некоторого критерия на основе логико функционального анализа содержания заданий … Словарь по педагогической психологии

Совокупность знаний, умений и сформированных при их усвоении умственных действий; свободное оперирование ими в процессах мышления, обеспечивающих усвоение в определенном объеме новых знаний и умений. Наличный уровень развития умственного это… …

Большая психологическая энциклопедия

Развитие умственное: уровень совокупность знаний, умений и сформированных при их усвоении умственных действий; свободное оперирование ими в процессах мышления, обеспечивающих усвоение в определенном объеме новых знаний и умений. Наличный… … Большая психологическая энциклопедия

Методы тестирования (testing methods) - Психол. тесты разраб. для столь широкого разнообразия целей, что сами М. т. значительно варьируют от теста к тесту. Существует множество континуумов, по к рым можно классифицировать отдельные тесты. С т. зр. содержания тест может измерять… … Психологическая энциклопедия

Контроль в обучении - абитуриент тест, айзенка тест, анализ ошибок, анализ речи компьютером, анализ урока, анкета, анкетирование, баллы оценочные, валидность теста, векслера тест, гиперкоррекция, грамматико морфологические ошибки, грамматико синтаксические ошибки,… … Новый словарь методических терминов и понятий (теория и практика обучения языкам)

План лекции

1. Понятие КОРТа

2. Этапы разработки КОРТ

3. Практическое использование КОРТ

1. Понятие КОРТа

Критериально-ориентированное тестирование - новое направле­ние в диагностике умственного развития учащихся. Основанные на особых способах конструирования и обработки методики КОРТ приобретают все большее значение в современной школе. Для по­строения заданий в КОРТ используется материал учебных программ --из него отбираются учебные задания, отвечающие определенным требованиям: задания должны репрезентировать внутренне завер­шенную область какого-то учебного предмета. Далее необходимо, чтобы задание могло быть представлено как логическая последова­тельность умственных действий, приводящих к его выполнению. Это задание при его выполнении должно вводить в мышление уча­щихся новые термины, понятия, ситуации и способствовать уста­новлению связей и отношений между ними и тем, что уже было ус­воено ранее. Такие задания называют ключевыми.

Первый - критерий как показатель учебных достижении. Он обобщает ключевые задания из тех разделов учебных программ, изучение которых уже завершено. Сравнивая результаты, получен­ные при испытании методиками КОРТ, с критерием, устанавливают уровень умственного развития отдельного учащегося или группы учащихся. Разумеется, что этот уровень развития относится к той специфической области, которую представляет критерий.

Второй вид - критерий как показатель логико-психологической подготовленности учащегося к выполнению ключевых заданий из состава разделов программы, которые предстоит изучать. Критерий этого вида предназначен для того, чтобы установить, соответствует ли умственное развитие учащегося требованиям, предъявляемым новым программным материалом. И в этом случае результаты испы таний методиками КОРТ при их сравнении с критерием дадут ин­формацию о том, представлены ли в мышлении учащегося необхо­димые для усвоения новых разделов программы умственные дейст­вия, может ли он уверенно использовать, актуализировать их при выполнении новых ключевых заданий.

При анализе этой информации нужно считаться с тем, что уро­вень умственного развития учащихся может выявить недочеты ло­гико-психологической структуры тех разделов учебной программы, которые уже изучены и должны бы были подготовить учащихся к восприятию и усвоению нового материала.

По отношению к отдельным учащимся полученная по результа­там испытаний методиками КОРТ информация после ее психологи­ческого анализа позволяет установить пробелы и недостатки в их умственном развитии и построить систему коррекционных занятий, направленных на его приближение к критерию

2. Этапы разработки КОРТ

Психологическое содержание методик КОРТ определяется не только их особой направленностью - обращенностью теста на кон­троль и оценку умственного развития. Методики КОРТ исследуют умственные действия, опосредующие выполнение учащимися учеб­ных заданий. Указания на то, что это за действия, в методической литературе, как правило, отсутствуют, а если и имеются, то им присущ самый общий характер - это ссылки на необходимость анализа, синтеза, сравнения, обобщения, без определения содержа­тельных показателей их выполнения на материале с конкретной предметной спецификой. Эти действия должны быть выявлены как путем логико-психологического анализа задания, так и в ходе спе­циально организованных наблюдений за учащимися, когда они вы­полняют задание. Психологическое содержание закладывается в тест и с помощью методических приемов, связанных с отбором со­держания тестовых заданий, а также анализом способов ориентации в предметном материале, каждый из которых обусловлен «субъективной логикой» учащихся, овладевающих требуемыми умственны­ми действиями.

1. Подбор ключевых заданий. Конструируя методику КОРТ, автор всегда исходит из того, что представленное в тесте за­дание является ключевым. В данном случае предполагалось, что умение составлять уравнения является таковым в ряду математиче­ских знаний и умений. В 5-6 классах это умение только формиру­ется, здесь закладывается и его психологическое содержание, т.е. умственные действия, обусловливающие функционирование умения. На дальнейших этапах роль этого умения возрастает.

2. Спецификация теста. Все это учитывается в ходе составления спецификации теста. Описывая критерий, на который данный тест ориентирован, специ­фикация вместе с тем определяет границы той области содержания, к которой тест относится. Для того чтобы показать, как проводится спецификация, обра­тимся к уже имеющемуся опыту разработки методик КОРТ.

Подготавливая спецификацию теста, прежде всего, нужно рас­крыть критериальное значение исследуемого содержания. Для ука­занного теста оно таково: специфика изучения математики тесно связана с актуализацией умственных действий, формированием приемов мышления школьников. Эти приемы выступают как усло­вие исследования и решения тестовых задач. В данном случае в спецификации отмечается, что существенным в решении текстовых задач является построение последовательности моделей задачи, ко­нечным звеном в которой является математическая модель (уравнение). Моделирование отношений между величинами являет­ся конституирующей характеристикой математического мышления, а знаковые модели и их трансформации выступают в качестве со­держательной основы умственных действий. Ориентация на знако­вую модель, которая является результатом мыслительного преобра­зования текстовой математической задачи, выступает, таким обра­зом, как критерий формирования умственных действий. Он и закла­дывается в данный тест. Составление уравнения по условиям тек­стовых задач предполагает, что учащийся владеет такими умствен­ными действиями:

1) анализирует ситуацию задачи, т.е. выявляет условие, существенное для составления уравнения по тексту задачи (основание для уравнивания);

2)устанавливает тождество между знаковыми моделями разной степени обобщенности и текстом-описанием

3) разбивает задачи на классы по существенному основанию: типу отношений между величинами;

4) усматривает подобие в задачах исходя из аналогичного характера моделирования зависимости между величинами.

Выявленная совокупность умственных действий состав­ляет основу конструирования методики КОРТ. Сформированность каждого действия проверяется отдельным субтестом. В тесте, о котором идет речь, таких субтестов четыре (по чис­лу обозначенных действий): «Выделение существенного», «Четвертый лишний», «Найди подобную», «Установление тождества»

Разработчик теста должен быть уверен, что в тест войдет мате­риал, который репрезентативен для исследуемого учебного содер­жания. С этой целью была произведена каталогизация тестовых за­дач. Она включала в себя сведения о сюжетах, особенностях задач, их предметном содержании (т.е. какие величины представлены в задаче: взаимосвязанные или разные значения одной и той же ве­личины), типах знаковой модели отношений между величинами, входящими в условие задачи. Далее определялся примерный удель­ный вес каждой задачи, т.е. то место, которое отводится задаче данного типа в школьном учебнике математики. Таким образом, в задания субтестов были включены все основные типы задач, пред­ставленные в учебной программе. При разработке методики КОРТ тексты отобранных задач были подвергнуты некоторым изменениям, связанным с включением в условия стимульного материала. Напри­мер, для заданий методик КОРТ стимульным материалом явились такие элементы содержания и структуры задачи, которые могли бы побудить учащихся использовать сложившиеся у них способы ори­ентации в материале - субъективные «логики». В условия задач вводились одинаковые числовые данные, сходная лексика и т.д. Все эти несущественные, внешние по отношению к собственно матема­тическому содержанию задач данные осуществляли функцию «шума», предназначенного «маскировать» сигналы, т.е. отношения между вели­чинами, фиксируемые знаковой моделью определенного вида.

Внесение в задания стимульного материала позволяет опреде­лить, насколько соответствует степень сформированности умствен­ного действия установленному критерию. Если ученик так и не ов­ладел требуемым умственным действием, он не сумеет преодолеть неадекватные способы ориентации в учебном материале. Все это ясно продемонстрирует методика КОРТ.

Независимо от того, на каком предметном содержании разраба­тываются методики КОРТ или какие частные принципы положены воснову их конструирования, спецификация теста всегда включает в себя краткое описание той области содержания, для изучения кото­рой предназначен тест, образцы задания, стимулы-признаки крите­рия, типичные ответы, которые могут дать испытуемые в ситуации тестирования. Спецификация теста задает основу для установления содержательного соответствия тестовых заданий и реальных учебных задач- И не важно, подробной или краткой будет эта спецификация, ее основное значение заключается в том, что она позволяла в со­держательном и операциональном планах оценить, что действитель­но означает выполнение теста по отношению к критериальной об­ласти поведения.

3. Когда спецификация составлена, подготовленные мето­дики КОРТ подлежат проверке.

Прежде всего разработчику теста необходимо убедиться, что его предварительный анализ умственных действий, опосредующих вы­полнение учебных заданий, был верен и каждое из умственных дей­ствий имеет свое собственное логическое содержание. Эта задача решается путем составления результатов по отдельным субтестам КОРТ 1 . Если каждое из анализируемых умственных действий играет свою особую роль в опосредовании умения, то вряд ли можно будет ожидать, что между успешностью выполнения отдельных субтестов будет выявлена тесная связь.

Модель умственных действий, представленная в методиках КОРТ, должна быть исследована с точки зрения ее содержательного соответствия реальному выполнению учащимися учебных заданий. Это достигается путем сопоставления результатов КОРТ и предста­вительных выборок учебных контрольных заданий (сокращенно КЗ). Это не исключает сопоставления данных тестирования с учебной успеваемостью, с результатами экзаменационных проверок и т.д.

Если анализ логического состава умения верен и владение сово­купностью умственных действий, актуализируемых методикой КОРТ, действительно связано с реальным выполнением учебных за­даний, то следует ожидать, что учащиеся, которые владеют всеми умственными действиями по методике КОРТ, успешно выполнят и КЗ. Соответственно те учащиеся, которые не владеют ни одним из умственных действий, заданных КОРТ, с ними не справятся. Про­верка этого предположения осуществляется путем установления зависимости между выполнением методики КОРТ и КЗ

Сопоставление методик КОРТ и КЗ не может ограничиваться рассмотрением коэффициентов корреляции, поскольку этот коэф­фициент не говорит о причинах совпадений или расхождений. Воз­никает необходимость качественного анализа рассогласований. Это предполагает обращение к характерным особенностям выполнения методик КОРТ и КЗ отдельными учащимися и их группами.

Специальному анализу подлежат также данные учащихся, кото­рые, владея лишь некоторыми из представленных в методиках КОРТ умственными действиями, все же выполняют КЗ с высоким результатом. Будет правомерным предположить, что успех выпол­нения заданий (КЗ) здесь может непосредственно зависеть от того, удается ли им заменить то умственное действие, которым они не владеют, другими действиями или их сочетаниями. Компенсация умственного действия в данном случае связана с переформулирова­нием условия задания, с перестройкой умственных действий для решения задания.

Анализ рассогласований в выполнении методик КОРТ и КЗ по­зволяет исследователю выявить присущие учащимся способы вы­полнения заданий и оценить, насколько эти способы отвечают зада­чам умственного развития в области математики.

Корт своими содержательными и структурными характеристика­ми соответствует конкретной ситуации обучения и поэтому может служить оперативным средством контроля и оценки результатов обучения. Разработка и исследование таких тестов всегда связаны с решением актуальных учебно-образовательных задач. С помощью методик КОРТ учителя и психологи могут выявить объективные по­казатели умственного развития в отношении тех разделов обучения, которые соотносимы с ключевыми, ведущими требованиями школь­ной программы. Анализ выполнения теста позволяет локализовать и раскрыть недостатки и пробелы в логико-психологической и учеб­ной подготовке школьников, в их умственном развитии, определить направление и содержание коррекционных воздействий. Критери­ально-ориентированное тестирование может выступить как один из компонентов обратной связи в функционировании системы образо­вания. Применение методик КОРТ позволяет выявить, соответству­ют ли осуществляемые учащимися умственные действия логике предметного материала, складывается ли у учащихся предметная ориентация мышления. И не случайно первый опыт разработки ме­тодик КОРТ был вызван необходимостью углубленного психологи­ческого анализа трудностей и недостатков умственного развития учащихся, связанных с усвоением базовых учебных умений и прие­мов мыслительной деятельности в конкретных областях предметно­го содержания.

3. Практическое применение КОРТ

Современная психологическая диагностика располагает достаточ­но большим аресналом методик для оценки сформированности ма­тематического мышления, о чем шла речь в предыдущем параграфе, а также лингвистического и технического мышления. Это связано с достаточной исследованностью проблемы содержания и структуры данных видов мышления. Отсутствие до недавнего времени методик, посвященных диагно­стике сформированности естественнонаучного мышления, было свя­зано, как отмечается в литературе, с неразработанностью специфи­ки этой проблемы.

В связи с этим для диагностики сформиро­ванности процесса теоретического естественнонаучного мышления должны использоваться задания качественного характера, решение которых невозможно подвести под жесткий алгоритм. Качествен­ными заданиями в естествознании (в отличие от расчетных, экспе­риментальных и графических задач) называются задания, которые решаются логическим способом. При решении данного типа заданий не требуется никаких вычислений, определяются только качествен­ные зависимости между объектами. Существенно и то, что качест­венная форма проблемной ситуации в наибольшей степени соответ­ствует реальной ситуации научного поиска. Дифференциация стадий сформированности естественнонаучного мышления должна осуществляться в зависимости от сформирован­ности действия теоретического обобщения. Основное содержание теоретического обобщения определяет процессы синтеза, осуществ­ляемые как переход мысли от известной закономерности к приме­нению ее в конкретных условиях.

Структура теста должна быть связана с диагностикой развития естественнонаучного мышления как процесса. При этом если диаг­ностика процесса мышления на микроуровне направлена на иссле­дование сформированности отдельных нормативных составляющих мыслительных процессов (прежде всего анализа и синтеза) и выяв­ление тем самым реального процесса мышления в его индивидуаль­ном варианте, то диагностика мыслительного процесса на макро­уровне предполагает анализ сформированности его отдельных ста­дий и определения, таким образом, индивидуальных моделей разви­тия мышления. И та и другая диагностика при этом связаны с оценкой промежуточных результатов в развитии мышления, но не­посредственно интегрированных с процессом мышления и вследст­вие этого характеризующих его.

В рамках критериальной диагностики разработаны тесты для ди­агностики естественнонаучного мышления (Г.А. Берулава, 1992). Тесты естественнонаучного мышления для учащихся 7 (ТЕМ-7) и 8 класса (ТЕМ-8) включают в себя систему заданий, являющихся мо­делью когнитивной организации предметной области естествозна­ния. Каждый тест содержит родовые задачи, каждой из которых соответствует некоторый класс индивидуальных задач.

В тесты включены лишь задачи качественного характера. В есте­ственнонаучных предметах процент задач, решаемых по жесткому алгоритму, очень незначителен. Это связано с тем, что взаимодей­ствие объектов, лежащих в основе любой естественнонаучной зада­чи, в значительной степени определяется условиями взаимодейст­вия и индивидуальными свойствами объектов взаимодействия, в от­личие, например, от математики, где данные факторы не имеют значения.

При определении содержательной валидности тест должен ори­ентироваться на внешние социально обусловленные и педагогически адаптированные требования. Однако сам теоретический критерий валидности должен быть психологическим. При этом существенно, что он должен быть различным для дифференцированных моделей обучения, реализуемых в рамках школ различных типов.

Разработанные тесты являются нормативными для учащихся школ с углубленным изучением естественнонаучных предметов. Все задания носят качественный характер. При этом сюжетная форма заданий, без наличия в их условиях каких-либо абстрактных симво­лов и знаков, не позволяет ассоциировать их с какой-либо абст­рактной теорией.

Каждый тест для диагностики сформированности у уча­щихся естественнонаучного мышления содержит 30 задач, в основе которых лежит 5 естественнонаучных законов, яв­ляющихся для усвоения учебного материала в 7 и 8 классах основополагающими. Каждому закону соответствуют шесть задач, три из которых составлены на материале физики, в рамках которого изучались данные законы, и три - на межпредметном ма­териале (биологии и физики в 7 классе, биологии, физики и химии - в 8). Каждый тест содержит два субтеста, один из которых диагно: стирует сформированность дифференциально-синтетической стадии естественнонаучного мышления, а второй - синтетической. Приводим примеры заданий из дифференциально-синтетического субтеста теста естественнонаучного мышления для 7 класса

Задание. Почему нельзя тушить горящий керосин, заливая его водой?

а) вода будет испаряться с поверхности горящего керосина; б) вода будет смешиваться с керосином вследствие явления диффузии; в) плотность воды больше плотности керосина, поэтому вода будет опускаться вниз, а керосин будет всплывать наверх и не закроет доступ воздуха, необходимого для горения керосина.

Варианты ответов для задания субтеста (их по три в каждой за­даче) позволяют диагностировать преимущественный способ мыш­ления учащегося: эмпирически-бытовой (ему в данном задании со­ответствует 1-й вариант ответа), эмпирически-научный (ему соот­ветствует 2-й вариант ответа) или дифференциально-синтетический (3-й вариант ответа), который характеризует уже теоретический тип мышления.

Аналогичную структуру имеют задания синтетического субтеста.

Задание. Почему кит, оказавшись на мели, погибает?

а) сила трения, имеющаяся на твердой почве, мешает ему доб­раться до воды; б) кит задыхается от воздуха; в) вследствие закона Архимеда вес кита оказывается незначительным; на суше выталки­вающая сила отсутствует, и кит погибает под действием собствен­ного веса.

В основе решения данной задачи лежит закон Архимеда, в то же время "она построена на нехарактерном для курса физики биологиче­ском материале. Эмпирически-бытовому способу мышления в данном случае соответствует 2-й вариант ответа, эмпирически-научному - 1-й вариант, теоретическому (дифференциально-синтетическому) способу мышления соответствует 3-й вариант ответа.

При разработке структуры теста естественнонаучного мышления для 8 класса (ТЕМ-8) был использован тот же принцип построения, но законы, лежащие в его основе, являются уже репрезентативны­ми для естественнонаучного познания учащихся 8 класса.

Задания дифференциально-синтетического субтеста ТЕМ-8 имеют структуру, аналогичную заданиям дифференциально-синтетического субтеста ТЕМ-7

Задание. Почему притертую стеклянную пробку легко вынуть из флакона, если потереть его горлышко сухой тряпкой или бумагой?

а) при натирании горлышка бутылки совершается механическая работа, благодаря чему увеличивается внутренняя энергия горлыш­ка, оно нагревается и расширяется; б) из-за колебаний горлышка бутылки пробка расшатывается, и ее легче вынуть из бутылки; в) в результате силы трения горлышко расшатывается, и поэтому проб­ку легче вынуть из бутылки.

Вариант ответа «б» при этом соответствует эмпирически-бытовому способу мышления, «в» - эмпирически-научному. Пер­вый вариант ответа характеризует теоретический способ мышления (в данном случае его дифференциально-синтетическую стадию). В основе решения предложенной задачи лежит закон сохранения энергии. В рамках дифференциально-синтетического субтеста ему соответствуют две задачи, построенные на характерном для курса физики материале. В синтетическом субтесте данный закон приме­няется в условиях, адекватных материалу, используемому в курсах биологии и химии.

Задание. Почему пораженные током живые организмы погибают?

а) потому что ток убивает клетки живых организмов; б) при про­хождении тока по клеткам живого организма электрическая энергия превращается во внутреннюю энергию, вследствие чего нагревается плазма клеток; в) потому что при прохождении тока в клетках жи­вых организмов происходят необратимые химические реакции.

С использованием предметного материала курса химии закон со­хранения и превращения энергии реализован, например, в задаче следующего содержания.

Задание. Почему выделяется теплота при взаимодействии цинка с разбавленной серной кислотой?

а) потому что у серной кислоты повышена температура, и она сжигает все вещества; б) в процессе химической реакции с серной кислотой уменьшается внутренняя энергия системы, вследствие че­го выделяется теплота; в) выделение теплоты в процессе указанной реакции происходит в результате взаимодействия электрических за­рядов цинка и серной кислоты.

Структура теста позволяет оценить сформированность процесса теоретического обобщения, понимаемого как восхождение от абст­рактного к конкретному. Это обеспечивается тем, что каждому ес­тественнонаучному закону соответствует серия задач одинаковой объективной сложности, в которых варьируются лишь конкретные условия применения закона. Сложность заданий определялась по объективным критериям экспертным путем и с помощью алгоритмического метода, при этом учитывалось то, что жесткая статистическая оценка трудности за­дач для критериальных исследований неприемлема. Тесты прошли формальную проверку на надежность и валидность.

Диагностика сформированное™ естественнонаучного мышления с помощью разработанных тестов создает возможность не только опре­делить тип естественнонаучного мышления (эмпирический или теоре­тический), но и стадию их сформированности. В рамках эмпирического типа - это эмпирически-бытовая и эмпирически-научная стадии.

Каждому естественнонаучному закону соответствует серия зада­ний одинакового уровня сложности, в которых варьируют лишь конкретные условия применения закона. Разработанный тест является групповым. Время для решения всего теста - 40-50 минут (1 урок). Тест предъявляется всем учащимся класса одновременно, при этом сидящие рядом ученики делают разные субтесты. Каждое верно выполненное задание оценива­ется одним баллом.

Качественная обработка результатов позволяет также сделать вывод, какие типы связей (законов) вызывают затруднение у уча­щихся, и произвести в этом направлении целенаправленную кор­рекцию.

Проверка тестов, диагностирующих некоторые специальные виды мышления учащихся (математическое и естественнонаучное), пока­зала, что они обладают высокой практической эффективностью. В этой главе описаны два варианта разработки методик критериально-ориентированного тестирования. В том и другом варианте диагно­стирование ставило своей целью выявить, насколько умственное развитие учащихся приближается к тем требованиям, которые предъявляются учебными программами. В диагностировании естест­веннонаучного мышления тестовые задания позволяли дифференци­ровать разные стадии развития этого вида мышления