Этапы создания психологического теста. Основные этапы конструирования теста
Процесс создания теста, его научного обоснования, переработки и улучшения можно разбить на ряд этапов.
1.Определение цели тестирования, выбор вида теста и подхода к его созданию.
3.Определение структуры теста и стратегии расположения заданий.
4.Разработка спецификации теста, априорный выбор длины теста и времени его выполнения.
5.Создание предтестовых заданий.
6.Отбор заданий в тест и их ранжирование согласно выбранной стратегии предъявления на основании априорных авторских оценок трудности заданий.
7.Экспертиза содержания предтестовых заданий и теста.
8.Экспертиза формы предтестовых заданий.
9.Переработка содержания и формы заданий по результатам экспертизы.
10.Разработка методики апробационного тестирования.
11.Разработка инструкций для учеников и для преподавателей, проводящих апробацию теста.
12.Проведение апробационного тестирования.
13.Сбор эмпирических результатов.
14.Статистическая обработка результатов выполнения теста.
15.Интерпретация результатов обработки в целях улучшения качества теста. Проверка соответствия характеристик теста научно обоснованным критериям качества.
16.Коррекция содержания и формы заданий на основании данных предыдущего этапа. Чистка теста и добавление новых заданий для оптимизации диапазона значений параметра трудности и улучшения системообразующих свойств заданий теста. Оптимизация длины теста и времени его выполнения на основании апостериорных оценок характеристик теста. Оптимизация порядка расположения заданий в тесте.
17.Повторение этапа апробации для выполнения очередных шагов по повышению качества теста.
18.Интерпретация данных обработки, установление норм теста и создание шкалы для оценки результатов испытуемых.
Возникает своеобразный цикл, так как после чистки теста разработчику приходится возвращаться к этапу сбора эмпирических данных, причем, как правило, не один раз, а два, три и более. В определенном смысле этот цикл бесконечен, но не потому, что все задания плохи и разработчик не имеет достаточного опыта создания теста. Просто процесс конструирования теста довольно труден, поскольку необходим всесторонний подход к оценкам качества теста и характеристик тестовых заданий, к проверке их системообразующих свойств.
К тому же можно считать, что задача оптимального подбора состава теста не имеет единственного решения, так как не все здесь определяется качеством тестового материала, а многое еще зависит от уровня подготовки группы учеников. Задания, хорошо работающие на одной выборке учеников, могут оказаться совершенно бесполезными на другой, так как они будут или слишком легкими, или слишком трудными и их не выполнит правильно ни один ученик группы.
Успех создания теста во многом зависит от высокого качества начального тестового материала, которое обеспечивается правильным отбором проверяемого содержания и умением разработчика корректно отобразить его в заданиях теста. Крайне важен этап обработки эмпирических результатов тестирования, для выполнения которого необходимы специальные программные средства для профессиональной разработки тестов .
Конечно, далеко не всегда в процессе создания тестов необходимо достижение профессионального уровня качества, особенно если отвлечься от целей приема абитуриентов и аттестации выпускников. В повседневной деятельности педагога необходимы тесты разного, иногда невысокого качества, ориентированные на задачи текущего контроля. Выполнение последней задачи вполне по силам отдельному педагогу или группе педагогов. Однако и в этом случае можно самостоятельно сделать ряд расчетов, основанных на минимальном математическом аппарате и позволяющих значительно продвинуться от предтестовых заданий к настоящему тесту.
Выводы
1.Теория педагогических измерений носит междисциплинарный характер, объединяя достижения педагогики и психологии с достижениями математики, статистики и теории измерений.
2.Разработка понятийного аппарата теории педагогических измерений имеет важное значение для повышения качества тестов.
3. При формулировании понятийного аппарата необходимо классифицировать виды тестов, чтобы привести вводимые определения в соответствие с различными видами тестов и целями их создания. .
4. Педагогические тесты можно использовать для входного, текущего и итогового контроля при оценке результатов осуществленного учебного процесса.
5. Педагогические тесты разрабатываются в рамках двух подходов, позволяющих по-разному интерпретировать результаты их выполнения.
6. Наблюдаемые результаты выполнения теста получаются в результате взаимодействия множества испытуемых со множеством заданий теста.
7. Профессионально разработанные тесты обеспечивают представление об истинных баллах учащихся, определяемых с помощью специальных методов по наблюдаемым результатам выполнения теста.
8. Процесс конструирования теста включает ряд этапов, выполнение которых обязательно. Исключение любого этапа ведет к неизбежной потере качества теста.
ВОПРОСЫ И ЗАДАНИЯ
1.Каковы функции входного тестирования? Есть ли смысл разрабатывать входные тесты в школе?
2.Каковы цели разработки формирующих тестов? Есть ли различия между формирующими тестами и традиционными средствами текущего контроля?
3.Какова цель итогового тестирования?
4.В рамках какого подхода, по вашему мнению, следует разрабатывать тесты для проведения выпускных экзаменов в школе?
5.Правильно ли в вашей школе оценивают эффективность работы преподавателей?
6.Какой процесс называется стандартизацией теста?
7.Перечислите факторы, влияющие на устойчивость норм теста.
8.Какие тесты, по вашему мнению, необходимо разрабатывать в первую очередь для повышения эффективности учебного процесса в школе?
9.Сформулируйте определения предтестового задания, тестового задания, педагогического теста. Сравните свой ответ с содержанием соответствующих разделов пособия.
10.В чем проявляются преимущества предтестового задания по сравнению с традиционными контрольными заданиями?
11.Каковы общие требования к предтестовым заданиям? Сравните свой ответе предлагаемым в пособии перечнем общих требований.
12.Охарактеризуйте факторы, снижающие точность тестовых измерений.
13.Можно ли с помощью традиционных средств контроля получить представление об истинных баллах учеников?
14.Три ученика отвечали на 6 заданий теста, ранжированных по нарастанию трудности. По результатам ответов получились профили:
первый: 111000; второй: 101010; третий: 000111.
Кто, по вашему мнению, лучше усвоил содержание проверяемого курса? Сколько ошибок в профиле ответов каждого из трех учеников? У кого из трех учеников будет выше истинный балл? Правомерна ли постановка последнего вопроса по отношению к результатам третьего ученика?
15. Перечислите основные этапы разработки теста.
Целеполагание на этапе планирования
При создании теста внимание разработчика прежде всего привлекают вопросы отбора содержания, которое можно определить как оптимальное отображение содержания учебной дисциплины в системе тестовых заданий. Требование оптимальности предполагает использование определенной методики отбора, включающей вопросы целеполагания, планирования и оценки качества содержания теста.
Этап целеполагания является наиболее трудным и вместе с тем наиболее важным: от результатов его выполнения в первую очередь зависит качество содержания теста. В процессе целеполагания преподавателю необходимо решить вопрос о том, какие результаты учеников он хочет оценить с помощью теста. Ответ казалось бы прост, по крайней мере, он кажется таким тем, кто неоднократно проверяет знания учеников на уроках традиционными средствами. Однако наделе эта видимая простота зачастую оборачивается низким качеством результатов контроля, когда разные по подготовке ученики получают одинаковые оценки либо преподаватель приходит к неправильному выводу о достижении целей обучения, в то время как ученики не получили самых важных знаний или не научились их применять.
Основания для ошибок в выводах педагога далеко не всегда связаны с технологическими недостатками традиционных средств контроля. Иногда они обусловлены недоработками педагога на этапе целеполагания, когда центр тяжести проверки смещается на второстепенные цели обучения, а иногда этап целеполагания отсутствует вовсе, поскольку часть педагогов уверена в непогрешимости; своего опыта и интуиции, особенно при условии многолетней работы в школе. Однако никакие даже очень совершенные методы контроля и никакой опыт не дадут оснований для надежных выводов о достижении целей обучения до тех пор, пока нет уверенности в правильной постановке целей контроля и в их правильном, несмещенном отображении в содержании теста.
В отличие от отбора содержания традиционных средств контроля, который производится в основном интуитивно на основании практического опыта педагога, отбор содержания теста имеет четкую целевую направленность, а это при условии правильной постановки целей является серьезной заявкой на его высокое качество. Образно говоря, при создании теста в сознании разработчика содержание контроля преломляется сквозь призму поставленных целей измерения, и если они сформулированы правильно, то есть большая уверенность в том, что тест состоится.
Правда, сама по себе правильная постановка целей создания теста довольно непроста, к тому же положение осложняется рядом обстоятельств. С одной стороны, различные школы в современной педагогике при формулировке целей используют разные системы понятий и представлений, часто плохо сочетающиеся между собой. С другой стороны, использование отличающихся слов и выражений естественного языка в качестве терминов порождает изрядную путаницу, нередко контекст ряда педагогических подходов недостаточен для осуществления терминообразующей функции.
Вместе с тем в течение целого ряда лет особой потребности в формировании единых подходов к формулировке целей просто не возникало. Существовавшая в нашей стране на протяжении десятилетий преимущественная ориентация на традиционные средства контроля снимала потребность в этом процессе, так как расплывчатость и неопределенность действующих образовательных целей не приходила в рассогласование с требованиями практики, далекой от проблем создания объективных средств измерения. И наконец, нередко положение осложняли сами исследователи, которые, образно говоря, прорицали, но не слышали друг друга. В целом это привело к тому, что до сих пор не выработаны общие правила выбора оснований для классификации целей, не найдены разделяемые всеми принципы для количественной оценки степени их достижения.
Таким образом, сложившиеся на сегодняшний день представления о наиболее общих целях контроля не позволяют непосредственно перейти к разработке средств измерения. Для формулировок образовательных целей характерны излишняя общность, расплывчатость, многообразие и неопределенность. Поэтому для создания средств измерения в первую очередь необходима предварительная операционализация целей.
Процесс операционализации заключается в придании содержанию и форме представления целей характеристик, позволяющих отобразить цели в содержании стандартизованных средств измерения . Идея операционализации очень близка отдельным положениям работы М.В. Кларина , где вместо слова «операционализация»"используется иной, довольно удачный термин «конкретизация». Дело разумеется не в термине, а в сути предлагаемого процесса.
Читайте также:
|
Создание психодиагностической методики – сложный, многошаговый процесс. Не претендуя в рамках данной статьи на полноту изложения этого вопроса, выделю основные этапы с кратким описанием их содержания. Сразу нужно заметить, что объектом внимания будет диагностическая методика (тест-опросник), так как для другого класса методик – исследовательских, проективных, клинических – существуют другие требования по созданию и апробации.
Создание психодиагностической методики не сводится только к проверке отдельных психометрических свойств – репрезентативности, надежности, валидности, достоверности и т.д. Первичная работа в этом направлении начинается с глубокой теоретической проработки оснований предмета, с выяснения методологических, концептуальных подходов к его исследованию. Прежде чем разрабатывать процедуру измерения, необходимо создать концепцию измеряемого психического свойства , построить его модель. Именно глубокая теоретическая подготовка является условием успешной работы по созданию методики, отвечающей всем критериям качества. Можно сказать, что прежде чем перейти к технологии разработки методики необходимо провести фундаментальное теоретическое исследование.
Если следовать логике исследования, то начинать его необходимо с определения проблемы . Это и будет первым этапом по созданию методики. Проблема – это задача, не имеющая решения, либо предполагающая неоднозначные решения. Проблемы могут порождаться как объективными условиями, реальной ситуацией, так и быть результатом собственной активности исследователя. Проблемы диагностики являются, как правило, прикладными и ориентированы на практическое решение возникших в реальной социальной ситуации задач. Исследователю необходимо помнить, что не все проблемы подлежат решению. Кроме реальных проблем, являющихся объектом непосредственного приложения усилий исследователя, существует категория проблем, неразрешимых средствами современной науки, а также «псевдопроблемы». Как уже было отмечено, проблемы диагностики – это реальные задачи, требующие своего прикладного решения. Скажем, в качестве примера можно привести проблему школьной тревожности. Данная проблема – пример уже операционализированной проблемы, переведенной, оформленной в терминах определенной научной отрасли. Иногда исследователю еще предстоит эта задача.
Следующим этапом по созданию психодиагностической методики будет определение предмета диагностики . Предмет имплицитно присутствует в операционализированной проблеме. Предмет – это то, что станет непосредственным объектом измерения, то, что будет измерять созданная методика. Предмет традиционно определяется как зафиксированные в опыте стороны, свойства и отношения объекта, исследуемые с определенной целью в данных условиях. Предмет существует в виде понятия. В нашем случае предметом диагностики будет феномен тревожности, представленный психологическим понятием «тревожность».
На следующем этапе необходимо определить границы понятия (этап уточнения предмета). Данная процедура осуществляется через проведение дифференциального анализа рассматриваемого понятия с близкими и противоположными по значению понятиями. Одним из способов определения понятия является принятое в логике сравнение с помощью кругов Эйлера – изображений посредством кругов отношений между объемами понятий. Круг, в данной процедуре, изображает объем конкретного понятия. В нашем случае, кроме понятий тревога и тревожность, необходимо рассматривать такие понятия, как страх, беспокойство и т.д.
Следующий шаг по конструированию методики связан с уточнением феноменального поля понятия . Для этого необходимо как можно более подробно описать тот феномен, который представлен в понятии, создать по возможности полную картину данного феномена. Как правило, это производится через операциональное определение понятия. Операциональное определение – это подробное указание операций, необходимых для представления и измерения понятия. В психологии часто используются абстрактные понятия, такие как интеллект, самооценка, память, научение, креативность и т.д. Необходимо их операционализировать, то есть описать все возможные объективные способы проявления рассматриваемого понятия. В объективной диагностике, какой является тест-опросник, используются лишь те способы проявления понятия, которые можно реально фиксировать как минимум в наблюдении с помощью наших органов чувств.
На следующем этапе из выделенных объективных способов проявления понятия необходимо отобрать наиболее значимые, которые будут выполнять роль критериев для распознавания (диагностики) предмета . Критерий (средство для суждения) – признак, на основании которого производится оценка, определение или классификация чего-либо, мерило оценки. Критерии измеряемого понятия должны представлять собой существенные, надежные и объективные признаки его проявления. Именно они найдут свое отражение в вопросах либо утверждениях, которые составят содержание стимульного материала методики. Таким образом, данный этап будет связан с выбором критериев, по которым будет диагностироваться предмет.
На следующем этапе создания методики производится выбор формы методики . Форма методики определяется спецификой предмета диагностики и исследовательскими целями. Методика может быть сконструирована в форме тест-опросника (как в нашем случае), проективной методики, клинической методики и др. Каждая из представленных форм имеет свою специфику, отличительные требования по критериям качества. На этом же этапе происходит выбор стимульного материала. В нашем случае стимульный материал может быть представлен в форме вопросов либо утверждений. Утверждения, в свою очередь, могут быть личные и безличные.
После определения формы стимульного материала производится его подбор. Выбор содержания стимульного материала осуществляется из того феноменального поля понятия, которое явилось результатом предшествующей работы с учетом выделенных критериев предмета диагностики. Качество отдельных заданий (вопросов, утверждений) является определяющим для всего тест-опросника, поэтому при разработке заданий теста необходимо учитывать наиболее часто встречающиеся проблемы, которые могут привести к его низкой валидности.
При отборе отдельных заданий (вопросов, утверждений) необходимо определить индекс эффективности каждого из них. Для этого можно прибегнуть к методу экспертов. Суть данного метода заключается в том, что нескольким специалистам в данной предметной области (5–7 человек) предлагают оценить список предполагаемых заданий из стимульного материала на предмет их валидности, то есть адекватности измеряемому предмету по рейтинговой шкале (3-, 5-, 7-бальной). Те из заданий, которые получат высокие оценки у всех или большинства экспертов будут обладать экспертной валидностью и их можно рекомендовать для включения в опросник. В качестве еще одной из стратегий отбора стимульного материала можно воспользоваться пилотажным исследованием. Проведение пилотажного исследования предполагает выполнение заданий теста лицами, которые имеют сходные особенности с теми, для диагностики которых он разрабатывается. Анализ полученных данных позволит разработчику теста отобрать лучшие задания для окончательной версии опросника. На репрезентативной выборке проводится пробное тестирование. Минимальный объем выборки должен быть в два раза больше, чем количество заданий. Далее рассматривается каждое из заданий стимульного материала с точки зрения того, как на него отвечали все испытуемые. При отборе разработчики руководствуются следующим правилом: не проходят те из заданий (вопросов, утверждений), которые получают у большинства испытуемых однозначные оценки. К примеру, если все испытуемые ответили «да» на какой-то из вопросов, то его не включают в будущий опросник, так как он не отражает индивидуальные особенности испытуемого, а направлен на некое общее для всех свойство. Индекс эффективности для каждого задания должен располагаться в интервале от 0,25 до 0,75, приближаясь в среднем к 0,5 для всего опросника. Кроме индекса эффективности, необходимо также определять дискриминативность задания – проверка того, измеряют ли отдельные задания (вопросы, утверждения) те же самые свойства, что и другие. Для определения дискриминативности заданий используется коэффициент корреляции каждого задания с общим баллом всего теста. Чем выше коэффициент корреляции, тем выше дискриминативность задания, тем оно лучше. Минимальный коэффициент корреляции должен составлять 0,2. Для расчета этого показателя чаще всего применяется коэффициент произведения моментов Пирсона.
Важным моментом в разработке стимульного материала является выбор формы вопросов .
После того как задания для тест-опросника отобраны, необходимо позаботиться о его достоверности . Данное свойство методики (в случае опросников) представляется достаточно важным и является одним из критериев ее качества. Чаще всего достоверность обеспечивается благодаря включению в содержание стимульного материала корректурной шкалы (шкалы лжи).
Важным этапом в создании психодиагностической методики является разработка инструкции . Инструкция составляется в письменной форме, так как на устную инструкцию влияют паралингвистические компоненты исследователя: мимика, жесты, интонации, паузы и т.д. Кроме того, устная инструкция забывается, к письменной же испытуемый может, в случае надобности, возвращаться по ходу выполнения заданий теста. Инструкция должна быть простой и понятной испытуемому, не должна содержать в себе специальных профессиональных терминов, непонятных тестируемому, неоднозначно трактуемых слов и выражений. В ней должно быть указано, как выбирать ответ и каким образом отмечать его в опроснике. В инструкции следует выделить ту информацию, которая может способствовать эффективной работе испытуемого, например о соблюдении конфиденциальности исследования. Основные функции, которые должна выполнять инструкция: информирующая и мотивирующая.
Разработкой инструкции завершается этап создания теста. Следующий этап будет посвящен его проверке соответствию критериям качества, а также его стандартизации и адаптации.
Основными критериями качества диагностической методики считаются валидность и надежность . Названные свойства теста являются необходимым атрибутом диагностического теста. Методика, которая не прошла испытания на валидность и надежность либо которая не отвечает требованиям по этим качествам, не может применяться как диагностический инструмент, хотя при этом ее можно использовать для исследовательских целей.
Заключительным этапом в разработке психодиагностической методики является ее стандартизация и адаптация . Диагностическая методика отличается от исследовательской методики тем, что она стандартизирована. Стандартизация методики включает в себя два этапа:
1. Выработка единых требований к процедуре тестирования. Этот этап включает в себя унификацию способов регистрации результатов, условий инструкций, бланков исследования и проведения тестирования.
2. Определение единого критерия для оценки результатов. На этом этапе производится определение тестовых норм.
Применение тестовых норм в психодиагностике основывается на переводе тестовых баллов из «сырой шкалы» в стандартную шкалу. Эта процедура называется стандартизацией тестового балла . Норма теста – это средний уровень выраженности исследуемого качества, установленный на большой выборке людей.
Для тест-опросников разрабатываются статистические тестовые нормы. Для их вычисления обращаются к методам математической статистики. Нормы для каждой группы должны быть представлены в средних величинах и показателе среднего отклонения. Результатом стандартизации теста является создание конверсионной таблицы для перевода «сырых» баллов в стандартные по заданной шкале. В ней приводится полный перечень соответствия между интервалами сырой шкалы и интервалами шкалы стандартной. Норма теста должна пересматриваться раз в 5 лет. В описании теста для каждой включенной в него нормы обязательно должно быть указано: где, когда, как и на ком она была установлена.
В заключение хочется сказать, что в конструировании тестов нельзя ограничиваться математическими расчетами. Математические модели в психодиагностике не смогут заменить разработку теоретических конструктов, фундаментальных принципов исследования. Без полного психологического описания измеряемого конструкта, без формулирования гипотез о его результатах процесс создания теста становится упражнением из математической статистики.
Первый этап разработки тестовой методики может быть условно обозначен как этап формирования информационной базы исследования (термин В.М.Мельникова и Л.Г.Ямпольского).
Он включает выбор об"екта и цели исследования, разработку концепции теста, определения области его применения.
Об"ект исследования предполагает то, что какое-либо свойство должно быть удовлетворительно описано через систему определяющих его признаков или внешних проявлений . Например, создавая тест для исследования общительности психолог должен выяснить, в чем проявляется эта характеристика - разговорчивость, наличие множества знакомых, экспрессивность и т.д. Иными словами объект психодиагностического исследования – это тот психический феномен, для диагностики которого мы разрабатываем тест.
Цель определяется прежде всего кругом практических задач, для решения которых создается будущая тестовая методика. Развивая пример с таким феноменом как общительность, мы должны определиться с какой целью ее собираемся диагностировать: относительно возраста, той или иной профессии, успешности в какой-либо деятельности.
Область применения теста.
Традиционно область применения теста рассматривается как характеристика методики, указывающая на особенности контингента испытуемых, для которых предназначен тест. Для этой группы устанавливаются нормы, оптимальная трудность заданий теста, определяются характеристики валидности, надежности и т.д. Это область применения теста с точки зрения популяции.
Говоря о широте популяции людей, к которым применен данный тест, в пример можно привести такие методики, как, так называемые, "свободные от культуры" интеллектуальные тесты (которые, как мы будем говорить в свое время являются утопией, но очень долгое время занимали умы исследователей), тест Люшера. Или методики, направленные на диагностику, скажем, профессиональной деформации в нашей уголовно-исполнительной системе (гораздо более узкий круг популяции).
Различаю так же область применения теста с точки зрения его содержания. Нап ример, такие универсальные характерологические опросники, как 16 PF Кэттела, СМИЛ по замыслу создателей должны охватывать всю, или, по крайней мере, большую часть структуры личности. Тогда как шкалы личностной тревожности, агрессивности затрагивают отдельный ее аспект. То есть тот спектр психических феноменов, который охватывается диагностикой данного теста.
Первый этап завершается описанием концепции теста, основное внимание в котором должно быть уделено признакам, определяющим базовое понятие. На их основе в дальнейшем строится интерпретация результатов готового теста. Первый этап, помимо всего прочего, отражает теоретический подход автора теста к исследуемой психологической реальности. Например, говоря о создании методики диагностики личности, речь идет прежде всего о том, придерживается ли создатель теста теории черт (как автор 16 PF опросника Кэттелла) или теории типов (ММPI, опросник Смишека, ИТО).
Второй этап касается непосредственного конструирования теста как системы заданий. Данный этап включает выбор тестовых шкал, определение типов задач, в зависимости от характера ответов, составления и формулировку задач, и их размещение, группировку и нумерацию, составление ключей к задачам, написание инструкции.
Вообще, данный этап начинается с разработки стимульного материала. Л.Ф.Бурлачук так определяет понятие стимульного материала:
Объекты живой и неживой природы, искусственно созданные объекты, их изображения разной степени точности, цвета, звуки и символы, выступающие в качестве заданий психологических тестов.
Особую роль играет степень структурированности стимульного материала. Слабоструктурированные, неоднозначные стимулы за счет запуска механизмов проекции несут в себе очень интересный, глубинный и не подверженный сознательным искажениям материал, однако связан с рядом трудностей при интерпретации.
В вербальных тестовых методиках, на примере которых мы с вами сегодня рассматриваем тему конструирования тестов, используются вербальные стимулы в виде вопросов, утверждений.
На семинарском занятии наши докладчики более развернуто расскажут нам о подходах к разработке стимульного материала.
Добавим только, что он определяется направленностью методики и закладывается в нее на этапе разработки (валидность по содержанию).
В подборе тестовых заданий в наибольшей степени проявляются творческие способности и изобретательность разработчика.
Требования, которым должны удовлетворять задания:
Легко пониматься испытуемым;
Быть достаточно новыми для них;
Быть компактными, кратко изложенными, не содержать излишней информации;
Не вызывать дополнительных вопросов со стороны испытуемого;
Требовать сравнительного малого времени для ответа (решения);
Вероятность случайных ответов должна быть минимальной.
В тест-опросниках и большинстве интеллектуальных тестах применяются задания закрытого типа (т.е. задания имеющие ряд возможных ответов, среди которых необходимо выбрать один верный). Наиболее простыми являются задачи, предполагающие выбор одного из двух альтернативных вариантов решений (дихотомию выбора, или задачи типа "да" - "нет"). Недостатком такого рода задач является большая вероятность случайных ответов.
В личностных опросниках иногда используются промежуточные ответы типа ("нечто среднее", "трудно сказать"), причем оговаривается, что их использование не должно быть слишком частным (такие ответы в следствие недискриминативности дают мало информации). (Пример с ответом «не знаю» в СМИЛе: до 40 по мнению авторов не влияют на результат, но психодиагносты стараются ориентировать тестирующихся на меньшее количество таких ответов).
Задачи с множественным выбором наиболее характерны для батарей интеллектуальных тестов (Айзенк, Амтхауэр, Векслер) из нескольких ответов выбирается один, правильный по мнению испытуемого. Часто среди множества (обычно не более 6 -8) вариантов ответа наряду с правильными имеются и 2 - 3 правдоподобных. Ответы должны подбираться таким образом, чтобы каждый выбирался с одинаковой вероятностью. Положение правильных ответов должно изменяться.
При диагностике состояний в качестве вариантов ответов часто используется выбор определенной точки на шкале. Такая шкала означает градацию выраженности того или иного состояния. Как правило, используется четное число градаций (например, 4) с тем, чтобы избежать концентрации ответов около середины. (например: в УСК многие диагносты стараются опускаю), т.к. его частое использование ведет к усреднению полученых результатов.
Особый случай представляет составление заданий для проективных методик. Особенностью таких задач является их неструктурированность, неопределенность, которая допускает почти неограниченное разнообразие возможных ответов. Анализ ответов по преимуществу качественный, а не количественный, поэтому нормирование по отношению к проективным методикам является затруднительным.
Необходимости этапом подготовки первичной формы теста является составление инструкции .
Основные требования к ней:
1) должна быть полной, т.е. содержать по возможности всю информацию для выполнения тестовых заданий;
2) не должна быть слишком длинной. Возможности человеческой памяти ограничены, поэтому, упустив какую-либо часть инструкции, испытуемый может не понять ее в целом. Кроме того, у испытуемого может создаться впечатление, что тест слишком сложный;
3) должна быть однозначной, не допускать двусмысленного толкования;
4) должна быть рассчитана на слабейшего;
5) желательно сопроводить инструкцию наглядными примерами и пробами, особенно, если материал малознаком.
О том, что размещения отдельных пунктов в тесте может повлиять на результат испытуемого, мы упоминали в теме "достоверность". Это касается не только шкал "лжи". Трудные, легкие и средние по трудности задачи в общем массиве теста располагаются, как правило, в случайном порядке. Исключение составляют методики, сложность заданий в которых постепенно нарастает (среди бланковых методик в качестве примера можно привести прогрессивные матрицы Равена).
Выполнение вышеуказанных процедур имеет целью создание первичной формы теста, которая предполагает:
1) стимульный материал;
2) инструкцию для испытуемого по его выполнению;
3) ключи для обработки полученных данных;
4) подходы к интерпретации.
Третий этап включает пилотажные исследования этой формы на репрезентативной выборке. Он включает проверку надежности, валидности и (для личностных тест-опросников) достоверности теста.
Как известно, психологический тест может быть охарактеризован как эффективный в том случае, если он удовлетворяет следующим основным условиям:
1) использование шкалы интервалов;
2) надежность;
3) валидность;
4) дискриминативность;
5) наличие нормативных данных.
Коротко проанализируем каждый пункт:
1. Использование шкалы интервалов. Шкала интервалов это первая метрическая шкала, которая позволяет вводить понятие меры на множестве объектов. Другими словами она определяет величину различий между объектами в проявлении свойства. Именно с помощью шкалы интервалов можно сравнивать 2 объекта. Классический пример шкалы интервалов это шкала измерения температуры по Цельсию. Шкала интервалов всегда имеет масштабную единицу, но положение нуля на ней произвольно. Большинство специалистов по теории психологических измерений полагает, что тесты измеряют психические свойства с помощью шкалы интервалов.
2. Надежность – т.е. точность психодиагностических измерений, а так же устойчивость результатов теста к действию посторонних, случайных факторов. Посторонние, случайные факторы – источники ошибки измерения – это: сам обследуемый (его состояние, настроение, отношение к тестированию, способность концентрировать внимание и т.д.); окружающая среда, т.е. условия тестирования (бланки, посадочные места, освещенность и проветренность помещения, исправность аппаратуры т др.); психодиагност (его настроение, умение установить психологический контакт с аудиторией, точность при обработке данных и подсчете баллов по ключам и др.).
3. Валидность – пригодность; комплексная характеристика теста, включающая сведения об области исследуемых явлений и репрезентативности диагностической процедуры по отношению к ним (Бурлачук Л.Ф.); характеристика, указывающая нам, что тест измеряет и насколько хорошо он это делает (А.Анастази).
4. Дискриминативность – способность отдельных заданий (пунктов) теста дифференцировать обследуемых относительно «максимального» или «минимального» результата теста. Любой ответ испытуемого на конкретное задание теста можно оценить по двухбалльной шкале – «верно (1 балл) – неверно (0 баллов)».
Если все испытуемые один и тот же ответ, то это означает, что данное задание не обладает дискриминативностью.
5. Наличие нормативных данных – т.е. данных, получаемых путем сравнения индивидуальных результатов со статистическими значениями нормативной выборки (т.е. выборки стандартизации). См. нормальное распределение, нормализация данных.
Помимо этого в тестах интеллекта, способностей, достижений производится анализ трудности тестовых заданий. Чаще всего трудность задания определяется процентом испытуемых, давших правильный ответ. Чем легче задание - тем, естественно, выше этот процент.
В заключение можно сказать, что в нашей стране технологния создания и адаптация тестовых методик понимались несколько упрощенно. Весь вше указанный процесс сводился к простому переводу той или иной зарубежной методики, в лучшем случае ограничиваясь построением нормативного распределения тестовых показателей. Теоретические концепции авторов тестов не анализировались, данные об их надежности и валидности принимали за истинные.
Затем в 80-е годы, вопросы адаптации различных зарубежных тестов все чаще становятвся предметом обсуждения советских психологов, а позднее - психологов СНГ.
Требования, предъявляемые к разработке и адаптации тестов, предполагают высокую профессиональную культуру психолога, широкое использование специальных технических приемов, в том числе на основе современной вычислительной техники.
На этапе разработки теста, а также любого другого метода проводится процедура стандартизации, которая включает три этапа.
Первый этап
стандартизации психологического теста состоит в создании единообразной процедуры тестирования. Она включает определение следующих моментов диагностической ситуации:
1. условия тестирования (помещение, освещение и др. внешние факторы).
3. Наличие стандартного стимульного материала. Временные ограничения выполнения данного теста. Стандартный бланк для выполнения, данного теста. Использование стандартного бланка облегчает процедуру обработки.
4. Учет влияния ситуационных переменных на процесс и результат тестирования. Под переменными подразумевается состояние испытуемого (усталость, перенапряжение и т.д.), нестандартные условия тестирования (плохое освещение, отсутствие вентиляции и др.), прерывание тестирования.
5. Учет влияния поведения диагноста на процесс и результат тестирования. Например, одобрительно-поощряющее поведение экспериментатора во время тестирования может восприниматься респондентом как подсказка «правильного ответа» и др.
6. Учет влияния опыта респондента в тестировании. Естественно, что респондент, который уже не в первый раз проходит процедуру тестирования, преодолел чувство неизвестности и выработал определенное отношение к тестовой ситуации.
7. Второй этап
стандартизации психологического теста состоит в создании единообразной оценки выполнения теста: стандартной интерпретации полученных результатов и стандартной предварительной обработки. Этот этап предполагает также сравнение полученных показателей с нормой выполнения этого теста для данного возраста
8. Третий этап
стандартизации психологического теста состоит в определении норм выполнения теста .
Нормы разрабатываются для различных возрастов, профессий, полов и др.
Наличие нормативных данных (норм) в стандартизованных методах психодиагностики является их существенной характеристикой.
Нормы необходимы при интерпретации тестовых результатов (первичных показателей) в качестве эталона, с которым сравниваются результаты тестирования.
На этапе создания теста формируется некоторая группа испытуемых, на которой проводится данный тест. Средний результат выполнения этого теста в данной группе принято считать нормой. Средний результат – это не единственное число, а диапазон значений. Существуют определенные правила формирования такой группы испытуемых, или, как ее иначе называют, выборки стандартизации.
Правила формирования выборки стандартизации:
1. выборка стандартизации должна состоять из респондентов, на которых в принципе ориентирован данный тест,
2. выборка стандартизации должна быть репрезентативной, то есть представлять собой уменьшенную модель популяции по таким параметрам, как возраст, пол, профессия, географическое распределение и т.д.,
Распределение результатов, полученных при тестировании испытуемых выборки стандартизации, можно изобразить с помощью графика – кривой нормального распределения.
Этот график показывает, какие значения первичных показателей входят в зону средних значений (в зону нормы), а какие выше и ниже нормы.
Производные показатели получаются путем математической обработки первичных показателей.
Первичные показатели по разным тестам нельзя сравнивать между собой по причине того, что тесты имеют различное внутреннее строение
Важно помнить, что, как писала А.Анастази, «Любая норма, в чем бы она ни выражалась, ограничивается конкретной совокупностью людей, для которых она вырабатывалась. Применительно к психологическим тестам они (нормы) никоим образом не абсолютны, не универсальны и не постоянны. Они просто выражают выполнение теста испытуемыми из выборки стандартизации»
Клинические задачи
Задача 1 На приеме у врача больной в ясном сознании, правильно ориентирован в окружающей обстановке и собственной личности. Рассказывает, что уже около года ощущает на себе постороннее влияние. Предполагает, что с ним "работает какая-то организация", члены которой с помощью «телепатических аппаратов» действуют на его мысли, чув...
Методология психологии
Задачи социальной психологии: 1) исследование проблем социальной психологии, которые взаимодействуют с другими науками; 2) необходимость пересмотра социально-психологических проблем в связи с произошедшими социальными изменениями в нашей стране; 3) исследование этнических, экономических, классовых, политических, идеологических явлений; 4 ...
Признаки самоактуализирующейся личности
Маслоу отмечает, что нехватка благ, блокада базовых и физиологических потребностей в еде, отдыхе, безопасности приводит к тому, что эти потребности могут стать для обычного человека ведущими ("Человек может жить хлебом единым, когда не хватает хлеба"). Но если базовые, первичные потребности удовлетворены, то у человека проявляю...
Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже
Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.
Размещено на http://www.allbest.ru/
1. Технология адаптации тестовой методики: анализ заданий
Ситуация конструирования психологических тестов предполагает наличие только исходной концепции психического свойства наряду с отсутствием процедуры его измерения, удовлетворяющей требованиям места, времени, возможностям количественного анализа и ограничениями прочих ресурсов (А.А. Бодалев, В.В. Столин). Несмотря на то, что конструирование методик, относящихся к различным подходам, имеет определенную специфику, можно выделить обобщенный алгоритм деятельности по разработке теста.
1. Теоретическое обоснование методики.
2. Собственно конструирование.
2.1 Спецификация теста (определение числа заданий). Подробно процедура спецификации тестов на примере опросников приведена в учебнике Л.Ф.Бурлачука.
2.2 Разработка заданий.
2.4 Предварительное оформление.
На данном этапе проводится пилотажное исследование на сокращенной выборке стандартизации. Рассчитываются основные психометрические показатели. В первую очередь, проводится анализ заданий теста. Подробно данная процедура освещена А.Анастази. Анализ заданий теста (пунктов теста) осуществляется по двум параметрам: трудность заданий (доля испытуемых выборки, справившихся с заданием) и дискриминативность заданий (различительная способность заданий). На этапе апробации методики также производят предварительный расчет показателей надежности и валидности.
4. Расчет психометрических показателей на выборке стандартизации.
5. Стандартизация теста. Расчет тестовых норм.
6. Окончательное оформление методики.
7. Пересмотры методики с течением времени.
Ситуация адаптации предполагает перепроверку основных психометрических показателей методики в новых условиях. В первую очередь, адаптации подлежат переводные тесты. Адаптация зарубежных тестов по объему эмпирико-статистической работы практически не уступает созданию оригинальных диагностических методик.
А.А. Бодалев и В.В. Столин выделяют следующие этапы адаптации переводного теста:
1. Анализ внутренней согласованности пунктов теста.
2. Проверка устойчивости к пере тестированию.
3. Анализ корреляций с релевантным внешним критерием.
4. Проверка или рестандартизация тестовых норм.
5. В случае адаптации многомерной методики - проверка воспроизводимости структуры отношений между шкалами.
Особые задачи ставит перед психологом ситуация «внутрикультурного переноса» теста на новую популяцию, отличающуюся от выборки стандартизации половозрастными или профессионально-культурными особенностями. В данном случае необходимо:
1) проверить валидность методики;
2) перепроверить тестовые нормы.
2. Характеристика этапа переработки и интерпретации психодиагностического процесса
Этапы психодиагностического процесса. В психологической литературе приводится несколько вариантов схем диагностического процесса, с различной полнотой отражающих его реальное содержание (Бурлачук Л.Ф., Гильбух Ю.З., И.В. Дубровина, И. Шванцара, Бодалев А.А., Столин В.В. и др.).
И.В. Дубровина, обобщая опыт работы школьных психологов и опираясь на исследование И. Шванцара, выделяет следующие этапы работы по психодиагностике:
1. Изучение требования, поступившего практическому психологу в виде запроса (жалобы, сомнений, вопроса) учителей, родителей, учеников, предполагающее его уточнение посредством проведения специальной беседы,
2. Формулировка психологической проблемы, заключающаяся в переводе запроса на психологический язык на основе изучения всей информации об ученике.
3. Выдвижение гипотез о причинах отклонений в обучении, воспитании, развитии учащегося.
4. Выбор метода исследования, предполагающий наличие в распоряжении практического психолога и владение им как строго-формализованными {тесты), таки малоформализованными (наблюдение, беседа и т. п.) методами и проведения исследования.
5. Оценка полученных результатов, заключающаяся в сопоставлении их с проявлениями в жизненных ситуациях и с возрастными особенностями.
6. Диагноз, формулировка заключения.
7. Перевод диагноза на язык адресата (учителей, родителей, ученика).
10. Разработка путей и способов коррекции.
11. Осуществление психокоррекционной работы.
Другая схема диагностического процесса предложена Л.Ф. Бурлачуком. Диагностическая деятельность психолога может быть представлена в виде разных этапов процесса переработки информации, ведущих к принятию решения, -- диагнозу и прогнозу. Основные этапы диагностического процесса сводятся к сбору данных в соответствии с задачей исследования, их переработке, интерпретации и вынесению решения (диагноз и прогноз).
Этап переработки и интерпретации. На этом этапе перерабатываются и интерпретируются полученные данные на основе гармоничного сочетания двух подходов: клинического и статистического. Клинический, близкий к суждениям здравого смысла и более ориентированный на опыт и интуицию диагноста. Статистический предусматривает учет объективных количественных показателей, их статистическую обработку. Роль субъективного суждения сводится к минимуму. Вопрос об эффективности клинического и статистического прогноза неоднократно обсуждался психологами и до сих пор служит предметом дискуссий.
Этап принятия решения. Н. Сандберг и Л. Тайлер выделяют три уровня диагностических заключений. На первом уровне диагностическое заключение производится непосредственно из имеющихся об обследуемом данных. (Например, установлено, что успешность выполнения заданий методики позволяет сделать вывод об отсутствии расстройств мышления. Это и служит основой для отбора). При таком «селекционном» подходе психолога не интересует, почему отдельный испытуемый не смог выполнить заданий теста. Индивидуальный диагноз, а тем более прогноз, не осуществляется. Диагноз на этом уровне замкнут в порочный круг, он возвращает клинике ее же данные, но только выраженные в иной системе понятий. Еще Л. С. Выготский отмечал, что такого рода диагноз сводится к пересказу другими словами исходных данных, причем снабжается «ярким, большей частью, иностранным и непонятным ярлычком». Такой широко распространенный тип диагностики, когда психолога вполне можно заменить машиной или специально обученным для проведения тестирования человеком, неоднократно был объектом критики. Но необходимо заметить, что данный уровень следует понимать как сугубо рабочий, ориентировочный, а в некоторых случаях и соответствующий поставленным задачам (например, исследование значительного числа лиц в целях их дифференциации).
Упорядочение и сведение в систему диагностических показателей нередко осложняются, когда используемые методики опираются на различные теоретические положения. В этом случае интеграция разнообразных данных осуществляется либо на эмпирическом уровне посредством разработки схемы, позволяющей проводить условное сопоставление результатов отдельных методик (например, путем разработки пятибалльной шкалы, противоположные полюсы которой характеризуют «высокие» и «низкие» показатели каждой методики), либо путем теоретического обобщения и систематизации диагностических данных на основе понятий какой-либо одной теории личности.
Психодиагностическое исследование завершается разработкой программы действий, которые необходимо осуществить в связи с полученными результатами, рекомендациями по выбору оптимальных методов терапии заболевания, реабилитации и т. д.
Итоги диагностического исследования должны быть представлены в объясняющих понятиях, т. е, описываются не результаты, полученные с помощью конкретных методик с привлечением специальной терминологии, а их психологическая интерпретация. Используемые термины должны «доопределяться» путем отнесения к соответствующей теории, например «интроверт по Айзенку» или «интроверт по Роршаху».
Ценным в приведенной схеме является достаточно полная характеристика содержания психодиагностического процесса с позиций переработки информации диагностом, а также отвечающее современному уровню развития психологической науки решение таких специфических проблем, возникающих при осуществлении психодиагностической деятельности, как выделение способов интеграции данных различных психодиагностических методик, построение типов психодиагностических заключений. конструирование психологических тест
Обобщение известных моделей психодиагностического процесса на базе методологических положений общей теории диагноза позволяет выделить следующие его этапы:
1. Определение состояния объекта психодиагностики на феноменологическом уровне. На этом этапе на основе известных в психологической науке классификаций переменных параметров деятельности или состояний психического дискомфорта (классификаций объективных показателей учебной или профессиональной деятельности, типичных жалоб, проблем, запросов обследуемых) осуществляется узнавание имеющихся, в данном конкретном случае, элементов феноменологического уровня по их характерным признакам и определение их состояния с точки зрения соответствия норме. Данный этап включает:
а) ознакомление с запросом обследуемого или связанных с ним лиц;
б) определение соответствия данного конкретного случая компетенции практического психолога;
в) сбор данных о переменных параметров деятельности или состояния психического дискомфорта, предполагающий опрос обследуемого или связанных с ним лиц с целью уточнения жалоб, проблем, запросов и сбора анамнестических данных, а также обследование клиента с помощью специальных методик;
г) создание синтетической картины объекта психодиагностики на феноменологическом уровне;
д) оценку его состояния и формулировку психодиагностической задачи.
2. Выдвижение гипотез о психологических причинах, обусловливающих установленное па первом этапе состояние элементов феноменологического уровня (переменных параметров деятельности или психического дискомфорта) на основании схем детерминации и психодиагностических таблиц.
3. Проверка гипотез. "Осуществляется посредством определения состояния объекта психодиагностики на уровне причинных оснований и предполагает:
а) выбор методик психодиагностики, адекватных гипотезе;
б) обследование клиента с помощью психодиагностических методик с целью определения состояния психологических переменных уровня причинных оснований;
в) интерпретация и оценка состояния психологических переменных с точки зрения нормы.
4. Построение общей формулы диагностического заключения. Реализуется па основе определения типа психологических переменных в соответствии с известными на современном уровне развития психологической науки классификациями элементов уровня причинных оснований, обусловивших установленные на первом этапе состояние параметров деятельности или психического дискомфорта.
5. Индивидуализация психологического диагноза. На этом этапе осуществляется конкретизация диагноза и его перевод на язык адресата,
6. Прогнозирование состояния обследуемого и формулирование рекомендаций по оказанию психологической помощи.
7. Наблюдение за клиентом после оказания психологической помощи с последующим уточнением диагностического заключения.
Обоснованность изложенной схемы психодиагностического процесса подтверждается экспериментальными исследованиями, выполненными на отличающихся по содержанию моделях диагностической деятельности. Основные этапы предложенной схемы психодиагностического процесса обнаруживаются также при анализе случаев из практики психологического консультирования. Вместе с тем эта схема должна пройти дополнительную проверку в различных областях психодиагностической практики.
Итак, можно сделать следующие выводы;
1. Психодиагностический процесс, характеризуя постановку психологического диагноза практическим психологом, представляет собой сложную процедуру, требующую специальной подготовки диагноста.
2. Сложность психодиагностической процедуры выражается в наличии ряда этапов, отклонения в реализации каждого из которых приводят к возникновению диагностических ошибок, и обусловливаются иерархическим строением объекта психодиагностики и многозначностью причинно-следственных связей между его элементами разных уровней.
3. Психодиагностический процесс осуществляется в форме взаимодействия диагноста с обследуемым, опосредованного психодиагностическими средствами.
5. Количество и содержание этапов психодиагностического процесса зависит от имеющихся в распоряжении практического психолога психодиагностических средств, а также от сложившейся системы его психологической подготовки, обусловленной степенью разработанности научно-методических основ психодиагностической деятельности.
6. На современном этапе развития психологической науки существует несколько схем психодиагностического процесса, раскрывающих его с различных сторон и с различной полнотой. В связи с этим актуальной является задача экспериментальной проверки сравнительной эффективности каждой из них в психодиагностической работе практических психологов.
Размещено на Allbest.ru
Подобные документы
Характеристика сущности и необходимости психологических тестов. Обеспечение качества теста, которое достигается многоступенчатой процедурой проверки и стандартизации его шкал. Единая система составления, надежность и валидность психологических тестов.
контрольная работа , добавлен 29.03.2011
Проведение психодиагностического исследования личности подростка 11 лет. Изучение методики оценки личности с помощью теста "Дом-дерево-человек" и методики диагностики внутрисемейных отношений с помощью теста "Рисунок семьи". Анализ результатов тестов.
лабораторная работа , добавлен 12.09.2010
Тесты как стандартизированные методики психодиагностики. Особенности классификации тестов. Показатели качества тестов (методик). Разновидности валидности и её нахождение. Методы проверки валидости. Характеристика конкурентной и очевидной валидности.
контрольная работа , добавлен 16.02.2010
Общая и дифференциальная психометрика. Ее отношение к психодиагностике и дифференциальной психологии. Понятие надежности. Содержательная, эмпирическая, конструктная и дискриминантная валидность. Стандартизация тестов и репрезентативность тестовых норм.
презентация , добавлен 05.01.2014
Основные понятия в отечественной и зарубежной психологии, понятие нравственно-психологических тестов, экспериментальное исследование по выявлению роли нравственно-психологических основ в супружеских отношениях. Типы характеров и их проявления.
дипломная работа , добавлен 11.10.2010
Понятие, сущность и классификация методов в современной психологической науке. Психологические тесты, их оценка и характеристика основных видов – тестов-опросников, тестов-заданий и проективных тестов, а также условия их научной разработки и применения.
контрольная работа , добавлен 16.03.2010
Научно-методическая основа интерпретации проективных рисуночных методик. Понятие эмоциональной сферы ребенка. Отражение в рисунках детей индивидуальных особенностей и эмоционально сферы личности. Методика и техника проведения психологических тестов.
курсовая работа , добавлен 01.03.2014
Виды валидности теста и способы определения валидности. Отечественные и зарубежные концепции темперамента. Практическая диагностика темперамента с помощью опросника Я. Стреляу, методики Айзенка, методики Шмишека. Особенности применения темпинг-теста.
курсовая работа , добавлен 21.09.2015
Виды психологических трудностей ребенка с детским церебральным параличом. Психологическое сопровождение детей с нарушениям опорно-двигательного аппарата в условиях Центра коррекционно-развивающего обучения и реабилитации. Работа психолога с детьми.
курсовая работа , добавлен 27.09.2013
Познавательные психические процессы (их виды, свойства). Принципы обучения, системный подход к применению принципов обучения. Характеристика индивидуально-психологических свойств личности на основе тестов, особенностей профессиональной деятельности.