Везде
Creativity research in Russia (2000–2017). Part II. Methodological recommendations for researchers
Table of contents
Annotation Estimate Publication content
References Comments
Share
QR
Metrics
Creativity research in Russia (2000–2017). Part II. Methodological recommendations for researchers
Annotation
PII
S020595920009324-2-1
DOI
10.31857/S020595920009324-2
Publication type
Article
Status
Published
Authors
K. Miroshnik 
Occupation: Master’s student
Affiliation: Saint Petersburg State University, Faculty of Psychology
Address: Saint Petersburg, Admiral Makarov Embankment, 6, Russia
O. Shcherbakova
Occupation: Associate Professor
Affiliation: Saint Petersburg State University, Faculty of Psychology
Address: Saint Petersburg, Admiral Makarov Embankment, 6, Russia
Edition
Volume 41 Issue 3
Pages
32-42
Abstract

This article is concerned with analysis and discussion of empirical results of the study of the most common methodological practices in the Russian field of creativity research.  In the present study, methodological practices are defined as research methodology, statistical data processing, and description of results in scientific papers.Based on the obtained results, we composed a list of recommendations aimed at improving current methodological practices. These recommendations stress the necessity of: 1) compliance with the current requirements for the processing and interpretation of the results on divergent thinking tests and the organization of the testing procedure; 2) using more than one divergent thinking task in case the latter is chosen as a target measure; 3) avoiding the tendency to interpret scores on Mednick's test as characteristic of (verbal) creativity; 4) providing data on the reliability of scores derived from psychometric methods; 5) reporting sample size as well as sample’s major demographic characteristics, such as age and sex; 6) correct application of statistical tests; 7) reporting the magnitude of a test statistic, the exact p-value, and confidence intervals and/or effect size.

Keywords
Creativity, creativity research, methodology, methodological practices, statistical analysis, methodological recommendations
Received
22.04.2020
Date of publication
08.05.2020
Number of purchasers
28
Views
917
Readers community rating
0.0 (0 votes)
Cite   Download pdf
1 Исследования креативности активно развиваются на протяжении последних 70 лет. Историю становления и развития этой научной области можно охарактеризовать как переход от “кембрийского взрыва” интереса к теме креативности [31] к установлению планомерного режима исследовательской деятельности, сопровождающегося непрерывным ростом количества научных публикаций по данной теме [11; 29].
2 Полноценное развитие любой научной области является невозможным без следования строгим методологическим стандартам, что напрямую связано с методологической рефлексией самих исследователей. Более того, развитие какой-либо научной области должно сопровождаться как анализом наиболее распространенных методических практик, так и разработкой новых стандартов и подходов к исследованию, позволяющих преодолевать ограничения предыдущих разработок.
3 В рамках мировой психологии креативности неоднократно предпринимались попытки анализа сложившихся методических практик, а также способов их улучшения [11, 13, 28]. В контексте настоящей статьи под методическими практиками подразумеваются распространенные способы методической организации исследований, статистической обработки данных и описания полученных результатов в научных публикациях. Например, в работе Г. Фиста и М. Ранко анализировались данные о наиболее часто используемых методах исследования и исследуемых группах (на материале статей журнала Journal of Creative Behavior с 1967 по 1989 гг.) [11]. Выяснилось, что большая часть эмпирических работ опиралась на использование тестовых методик, опросников и комбинаций этих методов с другими, тогда как меньше всего были представлены метааналитические и лабораторные (экспериментальные) подходы. Большая часть исследований проводилась с участием учеников начальных классов и студентов университетов, а меньше всего ― с участием детей дошкольного возраста. Последнее обстоятельство стало предметом критических размышлений, направленных на привлечение внимания специалистов к необходимости проводить исследования креативности на более разнообразных выборках [17].
4 Целый ряд последующих обзорных работ позволил установить методы измерения, наиболее часто используемые в исследованиях креативности. Например, анализ 200 статей по тематике воображения, креативности и инноваций, опубликованных за период с 2009 по 2012 гг., выявил, что наиболее часто используемыми методами измерения в этой области являются следующие (в порядке убывания): (1) самооценочные методы, фокусирующиеся на привычных для субъекта поведенческих проявлениях, (2) традиционные тесты дивергентного мышления и (3) самооценочные методы, акцентирующие внимание на личностных чертах [13]. Доминирующий метод измерения варьировался в зависимости от типа научного журнала, в котором была опубликована та или иная работа. Так, в исследованиях, опубликованных в психологических журналах и специализированных журналах по креативности, преобладающим методом продолжают оставаться тесты дивергентного мышления. При этом преимущественное использование тестов дивергентного мышления наблюдается не только в поведенческих, но и в нейробиологических исследованиях креативности [7].
5 Широкое применение тестов дивергентного мышления наряду с увеличением числа исследований, использующих компьютеризированные формы этих тестов, ставит вопрос об эквивалентности результатов, получаемых с помощью бумажной и компьютерной форм [21, 26], а также о валидности и надежности результатов, получаемых при использовании компьютеризированных версий [14, 22]. Более того, накопление критической массы статей, посвященных анализу влияния условий тестирования, инструкций к заданиям и методов оценки результатов по тестам дивергентного мышления на валидность и надежность получаемых результатов привело к осознанию необходимости рефлексии над проблемами измерения [43, 44], выработке более строгих методологических стандартов [6, 36] и новых подходов к диагностике [39]. Столь высокое внимание исследователей к вопросам методологии является оправданным, так как область исследований креативности, как и любая другая, нуждается в постоянной рефлексии и совершенствовании методологических практик.
6 В открытых источниках авторами данной статьи не было найдено систематических исследований методических практик в рамках отечественных исследований креативности. Хотя становление и развитие последних не может рассматриваться в отрыве от развития мировых исследований в этой области, следует признать, что до настоящего момента сохраняется их относительная изолированность друг от друга. Помимо прочего, она может быть обусловлена спецификой методических практик, распространенных в отечественных исследованиях.
7 Цель работы ― эмпирический анализ методических практик, характерных для исследований креативности, опубликованных в российских научных журналах, и формулирование методических рекомендаций для исследователей.
8 Подробное описание процедуры отбора, кодирования и анализа данных научных публикаций, а также основные результаты исследования представлены в первой части статьи (Психологический журнал. 2020. Т. 41. №2).
9 ОСНОВНЫЕ ХАРАКТЕРИСТИКИ ОТЕЧЕСТВЕННЫХ ИССЛЕДОВАНИЙ КРЕАТИВНОСТИ
10

1. Большинство исследований креативности проводится в рамках количественного подхода, тогда как исследования, выполненные в рамках качественной или смешанной методологии, встречаются редко.
11

2. В большинстве исследований предпочтение отдается использованию различных модификаций тестов дивергентного мышления (напр., тест Торренса, тест Гилфорда) и личностным опросникам (напр., опросник Вильямса).
12

3. Метод судейских оценок редко применяется при подсчете результатов по тестам дивергентного мышления. Предпочтение отдается подсчету классических “объективных” показателей беглости, оригинальности и гибкости.
13

4. Наиболее часто исследования креативности проводятся на следующих выборках (в порядке убывания): студенты вузов, учащиеся 10–11-х классов и 5–9-х классов.
14

5. При описании исследуемых выборок объем выборки указывается чаще (в 94.7% случаев), чем возраст участников (67.9%), а возраст указывается чаще, чем пол (44.4%).
15

6. В большей части исследований отсутствует информация о надежности результатов измерения, полученных по тестам дивергентного мышления и опросникам творческих характеристик личности.
16

7. В большинстве случаев выводы исследования строятся с опорой на статистическую значимость при игнорировании таких показателей, как доверительные интервалы и величины эффекта.
17 ЗАРУБЕЖНЫЕ И ОТЕЧЕСТВЕННЫЕ ИССЛЕДОВАНИЯ КРЕАТИВНОСТИ: СХОДСТВА И РАЗЛИЧИЯ
18 Анализ методических показателей позволил выявить ряд сходств между отечественными и зарубежными работами. Так, например, и в России, и в мире большая часть исследований выполняется в рамках количественного подхода [28]. Отметим, что одной из особенностей результатов, полученных нами при определении методической принадлежности исследований, стала неожиданно низкая согласованность оценок, выставленных двумя независимыми экспертами (авторами статьи). Хотя мы осознаем наличие иных возможных интерпретаций этого факта, мы склонны в первую очередь рассматривать его как следствие общего неудовлетворительного качества подвергнутых анализу работ, из-за чего отнесение их к какому-либо из выделенных Х. Лонгом подходов являлось затруднительным, а в ряде случаев — невозможным.
19 Следует полагать, что причиной высокого разброса показателей экспертных оценок стало то, что в ситуации отсутствия у подлежащего анализу исследования выраженных методических признаков эксперты вынуждены были опираться не на объективные показатели, а на субъективные впечатления и второстепенные факторы. Дополнительной сложностью, которая могла оказать негативное влияние на процесс идентификации методологии того или иного исследования, стало несовпадение общепринятой в западной традиции классификации подходов, которой авторы придерживались в настоящей работе, и реального положения дел в современной российской психологии. Для описания последнего в большей степени применима индуктивная классификация, предложенная Н.В. Морошкиной и В.А. Гершкович и предполагающая выделение описательного, индуктивно-корреляционного, дедуктивно-корреляционного, экспериментального дизайнов и дизайна по разработке и апробации психотехнологии [4].
20 Наличие значительного перевеса в сторону количественных исследований по сравнению с исследованиями, выполненными в русле качественной или смешанной методологии, представляется далеко не случайным. С одной стороны, оно может являться отголоском “комплекса неполноценности”, которым мировая психология страдала на заре своего становления, стремясь превратиться в “настоящую” науку путем (не всегда оправданного) инкорпорирования количественных методов, и от которого психология российская — в силу своей непростой истории — до конца не избавилась до сих пор. С другой — наличием количественной составляющей проще замаскировать содержательные недочеты (особенно при отсутствии в научных журналах требования обязательной публикации сырых данных), что было бы не столь тривиальной задачей в случае использования качественного исследовательского подхода.
21 Помимо указанных выше факторов, необходимо отметить внутренние причины, связанные с тенденциями, существующими в мировой практике исследований креативности. В частности, разногласия между индивидуалистическим и социокультурным подходом к исследованию креативности и доминированием первого над вторым. Так, индивидуалистическая ориентация предполагает, что любой акт творчества является прежде всего личностным и только в некоторых случаях может получить статус социально значимого [37]. В рамках этого подхода наблюдается стремление выявить наиболее общие закономерности в проявлении креативности и очистить объяснительные механизмы и определения креативности от второстепенных факторов [40, 51]. Социокультурный же подход предполагает, что креативность по своей природе социальна и в любых проявлениях не может рассматриваться вне социального контекста [8]. Несмотря на то, что ни один из этих подходов не предполагает жесткой связи с какой-либо конкретной методологией, индивидуалистическая традиция все же отдает предпочтение исследованиям, выполненным в количественном ключе, тогда как акцент на контекстность проявлений креативности больше соответствует либо качественной, либо смешанной методологии.
22 Вторым важным сходством отечественных и мировых исследований креативности является преимущественное использование в качестве измерительного инструмента тестов дивергентного мышления [13, 28] Хотя сам по себе данный факт не вызывает удивления, стоит обратить внимание на то, что многие российские исследователи ошибочно отождествляют дивергентное мышление с творческим или даже с креативностью. Дивергентное мышление является одним из важных компонентов творческого мышления, однако не исчерпывает его проявлений [9, 12]. Результаты по тестам дивергентного мышления позволяют оценить когнитивный компонент творческого потенциала, но не общую креативность индивида [38]. При этом показатели когнитивного компонента творческого потенциала позволяют предсказать будущие творческие достижения [24, 41], однако не гарантируют их, так как необходимо учитывать в том числе влияние личностных и средовых факторов [5, 46]. Таким образом, несмотря на сохранение разногласий между разными экспертами в отношении определения креативности и ее компонентов, российским исследователям следует более аккуратно подходить к использованию терминологии при описании результатов исследования и их интерпретации.
23 В отечественных исследованиях креативности прослеживаются тенденции в применении тестов дивергентного мышления, которые совпадают с общемировыми трендами: появление исследований с использованием (1) компьютерных форм тестирования и (2) судейской оценки результатов тестирования. Однако процедуры судейских оценок, тем не менее, не получили столь широкого распространения, как в зарубежных исследованиях [30, 36]. С одной стороны, это может быть связано с тем, что накопление критической массы работ с использованием судейских оценок стало очевидным лишь в последние годы. Иначе говоря, подобная тенденция сформировалась ближе к концу проанализированного нами временного диапазона. С другой стороны, малое количество исследований с использованием судейских оценок может быть связано и со склонностью отечественных исследователей использовать классические методы оценки результатов по тестам дивергентного мышления. Под последними подразумевается оценка по трем показателям: беглость, гибкость и оригинальность [20]. Одной из предпосылок к использованию судейских оценок стала необходимость решения проблемы дискриминантной валидности между показателями беглости и оригинальности [23, 42, 47]. Аналогичные проблемы обнаруживались и в отношении показателей беглости и гибкости [32]. Данная проблема особенно актуальна в свете широкого применения определенных методик как в отечественной, так и в мировой областях исследований креативности. Так, например, в современных исследованиях, основанных на использовании невербальной батареи теста Торренса, беглость и оригинальность часто не выделяются в качестве самостоятельных факторов [25, 52]. В это же время по результатам нашего анализа выявлено, что невербальные субтесты теста Торренса используются как минимум в каждом третьем отечественном исследовании креативности. Таким образом, за склонностью к использованию классических показателей при оценке результатов по тестам дивергентного мышления скрывается важное для методологии отечественных исследований креативности слепое пятно: игнорирование проблемы достижения приемлемого уровня дискриминантной валидности между оцениваемыми показателями. Данная проблема не учитывалась в отечественных исследованиях даже несмотря на то, что определенные способы ее преодоления были предложены уже в конце XX века [33]. Игнорирование этого вопроса не позволяет получать относительно независимые оценки количественного и качественного компонентов дивергентного мышления, что косвенно сказывается на валидности получаемых результатов.
24 Более того, получение валидных и надежных результатов по тестам дивергентного мышления, наряду с более точной оценкой отдельных параметров, неразрывно связано и с используемыми техниками статистического анализа. В определенных ситуациях сложные методы статистического и психометрического анализа (например, моделирование структурными уравнениями (SEM) и подход IRT) позволяют получать более точные оценки изучаемых параметров, чем простые техники. Например, корреляция между показателями творческого потенциала и психометрического интеллекта в исследовании М. Воллаха и Н. Когана оказалась выше при переоценке результатов с помощью метода латентных переменных, в котором каждую из переменных представляют как латентную со множеством индикаторов (r = 0.09 против r = 0.21) [45, 47]. Другими словами, подсчет корреляции между латентными переменными в противовес подсчету корреляции на основе сырых баллов позволяет учесть величину ошибки измерения и получить более “чистую” величину взаимосвязи. Это особенно актуально в свете того, что примерно в половине исследований в нашей выборке анализировались взаимосвязи между какими-либо переменными. Однако использование сложных методов анализа, включающих в себя методы SEM и IRT, было зафиксировано только в 4.3% исследований. Стоит признать, что применение метода IRT также остается редкостью и в зарубежных работах по теме креативности [30, 34], чего нельзя сказать про использование метода SEM. При этом, как наглядно показывают наши результаты, редкость использования метода SEM в отечественных исследованиях креативности не может быть объяснена малыми величинами выборок.
25 Сходное влияние на выявляемые взаимосвязи оказывает надежность результатов, получаемых с помощью различных методик. По результатам нашего исследования, данные о надежности указываются только в 13.6% работ, использующих опросники характеристик творческой личности и/или тесты дивергентного мышления. Эти данные являются удручающими по нескольким причинам. Во-первых, величина любой корреляции напрямую зависит от надежности значений, между которыми она подсчитывается [16], поэтому отсутствие данной информации не позволяет полноценно проинтерпретировать результаты корреляционного анализа. Во-вторых, указание надежности полученных результатов по методике является хорошей методологической практикой, так как надежность в психометрическом смысле относится не к самой методике, а к результатам, получаемым с ее помощью на определенной выборке респондентов [18]. Так, практически любое исследование с использованием психометрических методов измерения может сопровождаться данными о внутренней согласованности. Но даже в тех случаях, когда исследователи оценивают внутреннюю согласованность, они отдают предпочтение альфе Кронбаха. В большинстве случаев альфа Кронбаха не является оптимальным выбором, так как при прочих равных эквивалентность получаемого значения величине надежности будет достигаться только при удовлетворении требованию тау-эквивалентности [48], что в большинстве случаев является проблематичным. Более подходящей альтернативой являются коэффициенты, разработанные на базе конгенеративных моделей надежности, свободных от предположения о тау-эквивалентности [19]. Хотелось бы подчеркнуть, что представленные выше рассуждения не преследуют цели призвать исследователей к отказу от применения альфы Кронбаха, а скорее акцентируют внимание на необходимости большей методологической рефлексии при ее использовании [35]. Последнее, на что следует обратить внимание при обсуждении надежности, — это важность использования как минимум двух заданий в случае применения тестов дивергентного мышления [см. 47]. Поскольку многие авторы ограничиваются только одним заданием, они не имеют возможности провести оценку надежности получаемых результатов.
26 В продолжение обсуждения распространенных методов измерения различных компонентов креативности стоит обратить внимание на использование теста отдаленных ассоциаций (теста Медника). При описании методов исследования некоторые авторы указывают, что тест Медника является тестом вербальной креативности [см., например, 1]. Данное утверждение вызывает ряд возражений. Во-первых, ни один тест не может в истинном смысле слова считаться тестом креативности. В случае с тестом Медника более корректным было бы его представление как теста конвергентного компонента творческого мышления, так как результаты по данному тесту тесно коррелируют с результатами по тестам психометрического интеллекта [27]. Во-вторых, утверждение о том, что тест Медника характеризует именно вербальный компонент, не является полностью обоснованным. Несмотря на то, что на сегодняшний день уже существует невербальная форма теста Медника [49], предположение о том, что его вербальный и невербальный варианты характеризуют разные процессы, еще ждет своего обоснования.
27 Анализ групп людей, на которых проводятся отечественные исследования креативности, выявил тенденции, частично сходные с теми, которые обнаруживаются в зарубежных работах: наиболее часто исследования проводятся на выборках студентов, школьников и преподавателей [11]; гораздо реже они бывают выполнены на дошкольниках и взрослых старше 40 лет. На наш взгляд, данный факт обусловлен степенью доступности конкретной группы населения. Несмотря на то, что вывод В.П. Главеану о необходимости увеличения разнообразия выборок в исследованиях креативности нельзя признать необоснованным [17], он, вероятно, требует более мягкой формулировки. Другими словами, увеличение разнообразия исследуемых выборок является желательной линией развития исследований креативности как в России, так и в мире.
28 Анализ показателей полноты описания результатов выявил ряд проблем как с указанием характеристик исследуемых выборок, так и с описанием результатов статистического анализа. При этом соответствующие проблемы характерны как для статей в РИНЦ, так и для статей, входящих в RSCI. Однако качество статей, индексируемых в RSCI, в целом выше. Удивительно, но в относительно большом количестве публикаций не встречаются упоминания о возрасте исследуемой группы и/или половом составе выборки, несмотря на то, что это наиболее общие характеристики выборки, которые, как правило, должны сообщаться читателю. Более того, отсутствие этих данных не позволяет оценить обоснованность выводов исследования.
29 Однако гораздо бо́льшие опасения вызывают проблемы с описанием результатов статистического анализа. В частности, исследователи редко сообщают о том, насколько обоснованно применение того или иного статистического критерия с учетом характеристик анализируемых данных. Последнее замечание относится даже к наиболее известным предположениям параметрических критериев (нормальность распределения и наличие выбросов), не говоря уже о более специфичных. Далеко не во всех статьях можно встретить указание значения использованного статистического критерия и точного p-уровня значимости, тогда как доверительные интервалы и величины эффекта указываются крайне редко. Если отсутствие значений критериев и точного значения p-уровня отражают проблемы описания результатов в отечественных исследованиях, то вопросы о проверке базовых предположений статистических критериев и использовании доверительных интервалов и величин эффекта являются большой проблемой и для зарубежных работ [10]. Таким образом, описанные выше сложности снижают качество публикуемых исследований и ставят под сомнение получаемые результаты и возможность их дальнейшего использования. Ситуация усугубляется тем, что вплоть до настоящего момента предоставление открытого доступа к исходным данным не считается обязательным.
30

СЛЕДСТВИЯ И РЕКОМЕНДАЦИИ
31 Настоящее исследование выявило как распространенные методические практики, так и методические проблемы, которые обнаруживаются в отечественных исследованиях креативности. Эти проблемы не только снижают качество получаемых результатов, но и препятствуют прогрессу в данной области знания. Недочеты на уровне методологии могут выступать дополнительным барьером в распространении отечественных исследований и их интеграции в мировую область изучения креативности. Более того, они вызывают трудности для интеграции знаний и в контексте отечественных исследований, так как недостаточное качество работ может в дальнейшем не позволить обобщить полученные результаты ни с помощью метаанализов, ни с помощью систематических литературных обзоров. По всей видимости, высказывавшиеся ранее опасения по поводу возможной будущей изоляции отечественных исследований не стоит считать преувеличением [2].
32 Осознание возможных препятствий для будущего развития печальнее всех трудностей настоящего. Однако несмотря на имеющиеся проблемы, развитие отечественной области исследований креативности зависит не от констатации их наличия, а от поиска возможностей для их преодоления. Очевидно, что описанные нами сложности носят системный характер и отражают общее состояние методических практик как в отечественной, так и в мировой психологии в целом. Несомненно, они также отражают проблемы профессионального образования психологов, что уже становилось объектом внимания исследователей [3]. Важно и то, что решение соответствующих проблем может быть успешным только в рамках тех научных сообществ и журналов, где осуществляется обязательное рецензирование научных публикаций. Ожидать, что предполагаемые изменения произойдут в рамках научных журналов, индексируемых исключительно в РИНЦ, на данный момент не приходится. Следовательно, решение соответствующих проблем требует системных преобразований. Тем не менее мы считаем, что выработка общих рекомендаций может стимулировать отечественных исследователей креативности к переосмыслению устоявшихся методических практик. Приведем их ниже.
33 1. Исследователям креативности следует уделять больше внимания современным требованиям к обработке и интерпретации результатов по тестам дивергентного мышления, а также организации процедуры тестирования [см. 6, 15, 36, 39].
34 2. Желательно, чтобы исследователи при использовании тестов дивергентного мышления не ограничивались только одним заданием, так как это препятствует оценке надежности получаемых результатов.
35 3. Исследователям креативности следует избегать отождествления результатов по тесту Медника с характеристикой вербальной креативности или креативности в целом, так как данный тест скорее позволяет получить данные о характеристиках ассоциативных процессов, которые отражают конвергентный компонент творческого мышления. Вопрос о том, отражает ли тест Медника именно специфику вербальных компонентов мышления, остается открытым.
36 4. Исследователям креативности стоит внимательнее относиться к необходимости указания данных о надежности выводимых баллов по психометрическим методикам, так как соответствующие данные важны для интерпретации получаемых результатов и оценки качества исследования. При этом оценка надежности не должна сводиться к простому следованию “ритуальным” практикам (указанию альфы Кронбаха в любых ситуациях), но соответствовать специфике анализируемых данных.
37 5. В каждом исследовании необходимо указывать величину, возрастной (диапазон значений и/или средний возраст) и половой состав выборки.
38 6. Исследователям креативности следует внимательнее относиться к базовым предположениям используемых статистических критериев, так как их некорректное применение может приводить к неверным заключениям. С одной стороны, описание соответствия базовым предположениям можно включать в описание результатов. С другой — в условиях ограниченного объема статей оптимальным может стать обеспечение доступа либо к результатам статистического анализа (в случае использования кодовых компонентов), либо к сырым данным.
39 7. Желательно указывать значения статистических критериев, точный p-уровень значимости для значений больше .001, а также при интерпретации результатов опираться не только на их статистическую значимость, но и на доверительные интервалы и/или величину эффекта.
40 ВЫВОДЫ
41 Приведенный список методических рекомендаций не является исчерпывающим. Однако следование им позволит значительно улучшить качество статей в области отечественных исследований креативности. Во избежание недопонимания отметим, что методологическая рефлексия предполагает активность со стороны исследователя и не ограничивается пассивным выполнением каким-либо жестких правил. Поэтому следование любым рекомендациям не должно становиться бездумным. Улучшение методических практик как аспекта методологической рефлексии будет гарантом не просто умножения количества российских исследований креативности, но и роста их качества.

References

1. Ilinykh A.E. Social'naja kreativnost' lichnosti: psihologicheskaja struktura. Izvestija Saratovskogo universiteta. Novaja serija. Serija Filosofija. Psihologija. Pedagogika. 2011. V. 11. № 3. P. 74–76. (in Russian)

2. Morozova S.V. Ugrozy izoljacii rossijskoj psihologii v budushhem. Psikhologicheskii zhurnal. 2018. V. 39. № 3. P. 129–133. (in Russian)

3. Morozova S.V., Nasledov A.D. K voprosu o specifike statisticheskogo diskursa psihologii v Rossii. Vestnik Tverskogo gosudarstvennogo universiteta. Serija: Pedagogika i psihologija. 2015. № 3. P. 6–18. (in Russian)

4. Moroshkina N.V., Gershkovitch V.A. Tipologija jempiricheskih issledovanij v psihologii. Vestnik Sankt-Peterburgskogo universiteta. Serija 16. Psihologija. Pedagogika. 2016. № 1. P. 80–99. (in Russian)

5. Amabile T.M. Componential theory of creativity. Harvard Business School. 2012. V. 12. № 96. P. 1–10.

6. Barbot B., Hass R.W., Reiter-Palmon R. Creativity assessment in psychological research: Setting the Standards. Psychology of Aesthetics, Creativity, and the Arts. 2019. V. 13. P. 233–240.

7. Benedek M., Christensen A.P., Fink A., Beaty R.E. Creativity assessment in neuroscience research. Psychology of Aesthetics, Creativity, and the Arts. 2019. V. 13. № 2. P. 218–226.

8. Csikszentmihalyi M. Creativity: Flow and the psychology of discovery and invention. N.Y.: Harper Collins, 1996.

9. Cropley A. In praise of convergent thinking. Creativity research journal. 2006. V. 18. № 3. P. 391–404.

10. Cumming G., Fidler F., Leonard M., Kalinowski P., Christiansen A., Kleinig A., Lo J., McMenamin N., Wilson, S. Statistical Reform in Psychology: Is Anything Changing? Psychological Science. 2007. V. 18. № 3. P. 230–232.

11. Feist G.J., Runco M.A. Trends in the creativity literature: An analysis of research in the Journal of Creative Behavior (1967–1989). Creativity Research Journal. 1993. V. 6. № 3. P. 271–283.

12. Finke R.A., Ward T.B., Smith S.M. Creative cognition: theory, research, and applications. The MIT Press, 1992.

13. Forgeard M.J.C., Kaufman J.C. Who cares about imagination, creativity, and innovation, and why? A review. Psychology of Aesthetics, Creativity, and the Arts. 2016. V. 10. № 3. P. 250–269.

14. Forthmann B., Holling H., Çelik P., Storme M., Lubart T. Typing speed as a confounding variable and the measurement of quality in divergent thinking. Creativity Research Journal. 2017. V. 29. № 3. P. 257–269.

15. Forthmann B., Szardenings C., Holling H. Understanding the confounding effect of fluency in divergent thinking scores: Revisiting average scores to quantify artifactual correlation. Psychology of Aesthetics, Creativity, and the Arts. 2018. Advance online publication.

16. Furr M.R., Bacharach V.R. Psychometrics: An Introduction. SAGE Publications, Inc., 2013.

17. Glăveanu V.P. The psychology of creativity: A critical reading. Creativity. Theories – Research – Applications. 2014. V. 1. P. 10–32.

18. Goodwin L.D., Leech N.L. Understanding correlation: Factors that affect the size of r. The Journal of Experimental Education. 2006. V. 74. № 3. P. 249–266.

19. Graham J.M. Congeneric and (essentially) tau-equivalent estimates of score reliability: What they are and how to use them. Educational and Psychological Measurement. 2006. V. 66. № 6. P. 930–944.

20. Guilford J.P. Creative abilities in the arts. Psychological Review. 1957. V. 64. № 2. P. 110–118.

21. Guo J. The development of an online divergent thinking test: Unpublished doctoral dissertation. Mansfield, 2016.

22. Hass R.W. Feasibility of online divergent thinking assessment. Computers in Human Behavior. 2015. V. 46. P. 85–93.

23. Hocevar D., Michael W.B. The effects of scoring formulas on the discriminant validity of tests of divergent thinking. Educational and Psychological Measurement. 1979. V. 39. № 4. P. 917–921.

24. Kim K.H. Meta-analyses of the relationship of creative achievement to both IQ and divergent thinking test scores. The Journal of Creative Behavior. 2008. V. 42. № 2. P. 106–130.

25. Krumm G., Lemos V., Filippetti V.A. Factor structure of the Torrance Tests of Creative Thinking Figural Form B in Spanish-speaking children: Measurement invariance across gender. Creativity Research Journal. 2014. V. 26. № 1. P. 72–81.

26. Lau S., Cheung P.C. Creativity assessment: Comparability of the electronic and paper-and-pencil versions of the Wallach–Kogan Creativity Tests. Thinking Skills and Creativity. 2010. V. 5. № 3. P. 101–107.

27. Lee C.S., Huggins A.C., Therriault D.J. A measure of creativity or intelligence? Examining internal and external structure validity evidence of the Remote Associates Test. Psychology of Aesthetics, Creativity, and the Arts. 2014. V. 8. № 4. P. 446–460.

28. Long H. An empirical review of research methodologies and methods in creativity studies (2003–2012). Creativity Research Journal. 2014. V. 26. № 4. P. 427–438.

29. Long H., Plucker J.A., Yu Q., Ding Y., Kaufman J.C. Research productivity and performance of journals in the creativity sciences: A bibliometric analysis. Creativity Research Journal. 2014. V. 26. № 3. P. 353–360.

30. Myszkowski N., Storme M. Judge response theory? A call to upgrade our psychometrical account of creativity judgments. Psychology of Aesthetics, Creativity, and the Arts. 2019. V. 13. № 2. P. 167–175.

31. Parnes S.J., Brunelle E.A. The literature of creativity (part I). The Journal of Creative Behavior. 1967. V. 1. № 1. P. 52–109.

32. Plass H., Michael J.J., Michael W.B. The factorial validity of the Torrance Tests of Creative Thinking for a sample of 111 sixth-grade children. Educational and Psychological Measurement. 1974. V. 34. № 2. P. 413–414.

33. Plucker J.A., Runco M.A. The death of creativity measurement has been greatly exaggerated: Current issues, recent advances, and future directions in creativity assessment. Roeper Review. 1998. V. 21. № 1. P. 36–39.

34. Primi R., Silvia P.J., Jauk E., Benedek M. Applying many-facet Rasch modeling in the assessment of creativity. Psychology of Aesthetics, Creativity, and the Arts. 2019. V. 13. № 2. 176–186.

35. Raykov T., Marcoulides G.A. Thanks coefficient alpha, we still need you!. Educational and psychological measurement. 2017. V. 79. № 1. P. 200–210.

36. Reiter-Palmon R., Forthmann B., Barbot B. Scoring divergent thinking tests: A review and systematic framework. Psychology of Aesthetics, Creativity, and the Arts. 2019. V. 13. № 2. P. 144–152.

37. Runco M.A. Creativity need not be social. Social creativity (V. I). In Eds. A. Montuori, R. Purser. Cresskill: Hampton Press, 1999. P. 237–264.

38. Runco M.A., Acar S. Divergent thinking as an indicator of creative potential. Creativity Research Journal. 2012. V. 24. № 1. P. 66–75.

39. Runco M.A., Acar S. Divergent Thinking. The Cambridge Handbook of Creativity. In Eds. J.C. Kaufman, R.J. Sternberg. Cambridge: Cambridge University Press. 2019. P. 224–254.

40. Runco M.A., Beghetto R.A. Primary and secondary creativity. Current Opinion in Behavioral Sciences. 2019. V. 27. P. 7–10.

41. Runco M.A., Millar G., Acar S., Cramond B. Torrance tests of creative thinking as predictors of personal and public achievement: A fifty-year follow-up. Creativity Research Journal. 2010. V. 22. № 4. P. 361–368.

42. Runco M.A., Mraz W. Scoring divergent thinking tests using total ideational output and a creativity index. Educational and Psychological Measurement. 1992. V. 52. № 1. P. 213–221.

43. Said-Metwaly S., Kyndt E., Van den Noortgate W. Approaches of measuring creativity: A systematic literature review. Creativity. Theories – Research – Applications. 2017. V. 4. P. 238–275.

44. Said-Metwaly S., Van den Noortgate W., Kyndt E. Methodological issues in measuring creativity: A systematic literature review. Creativity. Theories – Research – Applications. 2017. V. 4. P. 276–301.

45. Silvia P.J. Creativity and intelligence revisited: A latent variable analysis of Wallach and Kogan. Creativity Research Journal. 2008. V. 20. № 1. P. 34–39.

46. Silvia P.J., Nusbaum E.C., Berg C., Martin C., O’Connor A. Openness to experience, plasticity, and creativity: Exploring lower-order, high-order, and interactive effects. Journal of Research in Personality. 2009. V. 43. № 6. P. 1087–1090.

47. Silvia P.J., Winterstein B.P., Willse J.T., Barona C.M., Cram J.T., Hess K.I., Martinez J.L., Richard C.A. Assessing creativity with divergent thinking tasks: Exploring the reliability and validity of new subjective scoring methods. Psychology of Aesthetics, Creativity, and the Arts. 2008. V. 2. № 2. P. 68–85.

48. Sijtsma K. On the use, the misuse, and the very limited usefulness of Cronbach’s alpha. Psychometrika. 2009. V. 74. № 1. P. 107–120.

49. Toivainen T., Olteteanu A.M., Repeykova V., Lihanov M., Kovas Y. Visual and linguistic stimuli in the Remote Associates Test: a cross-cultural investigation. Frontiers in Psychology. 2019. V. 10. P. 926.

50. Vacha-Haase T., Ness C., Nilsson J., Reetz D. Practices regarding reporting of reliability coefficients: A review of three journals. The Journal of Experimental Education. 1999. V. 67. № 4. P. 335–341.

51. Weisberg R.W. On the usefulness of “value” in the definition of creativity. Creativity Research Journal. 2015. V. 27. № 2. P. 111–124.

52. Yoon C.H. A validation study of the Torrance Tests of Creative Thinking with a sample of Korean elementary school students. Thinking Skills and Creativity. 2017. V. 26. P. 38–50.

Comments

No posts found

Write a review
Translate