Джеймс Кеттелл опубликовал книгу American Men of Science / Американские ученые, где предложил способ оценки творческих деятелей…
Анализ оценки способностей на биографическом и справочном материале впервые осуществил Фрэнсис Гальтон в «Наследственности таланта». В дальнейшем Джеймс Кеттелл усовершенствовал эту методику.
«Оценка качества учёного или деятеля искусства производилась на основе подсчёта количества строчек в энциклопедиях и справочниках, полученных премий и степеней и других искусственных критериев. […]
Метод Д. МакКин Кеттелла был подвергнут справедливой критике Гезой Ревесом, который указал, что с его помощью Сен-Санс и Берлиоз оказываются гениальнее Баха, Россини - Бетховена, Бизе - Шуберта и т. д. […]
Таким образом, этот подход не предполагает качественной оценки вклада, а ограничивается лишь количественной стороной творчества. Такая методика, очевидно, имеет смысл для оценки продуктивности труда инженеров, изобретателей и рационализаторов среднего масштаба, но для оценки выдающихся вкладов, имеющих историческое значение, она оказывается абсолютно неадекватной.
Метод сопоставления авторитетных мнений методически прост, позволяет выводить многобалльные оценки и удобен для статистической обработки. Недостаток же его - трудоёмкость.
Подсчитывание строчек в энциклопедиях или ссылок в исторической литературе - работа крайне кропотливая и однообразная, требующая от исследователя немалого терпения. Другим, более принципиальным недостатком данного метода является его низкая валидность, которая в данном случае зависит от ряда факторов:
1. Количество строчек в энциклопедии зависит не только от значимости данного автора, но и от других причин. Например, если биография исследуемого лица была полна драматических событий, не имеющих непосредственного отношения к его работе, объём текста от этого, очевидно, будет возрастать. Значимость вклада, каким бы авторитетным и беспристрастным арбитром она ни определялась, не может быть измерена с той же объективностью какой приборы могут измерить время реакции и другие психологические свойства. Например, в наши дни историки науки по-разному оценивают творчество Кеплера, Кювье, Фрейда. Особенно большими разногласиями отличаются взгляды искусствоведов. В литературной критике можно натолкнуться, к примеру, на отрицательное отношение к творчеству Аристофана, Герцена, Кафки, Рафаэля, Матисса, Бетховена и Чайковского.
Ещё менее надежным и необъективным является мнение коллег (как известно, Павлов и Бехтерев взаимно принижали значимость достижений друг друга, Карл фон Бэр отрицательно относился к эволюционной теории Дарвина, Толстой не любил Шекспира, Гёте - Гофмана, Бородин - Вагнера). Личный субъективизм можно преодолеть, сопоставляя оценки большого числа судей. Труднее учесть исторический и географический субъективизм.
2. Исторический субъективизм оценки основан на том положении, что значимость вклада - величина векторная, она зависит от времени, от исторического периода. Шкала оценки не является одной и той же для всех времен и народов. Она очень подвижна. Идея, признанная новаторской сегодня, через некоторое время может восприниматься иначе. Например, теория теплорода в физике, теория катастроф в биологии, эндокринная теория старения Ш. Броун-Секара - концепции в прошлом популярные, теперь воспринимаются как устаревшие или требующие кардинальных дополнений. Ныне забыт первый живописец короля Шарль Ванлоо (вторая половина XVIII в.), которого при жизни уподобляли Рафаэлю и Тициану, почт полностью забыт итальянский композитор Дж. Сарти (1729-1802), пользовавшийся большой известностью и авторитетом при жизни, а также итальянский композитор П. Паизиелло, который был чрезвычайно популярен в XVIII веке. Преодолеть такой субъективизм можно, сопоставляя оценки «судей», живших в разные исторические периоды. Однако больше доверять следует оценкам тех «судей», которые жили позднее изучаемых лиц, так как испытание временем увеличивает объективность оценки.
3. Географический или национальный субъективизм заключается в том, что авторы каждой нации склонны давать завышено-пристрастную оценку достижениям своих соотечественников. В связи с этим исследователи должны по возможности ориентироваться на мнение «незаинтересованных судей».
Кроме того, в истории науки обязательно упоминаются так называемые случайные открытия или наблюдения, которые не сопровождаются серьёзной творческой работой и приобретают значение только в аспекте доследующих исследований. Например, Роберт Гук в XVII веке обнаружил в растительных тканях клетку, однако значения своего открытия не осознал. И только через сто с лишним лет открытие Р. Гука приобрело вдруг первостепенное значение в свете работ М. Шлейдена и Т. Швана. Таким образом, подлинно научное открытие и описание клетки сделано М. Шлейденом и Т. Шваном, однако автор любого учебника по истории естествознания или биологии упомянет случайное открытие Р. Гука с не меньшей вероятностью, чем работы М. Шлейдена, Т. Швана, Р. Вирхова, И. Мечникова и других учёных, чей вклад в развитие клеточной теории несоизмеримо превосходит первое обнаружение клетки.
В историко-научной литературе значительно чаще упоминается открытие в 1827 году броуновского движения английским ботаником Броуном, в то время как наиболее значительная его работа - о различиях голо- и покрытосеменных растений (1825) упоминается гораздо реже».
Бодалёв А.А., Рудкевич Л.А., Как становятся великими или выдающимися?, М., «Издательство Института Психотерапии», 2003 г., с. 198-200.