МЕТОД КОЛИЧЕСТВЕННЫХ ОЦЕНОК РАНЖИРОВАННЫХ ФАКТОРОВ ПЕДАГОГИЧЕСКИХ ИССЛЕДОВАНИЙ

Зиброва Надежда Владимировна Кравцов Евгений Владимирович Леньшин Андрей Валентинович

Метод количественных оценок ранжированных факторов педагогических исследований

В статье рассматривается методика организации и проведения экспертных оценок педагогических исследований. Определяется порядок задания целевых установок педагогических исследований, построения и изучения моделей педагогических экспериментов на основе экспертных оценок.

Method of quantitative evaluation of ranked factors in pedagogical research

The article discusses the method of organizing and conducting expert assessments of medical research. The procedure for setting targets for pedagogical research, building and studying models of pedagogical experiments on the basis of expert assessments is determined.

Значительное усложнение перечня задач обучения в военных вузах, их разноплановость при комплексном обучении специалистов комплексного технического контроля (далее - КТК) и формировании умений и навыков применения средств КТК, а также необходимость моделирования различных вариантов оперативно-тактической и радиоэлектронной обстановки, содержащих десятки и сотни разнообразных параметров, оказывают существенное влияние на результаты принятия обучения и управления его качеством.

Необходимый уровень знаний, умений и навыков может быть достигнут за счет формализации интеллектуальных функций по формированию наборов исходных данных установленной градации сложности, оказывающих информационно-обучающее воздействие в зависимости от конкретной задачи обучения и реализующих рациональные условия обучения принятию решения [1; 2]. При этом должны учитываться: целевые функции формирования компетенций у специалистов КТК; психолого-педагогические условия обеспечения дидактической эффективности обучения; содержательные аспекты боевой деятельности; инженерно-технический облик современной техники КТК.

Процесс подготовки военных специалистов, рассматриваемый с позиций общей теории управления [3], является весьма непростым

объектом для исследований. Из-за сложности данного процесса на современном этапе развития научно-методического аппарата наблюдается существенная дифференциация исследований на большое число направлений, зачастую не охваченных единством целей. При этом актуальными становятся вопросы систематизации, координации, интеграции и комплексности проводимых исследований с единых позиций, т. е. необходим системный подход к проведению педагогических исследований [4].

Система педагогических исследований должна характеризоваться иерархической совокупностью целей. Можно выделить следующие уровни целевых установок:

Частные цели исследований должны быть согласованы, координированы между собой и направлены на повышение эффективности и качества учебно-воспитательного процесса.

Целью настоящей статьи является разработка методики количественных оценок ранжированных факторов педагогических исследований за счет определения иерархической совокупности моделей и эвристических закономерностей.

Важным направлением педагогических исследований является построение и изучение моделей, описывающих различные стороны процесса подготовки военных специалистов. Приступая к планированию педагогических экспериментов и построению моделей, нужно помнить о том, что предельно упрощенные модели целесообразно исследовать с учетом выходных эффектов и ограниченного набора главных влияющих факторов. Такие модели позволяют выявлять основные тенденции в подготовке военных специалистов.

Главными элементами системного подхода, используемого при проведении педагогических исследований, являются: разработка системы целевых установок исследований; создание моделей и эвристических методов, позволяющих изучать отдельные аспекты процесса подготовки военных специалистов; разработка единой системы сбора и обобщения исходных данных.

Педагогические исследования предполагают получение количественных результатов. Объектами измерений могут быть самые разнообразные параметры: 1) показатели эффективности и качества выполнения выпускниками своих служебных обязанностей; 2) успеваемость обучающихся по отдельным дисциплинам; 3) уровень усвоения материала; 4) результаты текущего контроля; 5) уровень профессиональной подготовки профессорско-преподавательского состава; 6) качество сдачи государственной итоговой аттестации.

В ряде случаев между отдельными объектами может быть установлено только отношение предпочтительности, т. е. без отнесения их к каким-либо классам. При этом объекты ранжируются, т. е. составляется их список, в котором каждый предыдущий объект предпочтительнее последующего. В определенных случаях каждому объекту может присваиваться некоторое численное значение - так называемый вес (или ранг).

При ранжировании эксперт должен расположить объекты (факторы) в порядке, который представляется ему наиболее рациональным, и приписать каждому из них числа натурального ряда - ранги. При этом наименьший ранг получает наиболее предпочтительный объект.

Число рангов должно быть равно числу ранжируемых объектов. В ряде случаев оценки факторов перед ранжированием нормируют и усредняют.

Для нормирования оценки по всем факторам суммируются, а затем каждая из них делится на полученную сумму:

где Ру - оценка, данная у-м экспертом /&-му фактору, о - нормированная оценка /&-го фактора, данная у-м экспертом.

Когда в экспертизе участвуют несколько экспертов, то обычно они стремятся получить усредненную оценку для каждого фактора. Для этого нормированные оценки каждого фактора суммируются, а полученный результат делится на количество экспертов М: 1 м

О=М IО • (2)

где Оу - усредненная оценка /-го фактора; О - н о р м ированная оценка /-го фактора, данная у-м экспертом.

Групповая оценка, получаемая в ходе экспертиз, может считаться достаточно надежной только при условии хорошей согласованности ответов опрашиваемых специалистов. Поэтому статистическая обработка информации, предоставленной экспертами, должна включать в себя оценку степени согласованности их мнений. Для этих целей чаще всего используют коэффициент вариации (Ку, %), который вычисляется для каждого фактора по формуле

где В - оценка среднего значения фактора, й - дисперсия оценок данного фактора.

Этот коэффициент характеризует степень разброса оценок, сделанных экспертами по отдельным факторам, полученным в процессе ранжирования. При большом количестве факторов, а также незначительных различиях между ними выставление оценок вызывает определенные затруднения. Для их преодоления может быть использован метод парных сравнений.

Он же может применяться для установления суммарных рангов факторов. Для этого на основании ответов эксперта составляется матрица

X = I X,

элементом которой является

х. = 1 (/&, У = 1,2 ... п), если эксперт предпочитает p{J = = I .— ехр(—/ ¡T)di.

/&-й фактор 7-му. Ранжирование производят, используя величину

г .. а

У У У , (7)

где 5, 5у - шкальные оценки факторов; -среднее квадратическое отклонение распределения разности 5 - 5^; z¡j - нормированное отклонение, соответствующее Ру

шкальных оценок

определить z7j и со-Принимая z за разПолученные индивидуальные предпочтения экспертов усредняются с учетом мнений всех исследователей. При этом заполняется новая матрица Р = | | р У | | . Элементы матрицы Р определяются следующим образом:

Процедура построения состоит в том, чтобы по р, ставить матрицу Z = |\\гу ницу оценок важности по некоторой шкале и выбирая начало шкалы таким образом, чтобы сумма оценок всех факторов равнялась нулю, можно получить оценки важности факторов по формуле:

где хк - элемент матрицы X, заполненной по данным к-го эксперта; М - число экспертов.

На основе матрицы Р можно не только проран-жировать факторы, но и получить их оценки по интервальной шкале. Величина р. имеет смысл относительной частоты предпочтений экспертами /&-го фактора 7-му. Можно предположить, что частота предпочтений является оценкой вероятности и связана с разностью значений важностей факторов функций распределения

Ру = н ( V - V ) , (6)

где р7 - вероятность предпочтения /-го фактора 7-му; V - важность /-го фактора; - важность 7-го фактора.

При большом числе экспертов разности между их оценками распределяются по нормальному закону. Следовательно, если эксперты приписывают факторам Я (/ = 1, 2 ... п) числа 5у(/ = 1, 2 ... п) в соответствии со степенью обладания ими каким-то качеством, то числа 5. представляют собой шкальные оценки Я, а разность между такими оценками двух факторов можно показать с помощью модели шкалы:

где zij - оценка важности /-го фактора; N -число факторов.

Описанный метод позволяет получить оценки по интервальной шкале. Он был апробирован в ходе педагогического эксперимента по оценке формирования профессиональной компетентности специалистов КТК в ВУНЦ ВВС «ВВА» (г. Воронеж), в котором приняли участие 95 курсантов академии в период с 2016 по 2019 г. [4]. В качестве экспертов выступили преподаватели специальных дисциплин кафедры информационной безопасности академии (5 человек). Педагогический эксперимент включал в себя три этапа: 1) констатирующий; 2) формирующий; 3) обобщающий. По его результатам было установлено, что сформированность профессиональной компетентности специалистов КТК находится на уровне, достаточном для успешного выполнения профессиональных задач.

Для проведения качественного и количественного анализа процесса подготовки специалистов КТК и его прогнозирования в целях обеспечения максимально возможной эффективности обучения [6] необходим объективный контроль степени усвоения материала и сформирован-ности компетенций. Таким образом, на основе установления отношений предпочтительности между объектами оценивания в педагогических исследованиях и ранжирования оценок экспертов была выработана методика получения количественных оценок по интервальной шкале.

те информации с применением современных образовательных технологий // Информация и безопасность. 2016. Т. 19. Вып. 3.

the modern educational technologies //Information and safety. 2016. Vol. 19. Iss. 3.

СВЕДЕНИЯ ОБ АВТОРАХ

Зиброва Надежда Владимировна, кандидат географических наук, доцент, Военный учебно-научный центр Военно-воздушных сил «Военно-воздушная академия имени профессора Н.Е. Жуковского и Ю.А. Гагарина» (г. Воронеж); e-mail: vaiu@mil.ru;

Кравцов Евгений Владимирович, кандидат технических наук, доцент, Военный учебно-научный центр Военно-воздушных сил «Военно-воздушная академия имени профессора Н.Е. Жуковского и Ю.А. Гагарина» (г. Воронеж); e-mail: EvgenijKravtsov@mail.ru

Леньшин Андрей Валентинович, доктор технических наук, профессор, Военный учебно-научный центр Военно-воздушных сил «Военно-воздушная академия имени профессора Н.Е. Жуковского и Ю.А. Гагарина» (г. Воронеж); e-mail: andrey-lenshin@yandex.ru

INFORMATION ABOUT AUTHORS

N.V. Zibrova, Candidate of Geographical Sciences, Assistant Professor, Military Educational Scientific Center of Air forces «Air-force academy of professors N.E. Zhukovsky name and Yu.A. Gagarin» (Voronezh); e-mail: vaiu@mil.ru;

E.V. Kravtsov, Candidate of Technical Sciences, Assistant Professor, Military Educational Scientific Center of Air forces «Air-force academy of professor N.E. of Zhukovsky name and Yu.A. Gagarin» (Voronezh); e-mail: EvgenijKravtsov@mail.ru;

A.V. Lenshin, Doctor of Technical Sciences, Professor, Military Educational Scientific Center of Air forces «Air-force academy of professors N.E. Zhukovsky name and Yu.A. Gagarin» (Voronezh); e-mail: andrey-lenshin@yandex.ru