Спросить
Войти
УДК 378.091.398+159.9.07
Психодиагностические аспекты внутренней системы оценки качества образования в учреждениях дополнительного профессионального образования
Е. В. Бенко
Psychodiagnostic aspects of the internal system of educational quality assessment in the institutions of additional professional education
E. V. Benko
Аннотация. В статье рассматриваются общие требования и принципы проведения мониторинговых исследований в рамках внутренней системы оценки качества образования в учреждениях дополнительного профессионального образования. Поскольку мониторинговое исследование представляет собой диагностическую процедуру, для формулировки данных требований были использованы основные принципы психодиагностики, которые обеспечивают соблюдение социально-этических норм.
Раскрываются различные ситуационные факторы, влияющие на процедуру проведения исследования.
Основываясь на практических рекомендациях, получивших разработку в публикациях по психодиагностике, предложены основные этапы подготовки аудитории к заполнению бланков мониторингового исследования; представлены примеры из практики, демонстрирующие затруднения, возникающие на разных этапах подготовки.
Описаны случаи изъятия бланков при их неправильном заполнении, обозначены основные причины неправильного понимания инструкции и способы их предотвращения.
Abstract. The article examines the general requirements and principles of monitoring studies within the internal system of educational quality assessment in the institutions of additional professional education. Since the monitoring study is a diagnostic procedure, the main principles of psychodiagnostics that ensure compliance with social and ethical norms were used to formulate these requirements.
The article also discloses various situational factors that influence the research procedure. The author proposes the main stages of preparing audience for completing forms of the monitoring study and presents some examples from practice that demonstrate the difficulties at the different stages of preparation. There are described the cases of forms destruction when they are incorrectly filled and indicated the main causes of misunderstanding the instructions and ways to prevent them.
Согласно федеральному закону «Об образовании в Российской Федерации» образовательная организация должна регулярно проводить самообследование и обеспечивать функционирование внутренней системы оценки качества образования [1, ст. 28 п. 13]. Внутренняя система оценки качества образования подразумевает необходимость в организации регулярной оценки качества образовательной деятельности, условий ее реализации и образовательных достижений, что обеспечивается посредством мониторинговых исследований.
На текущем этапе развития системы дополнительного профессионального образования
регулярная оценка качества образования характеризуется особой значимостью и актуальностью, поскольку основная цель деятельности образовательных организаций направлена в первую очередь на потребителя. Современные исследования показывают, что на данный момент существует ряд противоречий между потребностями слушателей курсов повышения квалификации и предоставляемыми им образовательными услугами. В частности, различными исследователями отмечаются: отсутствие нормативных регламентов деятельности, недостаточная компетентность преподавательских кадров, непрозрачность критериев качества для потребителей [2, с. 6-7]; несоответствие содержания познавательным и профессиональным интересам разных групп слушателей [3, с. 237]; низкий уровень интерактивности занятий, знакомство с теоретическими концепциями, не привязанными к конкретному опыту слушателя, «перенос» во взрослую аудиторию методики работы со студентами в вузе [4, с. 2-3].
В образовательном пространстве повышения квалификации мониторинговые исследования позволяют провести анализ эффективности программ дополнительного профессионального образования, определить уровень проведения учебных занятий, установить основные запросы на образовательные услуги [5, с. 31-33]; определить уровень профессиональной компетентности преподавателей [6, с .74]; выявить качество курсового обучения, специфику и статистическую динамику социальных и педагогических процессов [7, с. 3]. Полученные в ходе мониторинга данные являются основой для разработки планов корректирующих и предупреждающих мероприятий и принятия управленческих решений с целью улучшения качества предоставляемых образовательных услуг [8].
Каждое мониторинговое исследование в системе дополнительного профессионального образования сопровождается определенным регламентом, установленным нормативным локальным актом образовательной организации. Данный регламент содержит нормы касательно объема выборки исследования, ее репрезентативности, временного промежутка проведения исследования, содержание отчета и т. д., которые в разных образовательных организациях будут иметь свою специфику. Тем не менее,
ряд определенных требований и принципов должен соблюдаться во всех без исключения исследованиях, поскольку это позволит снизить возможность искажения результатов исследования, оптимизировать процедуру проведения исследования, облегчить подготовку новых специалистов и обеспечить психологически безопасные условия для респондентов в ходе исследования. В связи с тем, что мониторинговое исследование представляет собой диагностическую процедуру, в основу данных требований представляется целесообразным положить основные принципы психодиагностики.
Принципы психодиагностики в мониторинговых исследованиях
Психодиагностика представляет собой область психологии, целью которой является разработка, проверка и корректное использование диагностического инструментария для измерения каких-либо индивидуальных психологических особенностей. В случае мониторинговых исследований в учреждениях дополнительного профессионального образования, бесспорно, психологические особенности изучаются не всегда, тем не менее, основные принципы психодиагностики направлены на соблюдение социально-этических норм, которые распространяются на все, без исключения, исследования.
Основными принципами психодиагностики, по мнению Р. С. Немова, являются:
- принцип соблюдения тайны;
- принцип научной обоснованности;
- принцип ненанесения ущерба;
- принцип объективности выводов;
- принцип эффективности предлагаемых рекомендаций [9, с. 19-20].
Принцип соблюдения тайны подразумевает запрет на разглашение результатов исследования без согласия респондента либо их представление без указания имен и в обобщенном виде. В первую очередь это обусловлено этической составляющей, которая вполне очевидна и подразумевает недопустимость публичного разглашения персональной информации о респонденте или конкретных ответов, указанных им в бланке, поскольку это может нанести ему вред.
Данный принцип также применяется в мониторинговом исследовании в случае использования методик, результаты которых могут
быть искажены в случае отсутствия конфиденциальности. Например, в исследованиях уровня проведения учебных занятий профессорско-преподавательским составом, при взгляде на графу бланка «Фамилия, имя, отчество» многие респонденты либо отказываются заполнять листы оценки учебного занятия, либо проставляют намеренно только хорошие оценки, чтобы не испортить свои отношения с преподавателем или кафедрой, что впоследствии может негативно отразиться на учебных результатах. Подобные исследования можно проводить и анонимно, тем не менее, есть и обратная сторона такого подхода: отсутствие необходимости указывать имя может вызвать у некоторых респондентов чувство безнаказанности, которое повлечет, наоборот, неадекватно заниженные оценки.
Принцип ненанесения ущерба предполагает недопустимость использования результатов исследования в целях, не соответствующих научным, и способных причинить вред респонденту. Во многом данный принцип согласуется с принципом соблюдения тайны, поскольку именно нарушение конфиденциальности данных чаще всего может нанести ущерб респонденту. Также в ходе мониторингового исследования могут возникнуть непредвиденные ситуации, конфликты, отказы от заполнения бланков и т. д., в ходе которых специалист может в силу скопившегося эмоционального напряжения нарочно или невзначай причинить вред респонденту своим поведением или резким высказыванием. В любом случае, с целью предотвращения непонимания и предупреждения ситуаций, способных каким бы то ни было образом навредить респонденту, необходимо быть вежливым, дружелюбным и предоставлять информацию о проводимом мониторинге: с какой целью проводится исследование, что будет исследоваться, кем и как будут использоваться результаты.
Принцип научной обоснованности говорит о необходимости использования надежного и валидного инструментария. Соответствие критерию валидности свидетельствует о том, что данный инструментарий действительно измеряет то, что заявлено, а соответствие критерию надежности позволяет получать устойчивые согласованные результаты. Реализация указанного принципа обеспечивает соответствие результатов целям исследования и предотвращает получение ошибочных результатов. Таким образом, для каждого мониторингового исследования должен быть подобран соответствующий инструментарий, который будет направлен на изучение необходимого свойства или явления, указанного в цели исследования.
Принцип объективности выводов гласит о необходимости предоставления объективных данных. Во-первых, данный принцип накладывает ограничения на вольные субъективные интерпретации в ходе мониторинговых исследований, что подразумевает определенную компетентность специалистов, обеспечивающую правильную интерпретацию результатов исследования и владение способами предоставления инструкции и стимульного материала, а также незаинтересованность специалистов в изменении каких бы то ни было показателей и данных.
Во-вторых, данный принцип обуславливает необходимость проводить анализ результатов, полученных только при помощи проверенного и надежного инструментария, соответствующего целям исследования. Следовательно, осуществление данного принципа возможно только при соблюдении принципа научной обоснованности.
В-третьих, исследование должно проводиться на выборке определенного объема и состава. Состав выборки определяется целями исследования, объем же зависит от допустимого предела погрешности и уровня доверия.
Таким образом, использование надежного и обоснованного диагностического инструментария, объективность и компетентность специалистов, соответствующий объем и состав выборки в полной мере обеспечивают объективность полученных выводов.
Принцип эффективности предлагаемых рекомендаций подразумевает, что по результатам диагностики будут сформулированы практические рекомендации, которые будут полезны и не будут иметь негативных и непредсказуемых последствий.
На основании анализа результатов мониторинговых исследований в системе дополнительного образования также должны быть сформулированы предложения или указания по оптимизации образовательного процесса, которые будут способствовать улучшению качества предоставляемых образовательных услуг. В ином случае мониторинг не несет никакого смысла и проводится просто ради проведения.
Помимо основных принципов, психодиагностика также предъявляет особые требования к квалификации специалистов, основными из которых являются «хорошая теоретическая подготовка, доскональное знание психодиагностических методик и правил их применения, наличие достаточного опыта практического использования соответствующих методик» [9, с. 20].
Вполне целесообразно в таком случае обозначить это в отдельный принцип - принцип компетентности специалистов. Согласно данному принципу мониторинговые исследования могут проводить люди, которые ознакомлены с различным инструментарием, знают правила предоставления инструкции и стимульного материала, имеют опыт проведения исследований и обработки результатов.
Как можно увидеть, основные принципы психодиагностики оказываются вполне релевантными в отношении мониторинговых исследований. Это позволяет выделить ключевые требования к специалистам, которые ответственны за проведение мониторинговых исследований в системе дополнительного профессионального образования:
- проводить исследования должны специалисты, прошедшие инструктаж по работе с данным диагностическим инструментарием, подробно ознакомившиеся с его инструкцией и стимульным материалом;
- специалисты должны использовать только надежный и валидный диагностический инструментарий, соответствующий целям исследования, и предоставлять объективные данные, полученные в ходе анализа результатов;
- специалисты должны предоставлять информацию о проводимом мониторинге: с какой целью проводится исследование, что будет исследоваться, кем и как будут использоваться результаты;
- специалисты должны строго следовать инструкции проведения процедуры исследования и предъявления стимульного материала на каждой группе респондентов, заострять внимание на трудностях, возникающих в ходе заполнения бланков;
- специалисты не должны быть заинтересованы в изменении каких бы то ни было показателей и данных мониторингового исследования, а также не должны вмешиваться в работу респондентов и влиять на результаты, высказывая свое мнение по поводу того, как следует отвечать на тот или иной вопрос;
- специалисты должны сохранять конфиденциальность информации, предоставленной респондентом: для отчета все данные исследования должны быть представлены в обобщенном виде без указания фамилий респондентов (кроме специально оговоренных случаев).
Рассмотренные требования универсальны и позволяют эффективно и своевременно проводить исследования и получать надежные данные. Они могут быть дополнены рядом более частных требований в отдельных мониторинговых исследованиях.
Тем не менее, существуют также различные ситуационные факторы, способные в значительной мере повлиять на результаты исследования.
В связи с этим особое внимание следует уделить собственно процедуре проведения диагностики - подготовке аудитории, презентации инструкции, снятию эмоционального напряжения.
Процедура проведения диагностики
В психодиагностике отмечают, что помимо применяемой методики на результаты также имеет огромное влияние ситуация, в которой проходит исследование [9, с. 46].
Во многом результаты исследования зависят от эмоционального фона респондентов, поведения специалиста, проводящего исследование, и точности и доступности инструкции. Это обуславливает необходимость в создании определенных условий, которые бы максимально снизили риски искажения результатов из-за ситуационных факторов.
Наиболее легко контролируемым фактором в данном случае является поведение специалиста. Вполне очевидно, что специалист должен быть вежливым, спокойным и доброжелательным по отношению к респондентам, ведь «ничто не обходится нам так дешево и не ценится так дорого, как вежливость» (Мигель де Сервантес, «Дон Кихот»). Дружелюбная атмосфера, созданная специалистом, снизит эмоциональное напряжение и позволит
слушателям лучше сфокусироваться на предъявляемой инструкции.
На общий эмоциональный фон респондентов и готовность к восприятию инструкции во многом влияет подготовка аудитории к заполнению бланков мониторингового исследования. Группу слушателей курсов повышения квалификации или профессиональной переподготовки следует заранее предупредить о проведении в учреждении дополнительного профессионального образования мониторинговых исследований оценки качества образования и необходимости участия каждого слушателя. Об этом могут уведомить кураторы групп или преподаватели в ходе курсов.
Следующим этапом подготовки является непосредственное представление специалистами себя, своего мониторингового исследования и бланков, которые будет необходимо заполнить респондентам. И последним, третьим этапом является представление инструкции к заполнению бланков.
Данная подготовка к процедуре заполнения бланков может показаться необязательной, вследствие чего данные этапы могут игнорироваться или забываться. Пропуск любого из этапов может как иметь различные негативные последствия, так и не иметь.
При игнорировании первого этапа подготовки (уведомлении о мониторинговых исследованиях), группа слушателей может выдавать самые различные эмоциональные реакции, начиная с замешательства и заканчивая агрессивными высказываниями, которые могут помешать процедуре исследования. Реальные примеры реакции слушателей:
«Это что, контрольная? Нас никто не предупреждал!».
«Я не буду ничего заполнять! Этого нет в расписании!».
«Вы вообще кто? Какое еще исследование?».
«Как это отразится на моих оценках?».
Данные эмоциональные проявления могут негативно отражаться на результатах исследования, а также сопровождаться отказом заполнять бланк. Отказ одного респондента может спровоцировать за собой отказ еще нескольких, а также привести к нагнетанию эмоционального напряжения как других респондентов, так и специалистов. Более того, если данный инцидент произошел до завершения курсов повышения квалификации (профессиональной переподготовки), негативные последствия могут получить отражения и на других занятиях, внося неудобство в работу преподавателей.
Второй этап подготовки (непосредственное представление аудитории специалистов и мониторингового исследования) помимо соблюдения правил вежливого поведения, также несет функцию снижения эмоционального напряжения респондентов. Информация о количестве бланков и примерном объеме времени, требуемом для заполнения, подготовит респондентов к работе и сократит количество задаваемых вопросов в процессе заполнения.
Третий, наиболее значимый этап отведен собственно предоставлению инструкции к заполнению бланков. Значимость данного этапа очевидна, тем не менее, в случаях, когда инструкция достаточно проста и прописана в самом бланке, специалисты позволяют себе не озвучивать вслух данную инструкцию, предоставив респондентам самим ознакомиться с текстом. Это решение является ошибочным, поскольку именно на этом этапе возникает наибольшее количество вопросов от респондентов и ошибок при заполнении бланков.
Пример из практики: респондентам выдается два листа - на одном представлен стимуль-ный материал, на втором - бланк для внесения ответов. В инструкции прописано, что на первом листе ничего не нужно отмечать, необходимо лишь читать утверждение и указывать свой вариант ответа (согласен / не согласен) на втором листе в ячейке с номером данного утверждения. Самая встречаемая ошибка в данном случае - проставление ответов на листе со стимульным материалом. Вторая по встречаемости ошибка - проставление галочек напротив некоторых утверждений и игнорирование других (причем, чаще всего, опять же на бланке со стимульным материалом). Наиболее задаваемый вопрос - «А для чего нужен второй листочек?».
Таким образом, даже стандартная довольно часто встречающаяся инструкция в силу различных факторов может вызвать затруднения и быть неправильно проинтерпретированной. Такими факторами могут выступать:
- возрастные изменения;
- особенности темперамента;
- усталость, утомление;
- эмоциональное состояние;
- особенности условий, в которых проводится опрос (духота, отсутствие парт, низкий уровень освещенности и т. д.);
- непредвиденные обстоятельства.
Инструкция, представленная вслух хорошо
подготовленным специалистом и продублированная письменно на бланке, а также перечисление для респондентов наиболее часто встречающихся ошибок и сложных моментов позволяют максимально снизить число неправильно заполненных бланков. При реализации всех трех этапов подготовки с огромной вероятностью процедура проведения диагностики будет осуществлена быстро, не вызовет негативных эмоциональных реакций и отказа от заполнения бланков. Тем не менее, периодически возникают ситуации, требующие изъятия и уничтожения бланков.
Случаи изъятия бланков
В ходе мониторингового исследования неоднократно возникает необходимость в изъятии и уничтожении бланков. Следует сразу отметить, что данная процедура производится специалистами без присутствия респондентов и при согласовании с руководителем структурного подразделения. Это также обусловлено рядом социально-этических норм и соблюдением регламента исследования.
Изъятие бланков может быть вызвано чрезмерным количеством бланков или несоответствием респондентов заявленным требованиям к выборке мониторингового исследования. Данные случаи встречаются весьма редко и обусловлены неправильной организацией и планированием проведения мониторинга. Наиболее же частой причиной уничтожения бланка является его неправильное заполнение, что во многом обусловлено неверной процедурой проведения мониторинга и предоставления инструкции.
Реже ошибки при заполнении бланка вызваны психологической и/или физической спецификой собственно респондента (сильные возрастные изменения, отсутствие очков, негативный настрой, безразличие и т. д.).
Пример из практики: мужчина старше 70 лет не смог воспринять инструкцию на слух и прочитать ее на бланке. При индивидуальном объяснении не смог понять, что от него требуется.
В ходе заполнения бланка расставил пометки наугад, оставив большую часть полей пустыми. В данном примере возрастные изменения столь значительны, что заполнить бланк даже с активной помощью специалиста не представляется возможным. В подобной ситуации нельзя выделять респондента среди других, не выдав ему бланк, или же, наоборот, настаивать на обязательном его заполнении. В первом случае это может нанести ущерб респонденту, подчеркнув его неполноценность по сравнению с другими. Во втором случае это также может нанести ущерб в связи с тем, что физические возможности человека не могут позволить выполнить данное требование. Если у респондентов отмечаются серьезные объективные причины, которые не позволяют ему выполнить инструкцию, скорее всего, они об этом сообщат и откажутся от заполнения. Тем не менее, в ситуации, когда, несмотря на объективные затруднения, респондент принимает решение заполнить бланк и делает это неправильно, лучшим вариантом будет изъятие и уничтожение этого бланка без присутствия респондента, чтобы не обесценить его труд.
В ряде случаев допускается изъятие бланков с негативными результатами из-за предвзятости оценки отдельного респондента. В частности, подобные ситуации могут возникнуть при проведении мониторинга удовлетворенности слушателями работой преподавателей в ходе курсов повышения квалификации или профессиональной переподготовки. Однако, следует отметить, что данные ситуации встречаются крайне редко и обусловлены личной неприязнью определенного респондента к конкретному преподавателю, возникшей вследствие конфликтов на предыдущем месте работы или в ходе личных взаимоотношений, предшествующих курсам в учреждении дополнительного профессионального образования. Процедура изъятия бланка с негативными результатами осуществляется в том случае, если специалист был заранее уведомлен преподавателем о присутствии в выборке респондента, с которым у него в прошлом возникали конфликтные ситуации, вследствие которых респондент может предвзято оценить работу данного преподавателя.
Данный бланк, если действительно подтверждается факт предвзятой оценки в отношении преподавателя по сравнению с результатами других респондентов данной выборки, подлежит уничтожению без демонстрации его преподавателю с целью сохранения конфиденциальности информации. В случае возникновения конфликтных ситуаций в ходе курсов повышения квалификации или профессиональной подготовки, бланки с негативными результатами не подлежат изъятию.
Анализ основных принципов психодиагностики позволил сформулировать ряд требований к специалистам, обеспечивающим проведение диагностики в ходе мониторинговых исследований; определить основные этапы подготовка аудитории к процедуре заполнения бланков; описать процедуру изъятия бланков с соблюдением социально-этических норм. Соблюдение данных психодиагностических аспектов в мониторинговых исследованиях позволяет получить объективную, прозрачную, валидную оценку образовательной деятельности, что является важным в построении внутренней системы оценки качества. На основе полученных данных можно принимать управленческие решения с целью оптимизации образовательного процесса и улучшения качества предоставляемых образовательных услуг.
Библиографический список:
References:
Conceptual ideas for updating the content of teacher&s additional professional education. Problems and prospects of education development in Russia [Kontseptual&nye idei
obnovleniya soderzhaniya dopolnitel&nogo professional&nogo obrazovaniya pedagoga. Problemy i perspektivy razvitiya obrazovaniya v Rossii], 2012, No. 15, pp. 235-239.
[Monitoringovye issledovaniya kachestva dopolnitel&nogo professional&nogo obrazovaniya: sotsiokul&turnyy kontekst], Bulletin of Chelyabinsk State University, 2016, No. 9, pp. 71-77.
