Что такое прокторинг и почему с ним лучше
В связи с пандемией коронавируса, университеты были вынуждены перевести студентов на дистанционное обучение. Однако подобные меры открывают перед студентами множество способов облегчения тестирования. Надежное средство в решении проблемы контроля – система прокторинга, работа которой основана на технологиях искусственного интеллекта. С ее помощью удастся предотвратить списывание во время дистанционных экзаменов и решить ряд других задач, с которыми столкнулось большинство учебных заведений.
Онлайн-прокторинг – специальная система, предназначенная для автоматического обнаружения запрещенных действий во время сдачи экзамена. Система ставит соответствующую пометку при попытке открытия другой вкладки в браузере или использования шпаргалки. После чего эти сведения направляются экзаменатору.
Как можно использовать прокторинг
Чаще всего наблюдение за проведением дистанционного экзамена осуществляет проктор. В обязанности этого специально обученного специалиста входит отслеживание ошибок, которые могла допустить программа. Ее работа в равной мере эффективна как в случае с отдельными пользователями, так и многотысячной аудиторией. Для осуществления проверки потребуется лишь компьютер с выходом в интернет.
Прокторинг простыми словами – это процедура наблюдения за ходом экзамена. В зависимости от типа прокторинга он может применяться для различных видов испытаний. Можно классифицировать их следующим образом:
- Синхронный прокторинг – применяется преимущественно во время проведения письменных экзаменов или тестирований. Наблюдение за их ходом осуществляет проктор, главной задачей которого является контроль прозрачности проведения экзамена, а также идентификация личности учащегося. Помимо этого, в его задачи входит комментирование действий студента, для чего используется специальный чат в интерфейсе программы. При несоблюдении правил он может прервать процесс тестирования.
- Асинхронный прокторинг с постпроверкой – служит также для контроля за проведением письменного экзамена. Но выявление нарушений, осуществляет не человек, а программное обеспечение. Фиксация нарушений при этом не служит причиной для прекращения тестирования, и запись процесса отправляется сотруднику вуза для подтверждения факта нарушения процедуры. В обратном случае – экзамен признается сданным.
- Автоматический мониторинг – для этой процедуры характерно отсутствие человека. Контроль действий студента и проверку осуществляет ИИ.
Помимо этого, система прокторинга применима и для устных экзаменов. В этом случае процесс будет напоминать традиционный способ проведения. Экзаменатор озвучивает вопрос и дает студенту несколько минут для подготовки ответа, по истечению которых тот озвучивает ответ в комнате с комиссией. Тем временем возможность подготовки ответа под наблюдением проктора переходит к следующему экзаменуемому.
Как работает прокторинг
Алгоритм работы заключается в нескольких шагах, которые следует выполнить до и во время экзамена. Итак, прежде чем приступать к тестированию студенту необходимо совершить несколько действий:
- Предоставить системе доступ к микрофону и веб-камере компьютера.
- Выполнить проверку стабильности интернет-соединения с помощью программы удаленного прокторинга.
- Пройти проверку оборудования, в том числе на отсутствие подключения второго экрана, а также попытки стимуляции и имитации экрана.
- При успешном прохождении вышеуказанных требований программа запросит предоставление фото экзаменуемого с удостоверяющим личность документом. Для этого подойдет паспорт, студенческий билет и водительское удостоверение.
- Можно переходить к началу экзамена.
С началом тестирования система выполняет анализ поведения тестируемого. Наиболее часто в рамках работы систем онлайн-прокторинга осуществляется отслеживание ряда параметров:
- изменение траектории взгляда;
- установление человеческой речи и невербального общения;
- выявление факта использования сторонних гаджетов;
- обнаружение шпаргалок, учебников и т. д.;
- выявление факта переключения вкладок браузера;
- обнаружение использования широковещательного ПО.
Правила контроля могут корректироваться в случае разрешения использования бумаги и письменных принадлежностей, а также калькулятора внутри программы в ряде определенных ситуаций. По завершению экзамена система рассчитывает вероятность нарушений и предоставляет отчет по каждому из них с указанием отметки времени.
Ограничения и последствия онлайн-прокторинга
В силу ограниченных возможностей системы в некоторых случаях может потребоваться изменение процедуры проведения тестирования, а также усложнение технического оснащения. Внедрение дистанционного контроля также требует упрощать и удалять определенные задания тестирования. Это вызвано необходимостью сокращения времени на подготовку ответа. Более того, не все экзамены могут проводиться в онлайн-формате.
Кому нужен прокторинг
Наиболее востребована система прокторинга для образовательных учреждений, причем, не только для осуществления контроля письменных тестирований, но и для контроля соблюдения правил во время устных и прочих видов экзаменов.
Помимо этого, применение алгоритмов ИИ будет эффективно работать и в других областях. С его помощью сотрудникам будет проще проходить тестирование для повышения квалификации. Также актуально применение прокторинга при приеме на работу и во время презентации нового продукта для исследования уровня вовлеченности аудитории. Ознакомиться с видео-презентацией о работе системы можно, перейдя по ссылке
https://www.youtube.com/watch?v=4hYJCcdyl6o
#Интервью
- 23 май 2022
-
0
«На прокторинг вешают вообще все неудобства, связанные с дистанционными экзаменами»
Основатель российской системы онлайн-прокторинга — о самой страшной «пугалке» студентов XXI века, её реальном влиянии и месте в образовании будущего.
Иллюстрация: Cuz.gallery / Rawpixel / Everett Collection / Courtesy of Virginia Sherwood for USA Network / Annie для Skillbox Media
Редактор направления «Образование» Skillbox Media.
Из этого интервью вы узнаете:
- кто же всё-таки следит за процедурой экзамена — машина или человек;
- кто такие прокторы и где их готовят;
- помогает ли прокторинг развитию академической честности;
- правда ли, что экзамен можно провалить просто из-за отвода взгляда, и как связан с прокторингом детектор лжи;
- что происходит, если студенты выбирают между очным и онлайн-экзаменом;
- нужен ли прокторинг в корпоративном обучении;
- почему прокторинг на самом деле — лишь полумера и что нужно на самом деле.
Директор компании «Экзамус»
— Опишите, пожалуйста, для совсем несведущих процедуру прокторинга на онлайн-экзамене. Вот студент подключается… Что происходит дальше?
— Давайте сначала проведём аналогию с обычным экзаменом, чтобы показать, что это не новая история. Что происходит, когда вы заходите в класс, чтобы сдать важный экзамен? Сначала вы показываете, что это вы: даёте, например, зачётку с фотографией, а в сертификационном центре — паспорт. Вас проверяют.
Дальше вам показывают, куда нужно сесть, и убеждаются, что у вас нет с собой ничего лишнего, сотовый телефон выключен, бумаг никаких посторонних нет. А в процессе сдачи экзамена, если вы будете разговаривать, вас попросят выйти либо хорошо предупредят.
— А на онлайн-экзамене что происходит?
— Ровно всё то же самое в онлайне. Перед стартом онлайн-экзамена, перед тем как вам выдают вопросы, вы показываете документ, вас идентифицируют. Вас просят показать рабочий стол, то есть чем вы пользуетесь. Это очень важная часть — посмотреть, что у человека за столом, убедиться, что он ничего не спрятал. Вас могут попросить выключить сотовый телефон, отложить его в сторону. После этого открываются экзаменационные вопросы.
Когда человек их решает, ровно так же нельзя пользоваться никакими подсказками, открывать другие страницы, обращаться за помощью к другим людям. Если вы это делаете, то вас призывают к порядку — или вам могут не засчитать экзамен. Один в один. Мы не придумали ничего нового. Мы просто перевели в онлайн процесс, который уже веками существует в офлайне.
Наблюдение может происходить в двух режимах — в синхронном и в асинхронном. В синхронном проктор смотрит, что студент делает, и может с ним чатиться. Это очень надёжный метод, но для него нужно, чтобы было достаточное количество прокторов, то есть наблюдающих.
В асинхронном режиме студент может в любой момент сесть и сдать экзамен — это, кстати, одно из преимуществ системы прокторинга. Проктор просматривает видеозаписи рабочего стола, веб-камеры и опционально изображения со смартфона, который как вторая камера ставится сбоку, чтобы было чётче видно происходящее.
— Обычно прокторинг подаётся как очень технологичная система, которая и сама всё может. Получается, что за процесс всё же отвечает человек, а не машина?
— Если мы посмотрим на развитие технологий искусственного интеллекта, компьютерного зрения и на то, как это применяется, то увидим маркетинговую составляющую: сейчас придёт умная машина, всё сделает, и люди будут не нужны.
Но давайте быть реалистами и смотреть на практику. Как правило, технологии искусственного интеллекта и автоматизации просто позволяют операторам быстрее и эффективнее выполнять свою работу.
Искусственный интеллект не может сейчас заменить человека. Более того, в Европейском союзе, например, согласно требованиям GDPR, без контроля человека машина ничего делать не может, чтобы не было предвзятости.
А что делают AI-технологии? Распознают видеоизображение, алгоритмы обнаруживают некоторые события — что человек повернулся, что в кадре находится кто-то помимо экзаменуемого, что появился голос или телефон. Из этих событий формируются паттерны поведения. В итоге автоматика даёт проктору рекомендации обратить внимание на определённые вещи. То есть она сильно ускоряет работу проктора в зависимости от правил его работы.
— А проктор — это какой-то особый специалист?
— Прокторы — это в основном бывшие или действующие преподаватели либо операторы рабочих мест. Это люди, у которых есть склонность внимательно, вдумчиво и по многу часов смотреть довольно скучное видео. Далеко не у всех людей это получается.
У нас нет специальных требований к ним, им не нужно какого-то особого технического образования или чего-то ещё. Мы на входе даём тестовые задания, чтобы проверить, могут ли они адекватно и вежливо общаться с другими, как они взаимодействуют в переписке. Дальше мы будущих прокторов тренируем, они проходят испытательный срок под присмотром «старших товарищей».
В итоге у нас до работы доходит порядка 60% людей, остальных мы отсеиваем. А оставшиеся работают — кто-то в реальном времени, кто-то асинхронно.
Мы с СПбГУ работаем над курсом для обучения прокторов внутри университета. Но пока это всё наши внутренние методики обучения, это практика, созданная в результате моего общения с коллегами из США. Я общался там со многими компаниями, изучал, как вузы принимают экзамены. Эти методологии мы адаптировали для российского рынка и сейчас применяем.
— Требования к прокторам и вообще к самой процедуре у всех вузов стандартные или они могут какие-то свои пожелания добавлять?
— У каждого вуза свои требования, и это определённая боль. Есть очень чёткая разница между тем, как действует система прокторинга на Западе, в Америке и в России. В США проктор — независимое лицо, которое принимает решение по поводу того, соблюдаются или нет правила поведения на экзамене. Проктор имеет право прекратить экзамен и вынести вердикт.
В России иначе: у нас последнее слово остаётся за вузами. Поэтому, когда наши прокторы выносят какое-то решение, вуз тщательно смотрит, как его интерпретировать, соглашаться с ним или нет.
В связи с этим возникает масса нюансов, потому что поведение человека можно интерпретировать по-разному. Ведь одно дело, когда студент разложил книжки и списывает, другое — когда признаки списывания или подсказок лишь косвенные. Например, звучит голос за кадром — проктор имеет право это интерпретировать. Он не должен вникать, по поводу чего начался разговор — по поводу погоды или ещё чего-то. Может быть, там закодированные ответы какие-нибудь. Бывает по-разному.
И все вузы интерпретируют по-разному, в каждом своя степень жёсткости. На разные типы экзаменов и даже на разный контингент студентов бывают свои правила. Поэтому нам приходится адаптироваться к каждому вузу: есть согласованная с каждым методология, для каждого мы применяем различные адаптированные методики.
— Как вузы обычно предпочитают интерпретировать сомнительные случаи — помягче или пожёстче?
— Общего тренда нет. Например, университет может быть заинтересован в том, чтобы студенты оставались. Студенты — это же деньги, и в вузе десять раз подумают, прежде чем отчислить человека. Вместе с тем есть практика, когда вуз полностью доверяет нашим экспертам, то есть полностью исключён фактор влияния заинтересованных сторон. В США и Европе работает именно такая схема.
Может быть, вы слышали очень резонансную историю, когда из СПбГУ отчислили девушек за то, что якобы они два раза посмотрели не в ту сторону? Понятно, что это ерунда. Девушки уже не в первый раз завалили экзамен, при этом они и раньше попадались на списывании.
А вот к вступительным олимпиадам требования очень серьёзные, там жёсткий отсев.
— А бывают всё же случаи, когда студенты пожаловались, в вузе провели проверку и факт списывания не подтвердился?
— Бывает по-разному. Это всё равно некоторая интерпретация поведения. В суде есть экспертиза, есть разные мнения. Проктор в данном случае выступает экспертом. Он как эксперт может сказать: человек списывал. Вуз может пересмотреть, сказать: «Мы не согласны с этим экспертным мнением. Мы не берём его во внимание». Окей.
Согласно договору, вуз имеет право так делать, в этом нет ничего страшного. Мы отвечаем за нашу экспертизу, мы придерживаемся рекомендаций прокторов. Другое дело, что финальное решение выносим не мы.
— В медиапространстве можно найти много претензий к прокторингу, но интересно, какие недостатки можете выделить вы как создатель одной из систем прокторинга. Может, что-то действительно стоило бы улучшить?
— Любая система несовершенна. Недостаток прокторинга уже в том, что его приходится придумывать. Люди почему-то не пишут честно экзамены. Главный баг в этом, а не в том, что прокторинг не может что-то поймать.
Система прокторинга приносит в образование в первую очередь равенство, про которое так часто говорят. Можно бесконечно улучшать систему, точность алгоритмов. Если вы посмотрите на другие отрасли, где применяется автоматика, — распознавание в автомобилях, беспилотники, — то это бесконечный процесс совершенствования.
Например, авторизация по чертам лица — отработанная технология, но и её постоянно улучшают.
— Вы сказали, что прокторинг приносит в образование равенство. Это как?
— Это происходит благодаря повышению честности участников экзаменов. Я убеждён, что главная задача системы прокторинга (и мы уже успешно её выполняем) — именно в этом.
Очень понятный пример — камеры на дорогах. Если камер на дорогах нет, то все нарушают скоростной режим. Если повесить камеры, пускай даже фейковые, гораздо больше людей будут снижать скорость. Это сказывается и на общей безопасности дорожного движения.
Здесь ровно так же, нужно смотреть на совокупность эффектов. У нас есть статистика, говорящая, что больше 80% людей не будут списывать, если знают, что их контролируют и что за это могут наказать. Есть и психологические тесты. Это не про прокторинг, а в целом про человеческую сущность.
Порядка пяти-семи процентов людей пытаются обмануть систему. Если они видят, что система реагирует, то они успокаиваются и дальше работают в нужном русле. Потом остаются один-два, максимум три процента, которые будут целенаправленно пытаться обмануть систему, пока у них не получится. Борьба за повышение качества, точности алгоритма, новые методы списывания — против одного-трёх процентов. От них наибольшее количество проблем. Но даже если мы не будем заморачиваться на них, всё равно у нас эффект уже очень хороший.
Есть и побочный эффект: люди, которые изначально честно сдают экзамены, прокторингу и возможности поймать нарушителей очень рады. Раздражает, когда я пишу экзамен честно, а сосед у меня списывает. Я знаю, что он списывает, но его никто не поймал, а он набрал много баллов. Хорошо, если я занял третье место и получил что хотел. А если я из-за этого не поступил в вуз? Это негативный фактор.
— Если говорить не про отдельный экзамен, а про систему в целом, как вы считаете, прокторинг помогает развивать культуру академической честности?
— Не надо путать причину со следствием. Применение прокторинга является свидетельством того, что в вузе задумываются об академической честности, но никак не наоборот.
Вы можете внедрить прокторинг в вузе, где не приветствуется честное поведение. Я вас уверяю, там найдут, как саботировать систему. Элементарно скажут: «У нас ничего не работает», «Система плохая», «Интернет виснет», «Камера не подключается», «Электричество отключили». Это не надуманные истории, мы с этим сталкивались, когда в целом вузе саботировали целиком проведение экзамена, потому что не было культуры академической честности.
С академической честности надо начинать. Надо [приходить к ней] какими-то другими методами. Это же не про экзамены, это про некоторые базовые установки, как честно научиться, как готовиться к экзамену. Тренд, что экзамен — это бессмысленная сущность, вместо которой нужно внедрять проектную деятельность или что-то ещё, я целиком поддерживаю. В моём идеальном мире прокторинг не нужен. Системы оценки должны быть абсолютно другими — это не экзамены, где нужно тыкать кнопочки для ответов. Хотя мы можем контролировать и более продвинутые методы проверки знаний и скиллов.
— Пока экзамены всё же есть, и, кажется, какие-то страшные меры там применяются. Например, активно жалуются на правило, что нельзя отводить взгляд от экрана дольше, чем на 15–20 секунд (а то и всего на пять). С чем такая, например, норма связана?
— Она связана в основном с мифологией. Никто не будет автоматом удалять с экзамена студента за то, что он на 20 секунд отвёл глаза. Но есть паттерны поведения: если вы будете сидеть и периодически куда-то подглядывать, сверяясь с подсказкой, это же видно. Там не нужно отводить взгляд на 20 секунд. Нужно десять раз отвести его на одну секунду, и вот паттерн поведения.
Очень много мифов со стороны студентов. Например, что мы передаём кому-то телефоны в базу, хотя мы их телефонов даже и не знаем. Много всего.
— Сохранность персональных данных действительно вызывает опасения. Да и список этих данных — например, пользователи возмущаются, что «Экзамус» смотрит интернет-страницы, которые они посещали до экзамена. Зачем?
— Нам не нужны данные о посещённых страницах. Мы собираем куки — это стандартная история. Вы кликаете, соглашаетесь со сбором этих данных, заходя на любой сайт. Просто, наверное, не читаете, что сказано в правилах сайта об этом. У нас стандартная схема: мы используем куки, к которым имеем доступ, чтобы проводить авторизацию пользователя в LMS.
Из тех персональных данных, которые мы обрабатываем, мы не берём ничего лишнего. Если сравнить с тем, что о вас знает Google, — мы просто дети. Пользователи постят свои фоточки в социальные сети, выкладывают их в паблики, и ничего.
— То есть насчёт сбора каких-то лишних данных вне данных об экзамене — это неправда?
— Я глубоко убеждён, что большинство людей, которые говорят о сборе каких-то лишних данных, скорее ищут, к чему прицепиться. Объективно мы не собираем больше данных, чем люди оставляют их на других сервисах. Паспорт? Вы регистрируетесь в сервисе, например, каршеринга, и тоже оставляете там все свои данные. Мы здесь ничего не добавляем.
Более того, нас уже многократно проверял Роскомнадзор с разных сторон, на нас писали жалобы. Ни разу не нашли существенных нарушений. Последний раз Роскомнадзор проверил нас и сказал: «Друзья, так вы не обрабатываете биометрические персональные данные, поскольку то, что вы храните, не соответствует определённому ГОСТу хранения фотографий, они недостаточно качественные, потому из этого воспроизвести ничего нельзя».
У меня есть бумага из Роскомнадзора, где написано, что мы не обрабатываем биометрические персональные данные. То, что мы сливаем данные, паспорта, телефоны, — это фейки, я на сто процентов гарантирую, что это неправда. Это подтверждено многократными проверками. Если бы нарушения были, мы бы уже не работали.
— Какой миф вы назвали бы самым распространённым и самым удручающим вас?
— Как раз история про отчисления за то, что отвели глаза на 20 секунд. Это квинтэссенция того, как хайпуют на какой-то теме.
Нам приходит много позитивных отзывов. «Как здорово, благодаря вам не надо было никуда ехать, я поступила в университет» — или про честность. Но, к сожалению, эти позитивные отзывы не получают хайпа в информационном поле.
За прошлый год мы промониторили под миллион студентов по всему миру. Человек сто из них громко рассказывают о том, что их несправедливо забанили. В процентном соотношении это ничто, но это формирует информационный фон. Удручает, что именно это идёт на публику, а люди в большинстве своём не вникают в детали. Они считают, что журналисты проводят фактчекинг, а если журналисты что-то транслируют, значит, так и есть. Но дело не всегда обстоит так, как транслируется.
— Скажите, а то, что «Экзамус» планировал ввести электрокардиограмму во время экзамена, то есть практически детектор лжи, — это тоже миф или вы действительно об этом задумывались?
— В 2015 году, когда мы только начинали, совместно с одним из вузов мы исследовали методы биометрической идентификации. Сравнили точность и сложность идентификации по лицу, по голосу, по ЭКГ, по ЭЭГ. Действительно, были сведения, что можно находить некоторые паттерны поведения с помощью этих инструментов. Но в итоге из-за того, что это очень сложно и нужны дополнительные девайсы, в эту сторону мы не пошли. Но «покопать» тему было интересно.
Итоги этих исследований оказались чрезвычайно полезны, мы до сих пор придерживаемся выработанной методологии. Выбрали для себя довольно простые и точные методы идентификации и идём к ним.
— Есть и ещё один «камень» в сторону прокторинга — он считается очень стрессовым. Студенты паникуют, даже просто из-за потенциальных технических проблем: что интернет упадёт, и всё, прощай оценка. Но на вашем сайте написано, что онлайн-экзамен с прокторингом, наоборот, стресс снижает. Вы чем-то можете такую точку зрения подтвердить?
— Предположим, что это простой онлайн-экзамен без прокторинга. Если там пропадёт интернет, это тоже повлияет на то, что студент его не сдаст. С чем связаны переживания — конкретно с прокторингом или в целом с онлайн-форматом? Надо чётко разделять это.
На прокторинг вешают вообще все неудобства, всё, что связано с дистанционными экзаменами. А прокторинг просто даёт возможность студентам не ходить в кампус, чтобы их сдать. Можете представить, насколько это большой профит на вступительных экзаменах для иностранцев. Человеку нужно получать визу, платить за билеты, ехать. Даже из другого города в пределах России или из Подмосковья в Москву доехать — время нужно потратить. Знаете, как я нервничаю, когда еду в общественном транспорте?
Я глубоко убеждён, что в том, что мы даём возможность сдать экзамен удалённо, есть польза. Мы обеспечиваем контроль, чтобы у вуза была уверенность, что всё действительно корректно. В данном случае мы говорим вузам: если не пандемия (когда всё онлайн), давайте, пожалуйста, людям варианты — сдавать дистанционно онлайн с прокторингом или офлайн в кампусе. Давайте посмотрим, какое количество людей выберет сдачу экзамена очно в аудитории под контролем преподавателя. Как вы думаете, сколько студентов реально приедет? Были такие прецеденты, когда экзамены проводились и так, и так. Меньше 5% изъявляли желание приехать лично.
— Как вы считаете, прокторинг будет когда-нибудь восприниматься как норма?
— Давайте немножко про терминологию. Есть такая гравюра «Проктор в Оксфорде», датируется 1646 годом. Проктор — это человек, который следит за порядком в университете, в том числе при сдаче экзамена.
Прокторинг — это норма. Я уверен, когда вы учились в вузе, у вас не на всех экзаменах была полная свобода действий.
Онлайн-прокторинг — это то же самое, просто в онлайне. Я считаю, это норма. Если мы переводим экзамены в онлайн, почему они должны быть бесконтрольными? Почему мы согласны с тем, что если мы посадили людей в аудитории, то за ними нужно следить, а если они сдают онлайн, то не нужно? Можете объяснить эту логику? Почему онлайн-прокторинг не считается нормой, а прокторинг в классе считается?
— К преподавателям в аудитории обычно тоже есть претензии. Но очевидно, что к онлайн-прокторингу их больше — если судить по реакции, причём не только в России. В Европе и США появляются уже судебные иски от студентов. То есть до нормы далеко. Как вы такое сопротивление объясняете?
— Сопротивление происходит всему. Люди подают в суд буквально на всё — даже на то, что инструкция к микроволновке сделана неправильно, если говорить про США. Так что там и о поведении преподавателя в аудитории иски предъявляют, а не только об онлайн-прокторинге. В Штатах судебные иски по этому поводу были и 10, и 15 лет назад.
А если говорить о нашей стране, то давайте будем откровенны. У нас есть культура не совсем честного поведения — на уровне общества у нас не порицаются такие методы ради получения хорошего результата. Если ты сумел незаметно списать и получил пятёрку, ты молодец. И это отличается, например, от Японии, Германии, скандинавских стран, где система онлайн-прокторинга не особо требуется. У них развита академическая честность. А у нас нет, поэтому идёт сопротивление.
Вспомним аналогию с камерами на дороге. Я на первой машине мог ездить с какой угодно скоростью, потому что не было камер. Начали ставить камеры, было сопротивление: «Частная жизнь, меня фотографируют, как же так!» Ровно то же самое.
— Мы одни с таким подходом или у нас есть «коллеги»? Какие есть отличия от других стран?
— Это типовая проблема для многих стран. Есть страны, где такая ментальность, даже больший уклон к нечестности. И сопротивление есть во многих странах, и похлеще. Кое-где даже не начали внедрять прокторинг, потому что опасаются, что нужно будет ломать какие-то паттерны поведения общества.
В восточных странах, например, есть базовая установка, что хитрость — это хорошо, поэтому они всячески пытаются списывать, обходить систему. В западных странах, особенно скандинавских, всё очень чётко, они придерживаются правил. Там процент списывания существенно ниже.
Есть и большая разница в компьютерной грамотности. Люди, которые сдают вступительные экзамены из некоторых стран Латинской Америки и Африки, гораздо хуже знакомы с компьютерами. В связи с этим возникают некоторые проблемы и особенности.
— Какой самый оригинальный способ обхода всех существующих правил вы можете вспомнить?
— Это был случай не из вузовской, а из корпоративной практики, мы ведь там тоже экзамены проводим. Проктор попросил показать комнату, и было чётко видно, как человек, который подсказывал, вылез из-под стола и попытался скрыться. И это взрослые люди.
— То есть ситуации в корпоративном и вузовском обучении не различаются? Может, есть статистика, кто чаще списывает?
— Мы все люди. Сегодня я студент, завтра работаю. Почему моё поведение может измениться? Поведение никоим образом не меняется. Люди — они люди и есть. Кто списывал в университете, тот, скорее всего, и в рабочей обстановке будет вести себя соответствующе. Особой разницы между вузами и корпорациями нет. Есть некоторые особенности поколений, разные способы списывания.
— А в чём измеряется эффективность онлайн-прокторинга? Предположим, никого не поймали за руку, был прекрасный экзамен, где никто не списывал. Вам заказчики будут задавать какие-то вопросы, мол, как это так, никого не поймали? Или вопросов не возникнет, всё замечательно, у нас академическая честность?
— Вопросов не возникнет. Один из заказчиков поделился с нами результатами исследования, сравнением ситуации до прокторинга и после прокторинга. Там есть сто команд. До внедрения прокторинга топ-10 команд выглядел определённым образом, а по результатам внедрения прокторинга в топе из этого списка остались только две команды.
Основной эффект в том, что, когда люди знают о мониторинге, они делают меньше попыток списывать. Да, пусть мы никого там не поймали за руку, но я гарантирую, что если бы не было системы контроля, то результаты были бы другими.
— Что должно произойти, чтобы изменилось отношение к списыванию, это перестало считаться нормальным и поощряться?
— Я не знаю. Есть исследования по академической честности, по паттернам поведения общества. Наверное, существуют некоторые культурные особенности, установки и ценности, которые нужно воспитывать и прививать именно с детства. Это не про вуз, это про базовые установки. Я не знаю, что с этим делать. Я не специалист.
— А в чём видите свою миссию? В том, чтобы выводить на чистую воду нечестных?
— Ещё три-четыре назад года я для себя чётко сформулировал, что наша миссия не в том, чтобы поймать студентов на списывании. Это бессмысленно — ну поймали и поймали. По-хорошему, миссия должна быть в повышении успеваемости студентов в онлайн-образовании. Мы для себя сформулировали, что делаем инструменты, которые позволяют сократить разрыв между онлайн- и офлайн-обучением. Онлайн-экзамены — это самый яркий пример.
У нас есть технология, когда мы во время онлайн-вебинаров, онлайн-лекций и онлайн-курсов можем анализировать вовлечённость и внимание человека, а потом делать на основе этого какие-то выводы. Если студент просто так промотал пять лекций и не смотрел внимательно, то вероятность того, что он завалит экзамен, крайне высока. Можно не доходить до экзамена, чтобы проводить такой анализ.
Сейчас всё движение EdTech, образовательные технологии — это анализ данных, анализ поведения студентов, адаптивное обучение. Мы предоставляем дополнительный слой данных, чтобы повысить успеваемость человека, и при этом даём опыт офлайна, когда есть эмоциональная вовлечённость преподавателей и студентов, — вот куда мы двигаемся, в чём наша цель.
Есть очень много сложностей, связанных с тем, как интерпретировать данные, какие методики использовать, мы пока это исследуем.
— То есть вы считаете, что будущее — за анализом данных, а прокторинг тогда станет не нужен?
— Я полностью согласен с тем, что онлайн-прокторинг сам по себе как метод надзора — это не то, к чему нужно стремиться. Это полумеры, которые нужно применять. Мы находимся в таких условиях, что по-другому никак. Но если говорить про прекрасную систему образования будущего, то да, там нет никакого прокторинга. Там есть анализ данных, которые собираются во время всех образовательных активностей, чтобы сразу стало понятно, воспринял студент материал или нет.
А следующий шаг — разработка компьютерного интерфейса, в том числе неинвазивной ЭЭГ. Это первый шаг в сторону brain-computer interface. Если мы пойдём в эту сторону и подключим VR, система прокторинга будет не нужна. У нас будет достаточное количество данных о том, воспринял человек информацию или нет, отработал он эти навыки или нет. Мы получим эти данные, напрямую сняв сигнал с мозга, и всё. Туда и надо идти.
Учись бесплатно:
вебинары по программированию, маркетингу и дизайну.
Участвовать
Научитесь: Онлайн-репетитор
Узнать больше
Stepik — на данный момент единственная русскоязычная образовательная онлайн-платформа, на который любой желающий может создать экзамен с прокторингом (онлайн-сопровождением и контролем учащегося). Притом такой экзамен может иметь заданную продолжительность, ограниченное время на прохождение, точную дату начала.
В данной статье мы расскажем про то, зачем нужен прокторинг, и в подробностях опишем интеграцию системы онлайн-прокторинга ProctorEdu с платформой Stepik.
Если вы знаете, что такое онлайн-прокторинг и какие он дает преимущества для реализации процесса проведения онлайн-экзаменов, то пропускайте следующую описательную часть и сразу переходите к вопросам реализации в главе Что такое экзамен на Stepik?
Вступление
Для перевода обучающих материалов и тестовых заданий в онлайн-формат подходят практически любые области знания — от IT до HR. Например, онлайн можно можно проводить обучение новых сотрудников в компании, или осуществлять автоматическую проверку кода, или обучать работе с базами данных — и всё это непосредственно на образовательной платформе без необходимости для преподавателей или учащихся разворачивать инфраструктуру на локальных компьютерах. При этом решается проблема проверки полученных знаний, т.к. можно провести финальный экзамен по курсу в том же онлайн-формате, в котором учащийся проходил онлайн-курс. Не надо заставлять человека, желающего получить сертификат, ехать в рабочее время в Центр тестирования, нервничать из-за новой незнакомой обстановки, когда можно предоставить возможность пройти онлайн-экзамен в том же знакомом интерфейсе в удобное время, при этом сидя в комфортном кресле.
Рассмотрим IT-индустрию: например, центр сертификации Microsoft позволяет проходить сертификационные экзамены удаленно, компания Hortonworks организует получение сертификатов по администрированию собственной платформы, предоставляя доступ к удаленной виртуальной машине и список заданий, которые нужно сделать.
И, всё-таки, несмотря на неудобство для экзаменуемых, стоимость сертификатов в IT-индустрии достаточно высока, и оборудование физических помещений под цели проведения экзаменов, для которых необходимо проверять личность сдающего и осуществлять строгий контроль за процессом сдачи, может быть рентабельно. Но если посмотреть на ситуацию, когда быстрорастущей компании, которая работает в нескольких регионах, нужно массово обучать и проверять знания сотрудников, а затем на основе этой информации принимать финансовые и HR-решения, процесс организации физического присутствия сотрудников на экзаменах может стать очень дорогим и организационно сложным для масштабирования.
Как же прокторинг всех спасёт?
Давайте представим, что появился новый конкурент Uber компания Taxibus, которая называет своим ключевым преимуществом вежливость и высокий профессионализм своих водителей. Для этого водитель, сотрудничающий с компанией Taxibus, должен ежеквартально сдавать теорию по ПДД и экзамен по правилам эффективного общения. В случае успешной сдачи экзаменов водитель получает льготный тариф, который позволяет ему отдавать транспортной компании не 7, а 5% комиссии от стоимости каждой поездки. К работе с компанией Taxibus подключилось уже около 7 тысяч водителей в 15 городах страны, и чтобы не тратить деньги на аренду помещений и оплату зарплаты сотрудникам-прокторам, осуществляющим контроль процесса сдачи экзамена, компания разработала онлайн-экзамены, доступные водителям в любое время с их личных компьютеров или мобильных устройств. Однако, некоторые водители не хотят готовиться к экзаменам, но их привлекает возможность получить дополнительный бонус от компании. Поэтому они просят своих друзей, уже успешно сдавших экзамен, пройти экзамен вместо них.
Чтобы однозначно подтвердить личность сдающего и получить уверенность, что экзамен был сдан честно, без использования посторонней помощи, организаторы обучения могут подключить к экзаменам в своей обучающей платформе систему онлайн-прокторинга. Основная задача таких систем — через доступ к веб-камере, микрофону и рабочему столу пользователя подтверждать соблюдение регламента экзамена в автоматическом или полуавтоматическом режимах (о чем мы еще скажем ниже), как делал бы это реальный проктор при физическом присутствии сдающего на экзамене. Подробнее о том, как работают такие системы можно прочитать здесь.
В случае сдачи онлайн-экзаменов по IT-дисциплинам может использоваться такая же система. Системы прокторинга довольно сложны сами по себе, т.к. они требуют работы с несколькими видео-потоками, организации систем хранения видео и аудио информации, технологий распознавания лиц и речи, разработку интерфейсов проктора для управления процессом сдачи экзамена и экзаменуемого. Поэтому Stepik не стал разрабатывать свою технологию онлайн-прокторинга, а использует уже имеющиеся решения. В этом посте мы хотим рассказать некоторые технические подробности, о том, как мы интегрировали систему онлайн-прокторинга ProctorEdu для работы с нашей платформой, и как наши преподаватели курсов могут настроить прокторинг в экзаменах в своих курсах на Stepik для более надежной верификации экзаменационных сессий.
Что такое экзамен на Stepik?
В Stepik уроки объединяются в модули или учебные недели. Любой модуль можно превратить в экзамен, выбрав в настройках тип модуля «Экзамен» и задав продолжительность экзамена. Учащиеся смогут приступить к прохождению экзамена в промежуток времени, который задает преподаватель курса, нажав кнопку «Начать экзамен». Пока длится экзамен, учащийся видит таймер с обратным отсчетом. После окончания экзамена учащийся больше не сможет набирать баллы в экзамене.
Когда пользователь приступает к экзамену, для него в базе создается запись exam-session, в которую записывается дата начала экзамена пользователем. Зная дату начала и продолжительность экзамена exam_duration_minutes, мы в интерфейсе отображаем оставшееся время пользователю. Пользователь получит только те баллы за правильные решения, которые он успел получить до окончания экзамена.
Как технически устроена интеграция с провайдером прокторинга?
Реализация возможности проходить экзамены с онлайн-прокторингом наложила дополнительные ограничения на возможность создания записи exam-session — пользователь должен иметь возможность записаться на доступный сеанс прокторинга и приступать к экзамену только, когда получил на это разрешение проктора. При этом проктор должен иметь возможность досрочно закрыть доступ к экзамену в случае нарушений, а также оценить наличие и отсутствие нарушений во время экзамена, которые могут повлиять на итоговую оценку. Для этого в Stepik мы добавили еще одну модель proctor-session, которая связана с экзаменационным модулем и позволяет создать exam-session только при наличии запущенной proctor-session (с установленной start_date).
Система прокторинга теперь сможет управлять proctor-session через API с помощью следующих команд:
- Start — запуск сессии (установка start_date);
- Stop — пользователь через интерфейс ProctorEdu может досрочно завершить экзамен;
- Submit — завершение сессии проктором и вынос заключения (поле score, в котором сохраняется число от 0 до 1 (шкала с границами «не одобрено»/«одобрено»).
Также провайдер прокторинга может получить список экзаменов пользователя с помощью метода fetch, чтобы отобразить их в интерфейсе при записи на сеанс прокторинга.
Как мы уже упомянули выше, для учащегося отличие экзамена с прокторингом от обычного экзамена состоит в том, что на прокторинг нужно записываться заранее, когда у проктора, контролирующего экзамен, есть свободные слоты времени. В интерфейсе Stepik это решается на странице экзамена — пользователю предлагается записаться на сеанс прокторинга, для записи пользователь переходит по ссылке на ProctorEdu (в этом момент создается proctor-session для данного пользователя), регистрируется там со своим Stepik-аккаунтом через протокол OAuth2 и выбирает время, доступное для прохождения экзамена.
Учащийся сможет начать экзамен (т.е. создать exam-session) только при наличии запущенной proctor-session (для которой proctor выполнил команду start). Когда учащемуся экзамен становится доступным для прохождения, он видит активную кнопку «Начать экзамен» и может приступить к прохождению экзамена.
Для управления proctor-sessions пользователей провайдер прокторинга (которому мы назначаем специальную роль «proctor») регистрирует у нас серверное приложение по протоколу OAuth2. Данное приложение сможет управлять сессиями прокторинга учащихся на платформе Stepik, с помощью команд которые мы описали выше.
Как создать экзамен с прокторингом на Stepik?
Для преподавателя или организации, которые решили проводить экзамены с прокторингом, нужно сделать следующее:
- Создать курс;
- Сделать в нем модуль-экзамен, и наполнить его уроками с экзаменационными задачами;
- Настроить даты начала и даты окончания экзамена, продолжительность экзаменационной сессии;
- Включить для курса режим прокторинга и задать ссылку на домен провайдера прокторинга, что позволяет делать брендированный домен для разных заказчиков услуг прокторинга (пока недоступно в интерфейсе и делается по запросу администраторами платформы).
Для использования услуг прокторинга уже достаточно того, что мы рассказали, т.к. для преподавателей все настройки на этом заканчиваются. Далее мы подробнее расскажем, что происходит внутри системы ProctorEdu при взаимодействии со Stepik, т.к. здесь тоже много интересных технических моментов.
Интеграция ProctorEdu и Stepik: взгляд со стороны системы прокторинга
Автоматизированная система прокторинга ProctorEdu — облачное решение SaaS (программное обеспечение как сервис), которое позволяет организовать и провести экзамены по процедуре прокторинга. Сеансы записываются и анализируются на предмет нарушений, после чего формируются отчеты.
ProctorEdu предоставляет интерфейсы для организации рабочего пространства прокторов со стороны образовательной организации, но также может и предоставлять своих прокторов.
Как происходит интеграция ProctorEdu и LMS в общем случае?
Для более полного взаимодействия с системами электронного обучения (LMS) и с целью автоматизации некоторых функций в системе ProctorEdu предусмотрены механизмы интеграции с другими системами, включающие интеграцию на уровне API и UI. Система ProctorEdu поддерживает два варианта интеграции:
- Подключение LMS к системе ProctorEdu;
- Добавление функций прокторинга в LMS.
Подключение LMS к системе ProctorEdu предполагает реализацию ряда функций API на стороне LMS и настройку точки входа в систему через внешнего провайдера авторизации по протоколу OAuth2. В этом случае студент проходит экзамен через систему прокторинга, а уже система прокторинга дает доступ к интерфейсам LMS для прохождения тестов или других типов заданий под наблюдением проктора.
Другой вариант позволяет добавить функции прокторинга в саму LMS путем бесшовной интеграции на уровне интерфейсов. Для этого доступен комплект средств разработки Supervisor SDK, позволяющий использовать функции прокторинга прямо со страницы экзамена в LMS, достаточно подключить в LMS специальную JavaScript-библиотеку и настроить вызов соответствующих функций библиотеки. Это вполне просто и по сложности сопоставимо с размещением кода онлайн-консультанта на странице сайта.
Интеграция ProctorEdu и Stepik
Схема подключения Stepik к системе ProctorEdu
Для интеграции с платформой Stepik на данный момент используется первый вариант из описанных выше: был разработан специальный API, который построен таким образом, чтобы можно было гибко настраивать протокол обмена данными между LMS и системой ProctorEdu в формате JSON.
Сценарий взаимодействия с системой ProctorEdu изображен на следующем рисунке и может быть описан так:
- Студент авторизуется в системе ProctorEdu через платформу Stepik по протоколу OAuth2. На странице авторизации есть кнопка для входа через Stepik. По нажатии на эту кнопку осуществляется запрос доступа к профилю текущего пользователя на платформе Stepik. После разрешения доступа автоматически происходит вход в систему без необходимости вводить логин и пароль.
- Студент попадает в интерфейс ProctorEdu и заполняет профиль. Заполнение профиля не является обязательным шагом в зависит от требований конкретной образовательной организации. В профиле делается фотография лица, заполняются текстовые поля и загружаются дополнительные документы при необходимости. Фотография из профиля пользователя в дальнейшем используется для идентификации личности студента на каждом экзамене. Если фотографию в профиле не делать, то она будет сделана и сохранена в начале первого экзамена и будет использоваться в дальнейшем для идентификации личности студента.
- После этого студент либо сразу может приступить к экзамену, либо будет необходимо выбрать время экзамена и приступить к экзамену в выбранное время. Планирование экзаменов является опциональной функцией и зависит от наличия прокторов онлайн. Если сценарий сдачи экзамена предполагает наличие наблюдателя онлайн, то имеет смысл использовать расписание. В этом случае прокторы составляют график своей работы, а студенты планируют свои экзамена на основе этого графика. Следует отметить, что есть ограничение числа одновременных экзаменов на одного проктора, обычно оно не превышает девяти.
(картинка кликабельна)
Сценарий взаимодействия с системой ProctorEdu
Перед началом каждого экзамена (сеанса) осуществляется автоматическая проверка связи и параметров компьютера на соответствие минимальным техническим требованиям: рабочая веб-камера и микрофон, пропускная способность сети не менее 1 Мбит/с, время отклика сети не более 1000 мс, разрешен трафик WebRTC, установлено расширение браузера (опционально).
Экзамен не будет начат пока эти требования не будут соблюдены. Во время самого экзамена осуществляется трансляция и запись веб-камеры, рабочего стола и дополнительной камеры студента, выполняется автоматическое отслеживание нарушений. В начале каждого сеанса автоматически делается фотография лица студента, эта фотография проходит процедуру идентификации личности и определяется процент схожести лица в сеансе с фотографией из профиля.
На протяжении всего экзамена осуществляется непрерывная верификация личности человека за компьютером, которая основана на методах автоматического обнаружения и распознавания лиц и методе анализа клавиатурного почерка. Проктор может наблюдать за назначенными ему студентами, видеть их трансляции, видеть уведомления о зафиксированных нарушениях. При необходимости проктор может связаться со студентом по видеосвязи или через чат. Также проктор может прервать экзамен в любой момент и указать причину в комментарии к сеансу.
После завершения экзамена формируется оценка степени доверия к результатам экзамена в процентах, формируется интерактивный протокол с видеозаписью всех трансляций, историей переписки и поминутной детализацией зафиксированных нарушений.
Интерфейс студента при прохождении экзамена на Stepik, проводящийся через систему ProctorEdu
Взаимодействие со Stepik осуществляется студентом из интерфейса системы ProctorEdu, в этом случае страница экзамена загружается через IFRAME по указанному в сеансе адресу. Экзамены импортируются из Stepik при входе студента в систему ProctorEdu.
Для взаимодействия с платформой Stepik API системы ProctorEdu включает следующие функции:
- Получение списка экзаменов из Stepik.
- Как только пользователь авторизуется в системе ProctorEdu, ему отображается список доступных для сдачи экзаменов на платформе Stepik. Примем эти экзамены уже могут быть запланированы на какое-то конкретное время, установленное в настройках курса и модуля Stepik, либо студент сам может записаться на удобное для себя время с учетом графика работы прокторов;
- Оповещение о начале сеанса прокторинга.
- Когда время экзамена наступает, студент подключается к соответствующему сеансу. В этот момент API отправляет запрос на Stepik и доступ к этому экзамену открывается. Таким образом, нельзя начать экзамен без системы прокторинга.
- Оповещение о завершении сеанса прокторинга.
- После прохождения экзамена студент завершает сеанс прокторинга. В этот момент API отправляет запрос на Stepik для завершения экзамена и закрытия доступа к экзамену.
- Отправка заключение по сеансу на Stepik.
- После проверки протокола сеанса автоматически или вручную проктором выставляется заключение по сеансу, которое может быть положительное или отрицательное. Этот результат передается на Stepik и отображается рядом с экзаменом. Если заключение отрицательное, то результаты экзамена не засчитываются.
Заключение
В окончании статьи хотим привести плюсы и минусы экзаменов с онлайн-прокторингом.
Плюсы:
- Экономия денег и времени на организацию компьютерных классов для проведения экзаменов, поиск и обучение людей, которые должны следить за процессом прохождения экзаменов — автоматический прокторинг проверенный, масштабируемый и несложный в настройке инструмент. Просто создаем курс с задачами и включаем для него прокторинг. Количество экзаменуемых может быть и тысяча, и десять тысяч человек.
- Удобство прохождения — экзаменуемый может выбрать время, в которое ему удобно пройти экзамен — прокторинг доступен не только в рабочее время.
- Можно проходить экзамен из дома в комфортной обстановке, способствующей высоким результатам экзамена.
- Минимум расходов на технику: компьютер, веб-камера и микрофон есть у всех или стоят очень дешево.
- Отсутствие проблем с заинтересованностью местных организаторов в успешных результатах экзаменуемых. На ЕГЭ часто учителя помогают своим ученикам, т.к. учителей наказывают или поощряют за результаты их учащихся. Известны случаи, когда даже в классах, в которых установлены видеокамеры, учитель договаривается с учениками, чтобы они вслух задавали вопросы учителю. Тогда при отсутствии звука такой вид списывания сложно обнаружить.
- Быстрое получение результатов: асинхронный прокторинг позволяет отфильтровать только подозрительные сессии, которые уже можно посмотреть вручную, и подтвердить, что экзамен был пройден честно.
Минусы:
- Наличие достаточно быстрого и стабильного интернет-канала (скорость сетевого соединения 1 Мбит/c).
- Проблема утечки задач — посылаем «первопроходца», который прощёлкивает и запоминает ответы и затем передает их знакомым (решается со стороны экзаменатора созданием вариаций шагов, интенсивным потоком вопросов, ответы на которые сложно запомнить).
Если вам интересно сделать свой экзамен с прокторингом на Stepik или полноценный онлайн-курс, напишите нам письмо.
Как вы считаете, достаточно ли надёжны результаты прокторинга? Если бы перед вами стояла задача проведения онлайн-экзамена, воспользовались бы вы функцией прокторинга?
Только зарегистрированные пользователи могут участвовать в опросе. Войдите, пожалуйста.
Вы бы использовали прокторинг в своих онлайн-экзаменах?
50%
да, это значительно лучше, чем просто онлайн-тесты
18
11.11%
да, прокторинг — надёжная процедура
4
16.67%
нет, у моих экзаменующихся нет быстрого интернет-канала и веб-камеры
6
44.44%
нет, прокторинг не даёт 100%-х результатов
16
Проголосовали 36 пользователей.
Воздержались 12 пользователей.
В этом году сдавать экзамены и зачеты всем придется онлайн. Как организовать процесс, как контролировать, чтобы не списывали, как ставить оценки и что такое прокторинг? Рассказываем, к чему быть готовым и как настроить процесс.
Опыт проведения онлайн-экзаменов в России и в мире уже есть. Многие годы это делается на массовых открытых онлайн-курсах. В рамках дистанционных программ вузы и цифровые платформы научились проводить экзамены и решать технологические вопросы, связанные с идентификацией личности учащихся, с выполнением требований экзамена. Эта технологическая часть уже решена.
Василий Третьяков, генеральный директор Университета 20.35
Но в конце этого учебного года нам предстоит резкое масштабирование. Раньше в течение одного семестра онлайн-экзамены сдавали несколько десятков тысяч студентов. И технологии позволяли это делать. Сегодня для прохождения всеми вузами этого испытания придется обеспечить работу сотен тысяч студентов и в короткий промежуток сессии.
Самое главное для вуза — перенести содержание экзамена в онлайн-форму, содержание, которое изначально не спроектировано для проведения в дистанционном формате. Это значит, что необходимы изменения, связанные с самими заданиями, с адаптацией контента заданий и формата ответов, с изменением условий, при которых студенты решают те или иные задания. В удаленном формате лучше давать задания, требующие от студента не просто знаний, а умения их быстро применить для конкретной задачи.
Вузу и преподавателю следует рассмотреть альтернативные решения. Можно отказаться от экзаменов в пользу других форм оценки знаний, например, проектной работы или накопительного итога к концу семестра. Университет 20.35 развивает решения, которые позволяют по каждому студенту накапливать цифровой след, информацию о том, как работал студент, насколько он был вовлечен в решение задач, какие были промежуточные результаты, чтобы можно было быть уверенным, что именно этот студент проявил должные знания и умения в процессе работы. Многие университеты смогут этой возможностью воспользоваться, особенно, если информационные системы вуза позволяют собирать такую информацию.
Университет 20.35 считает, что экзамены в ближайшем будущем могут исчезнуть совсем. Они будут распределены во времени, мы постоянно будем иметь информацию о том, каких результатов достиг обучающийся. Мы сегодня работаем над технологиями, которые позволяют оценивать студента по его реакции на контент и на задания. Используя обратную связь от студента, наблюдая за его эмоциями, за тем, насколько он вовлечен в процесс, как он взаимодействует с контентом, можно узнать действительно ли он усвоил материал и изучил дисциплину, понимает ли он материал и как решать ту или иную задачу.
Но важно не забывать, что экзамен — это всегда испытание, это важная цель. Достижение цели, оценка – это мощный мотивационный фактор. Если откажемся от экзаменов, нам нужно будет по-другому научиться работать с целями и мотивацией студентов. Например, через вовлечение студентов в решение реальных задач, реализацию собственных проектов.
Мы ежедневно общаемся с сотнями вузов, тесно работаем с горячей линией Министерства науки и высшего образования. Минобрнауки обозначило позицию: университеты вправе отказаться от государственного экзамена. Мы провели опрос руководителей вузов в закрытом режиме, а также задали те же самые вопросы через канал «Научно-образовательная политика».
Евгений Сжёнов, научный руководитель экспертно-аналитического центра «Научно-образовательная политика»
На вопрос «Ваш вуз готов к проведению итоговой аттестации студентов с помощью дистанционных технологий?» 57% читателей журнала ответили «Да», а 43% признали, что не готовы.
На вопрос «Вы знаете, как работает система прокторинга при проведении онлайн-экзаменов?» утвердительно ответили 39%. 61% представителей вузов оказались не знакомы с этими технологиями. А скоро всей системы высшей школы предстоит столкнуться с прокторингом.
Прокторинг – это процедура наблюдения и контроля за дистанционным испытанием (от англ. «proctor» – человек, который следит за ходом экзамена в университете).
При этом 66% вузов не планируют отказываться от проведения госэкзамена. В то же время ряд ведущих университетов, в том числе московские университеты готовы отказаться от проведения в 2020 году государственного экзамена.
Данные этого опроса коррелируют с результатами закрытого опроса. Мы опросили больше 200 университетов и выяснили, что от государственного экзамена планируют отказаться далеко не все, несмотря на то что такое послабление есть.
Студенты 423 российских вузов оценили качество оперативной обратной связи с кафедрами, деканатами и ректоратам. 64% считают обратную связь отличной, 27% — приемлемой и 9% считают качество обратной связи плохим. Этот опрос мы провели неделю назад и связались со студентами, которые оценили качество обратной связи с вузом как «плохое». Выяснилось, что университеты пошли самостоятельным путем и использовали собственные IT-разработки. И перегрузили свои серверы. Основные проблемы наблюдаются именно по этой причине.
У нас пятилетний опыт вступительных испытаний, промежуточных аттестаций и защит в онлайне на платформе Росдистант. В 2016 году диплом в онлайне защищали 388 человек, в 2019 году — 925 человек. В 2020 году на защиту в режиме онлайн планируется вывести 4660 человек.
Михаил Криштал, ректор Тольяттинского государственного университета
В личном кабинете студента в Росдистанте указаны курсы, которые студент проходит, как он продвинулся в освоении курса, сколько набрал баллов. Дальше формируется отчет, ведомость, электронная зачетная книжка. Если студент вовремя не набрал нужное количество баллов, проводится повторная промежуточная аттестация, студент повторно подключается к курсу и в течение года может набрать недостающие баллы. Если он не прошел повторную промежуточную аттестацию, то проводится проверка знаний через вебинарную площадку, где собираются члены комиссии. Студент сдает экзамен в формате видеокоммуникации с членами комиссии.
В этом же формате проводится защита выпускных квалификационных работ, сдача госэкзамена.
Самое главное в этой истории — обеспечить аутентификацию при прохождении вступительных экзаменов, высокий уровень прокторинга. Программа сверяет внешность студента на экране, сопоставляет его с фотографией, изначально загруженной в систему. Присутствие членов комиссии возможно в онлайне одновременно или по отдельности.
Такая система дает не меньший уровень защиты от подсказок, как если бы студент находился в аудитории. Студента видит сотрудник центра тестирования, видят члены комиссии. Сама процедура экзамена записывается на камеру и хранится длительное время. Всегда можно посмотреть, куда глядел студент и что он делал руками.
Экзамен с билетами на столе уйдет в прошлое. В качестве экзамена будут восприниматься постоянные перманентные системы оценки, такие как балльно-рейтинговая и накопительная, портфолио, результаты разработок студентов.
Сейчас на рынке есть несколько прокторинговых решений и все они позволяют контролировать процедуру экзамена. Они получают доступ к компьютеру студента, видят, что происходит в браузере, следят, пользуется ли студент сторонними приложениями. Есть возможность в онлайне наблюдать за студентом по вебкамере, смотреть чтобы он не списывал, и предлагать ему различные упражнения. Есть возможность подключать камеру мобильного телефона, чтобы показать, что происходит вокруг.
Никита Мишаков, специалист по развитию платформы прокторинга онлайн-экзаменов ProctorEdu
Сейчас уровень доверия к прокторинговым сервисам недостаточно высокий. Но используемые технологии затрудняют списывание. По опыту проведенных вступительных экзаменов — уровень списывания не больше, чем в аудитории. А возможно и меньше, потому что есть возможность сохранить запись экзамена и вернуться к ней позже. Все это позволяет сохранить высокий уровень честности и высокий уровень доверия к экзаменам с прокторингом.
Многие вузы пользовались прокторингом еще до перехода на дистанционное образование. В некоторых случаях это необходимо, например, когда тысячи студентов проходят массовый экзамен или при проведении Олимпиад для участников со всей страны. Сомнения у партнеров возникают только с точки зрения технологического обеспечения. Прокторинг для многих еще остается «страшным зверем», который требует больших вложений и технических ресурсов. На самом деле сейчас прокторинговые сервисы работают достаточно оперативно, интегрируются с LMS-системами.
Сейчас у вузов еще есть время, чтобы подключить прокторинговые сервисы и провести экзамены в онлайн-формате вместо того, чтобы переносить их или отменять. Формат контроля знаний скорее всего будет в виде записи проектных работ или цифрового следа. В сегодняшнем виде экзамен показывает наличие знаний, а это уже не актуально.
На своем опыте могу сказать, что большинство людей не склонны списывать, если знают, что их контролируют и может последовать наказание. Поэтому эффект от прокторинга — контрольно-психологический. 90% студентов будут лучше готовы к экзамену только потому, что будут знать, что списать сложно.
Дмитрий Истомин, генеральный директор компании Examus
Когда мы говорим про онлайн-экзамены, мы имеем в виду онлайн-тесты. Это самая простая практика. Прокторинг можно сделать и на устный экзамен, и на письменный экзамен. Можно контролировать практические навыки работы на компьютере с программами. Самое сложное — экзамены по специальностям, которые не имеют отношения к компьютерам, например у медиков.
Когда мы осознали, что итоговую аттестацию предстоит проводить в онлайн-формате, все проблемы разделили на три составляющие: информационная, коммуникационная и организационная.
Михаил Краснянский, ректор Тамбовского государственного технического университета
Самое простое решение нашли для информационной задачи. В вузе функционирует своя система LMS и система тестирования — «АСТ-тестирование». Основная информационная задача решалась через личные кабинеты студентов и преподавателей и через личные кабинеты партнера. В личном кабинете преподаватель может размещать задания, студент – результаты и накапливать цифровой след.
Для коммуникаций мы использовали Zoom, Microsoft Team и группы в социальных сетях. Студентам и преподавателям мы предоставили свободу выбирать наиболее удобные каналы коммуникаций.
Экзамены в школе и в университете определенным образом готовят к более сложным экзаменам в жизни, поэтому они должны остаться. А очень серьезное подспорье для качественной оценки на экзамене — это цифровой след.
Любопытно, что проблема имеет место в совершенно, казалось бы, не родственной деятельности, а именно — игре в шахматы. И там можно считать, ситуация уже подходит к своему логическому завершению: внедрение разных программ против читинга (или «читерства»), т.е. мошенничества, приводит к изменению классических шахмат.
Началось все в конце XX века: сначала компьютер победил чемпиона мира Гарри Каспарова в блиц, потом обыграл его в одной из партий матча в классические шахматы, и наконец, выиграл сам матч. Само по себе это было бы не страшно, но параллельно практически линейно снижалась стоимость владения шахматным помощником за счет общего развития ИТ.
С тех пор любой человек, который умеет ходить фигурами и записывать ходы, может обыграть очень сильного гроссмейстера, если у него в доступе будет компьютер с установленной программой.
Таким образом, компьютерные технологии предоставили новичкам новые возможности для читинга — пользования программами во время игры и обращения за советом к профессионалу или просто человеку, имеющему доступ к компьютерным сервисам.
В ответ начали появляться различные модификации классических шахмат. К примеру, шахматы Фишера-960, шахматы с выбранной случайной расстановкой фигур, которые не предоставляют игрокам возможности использовать заученные ходы в начальной части партии. В итоге было создано множество радикальных модификаций классических шахмат, которые фактически представляют собой уже новые игры с сохранением только внешнего вида и основных принципов (к примеру, гексагональные шахматы Глинского, шахматы Капабланки).
Самих же турниров по классическим шахматам проводится все меньше. Так, согласно статистике сайта «Результаты шахматных турниров» (РШТ), в марте 2020 года в России состоялись 175 шахматных турниров, из которых «классика» составила только 38 состязаний, остальное — рапид (в большей степени) и блиц.
В итоге статус-кво в шахматах сейчас таков.
- В штатном режиме развиваются шахматы «для души», когда участники не преследуют каких-либо финансовых или других выгод, а играют ради удовольствия.
- Продолжается интенсивный уход средних и сильных шахматистов в быстрые шахматы (рапид или блиц), когда помощь компьютера становится невозможной или неэффективной. В эту категорию попадает подавляющее большинство коммерческих турниров.
- Проводится ограниченное количество турниров со специальными античитинговыми мероприятиями.
Если применить «шахматные» выводы к образованию, то напрашивается почти полная аналогия. Реально применимы лишь четыре сценария использования онлайн-режима оценивания:
- «для себя», когда испытуемый сам заинтересован в объективной оценке своих знаний и умений, а использование прокторинга лишено смысла (аналог любительских шахмат);
- переход на быстрые тесты с неминуемо вытекающим отсюда кардинальным упрощением заданий (аналог рапида или блица);
- проведение оценивания только в специально оборудованном центре, где уже теоретически возможно гарантировать честность, но сложнее избежать коррупционных рисков (аналог турниров высокого уровня). Говорить о массовости онлайн-тестирования здесь можно только с большой долей условности;
- наконец, в образовании есть еще один сценарий, отсутствующий в шахматах, а именно — использование независимой онлайн-оценки в нишевом сегменте трудоустройства, когда сам по себе подтверждающий документ не является исчерпывающим доказательством владения компетенцией. В данном случае обманывать отчасти бессмысленно, поскольку все равно придется доказывать неслучайность успешного прохождения теста.
Но ставить вопрос о качестве прокторинга в целом преждевременно, так как процесс оценки в онлайн-режиме меняет в принципе подход к оценке и к ее процедурам. К тому же в связи с переходом на дистанционный формат обучения многие студенты находятся в состоянии стресса и беспокойства, и дополнительный контроль может только навредить.
Прокторинговые системы особенно эффективны в рамках корпоративного обучения, когда нужно охватить большое число экзаменуемых, находящихся, например, в разных уголках страны и мира, или же когда крупной компании необходимо провести оценку большого числа своих сотрудников.
Таким образом, возможности применения онлайн-оценивания действительно ограничены, и можно предполагать, что в самое ближайшее время статус-кво онлайн-тестирования будет сильно изменен.
Что такое прокторинг и чем полезен на экзаменах, тестировании и в обучении
Вспомните письменный экзамен в университете. В аудитории тишина, преподаватель следит за каждым движением и любая замеченная шпаргалка — означает пересдачу. Такая система оценивания знаний действует до сих пор и далеко не идеальна. Но сдать экзамен как-то иначе было невозможно — пока не появилось онлайн-обучение.
С развитием e-learning лекционные занятия перешли в компьютеры и смартфоны, общение с преподавателями — в чаты. А экзамены начали сдавать в режиме онлайн с прокторингом: проще, объективнее и без лишних разъездов. Например, наши партнеры компания Examus создали технологию, которая помогает анализировать поведение и эмоции пользователей любых онлайн-сервисов с мобильных устройств и компьютеров, даже при слабых каналах связи. Что же такое прокторинг, для чего он нужен и как его пройти с первого раза, не искушая судьбу и проверяющих — читайте в нашем материале.
Что такое прокторинг
Прокторинг — это процедура контроля на онлайн-экзамене или тестировании, где за всем процессом наблюдает администратор — проктор. Он следит за действиями экзаменуемого с помощью веб-камеры и видит, что происходит на мониторе его компьютера.
Такая технология позволяет подтвердить личность кандидата, объективно оценить его знания, исключить шпаргалки и прочие уловки на экзамене. При этом испытуемый и проктор могут находиться в разных уголках планеты.
Впервые прокторинг стали использовать в Америке в 2008 году. Компания ProctorU, которая и создала эту систему, использовала прокторинг для дистанционного контроля за экзаменом. Тогда за студентами следил администратор через веб-камеру и самостоятельно фиксировал все нарушения.
С тех пор технологии ушли вперед, многое автоматизировали и прокторинг стали проводить 3-мя способами:
- проктор-человек — администратор следит за ходом экзамена через веб-камеру и фиксирует нарушения вручную;
- автопрокторинг — программа самостоятельно верифицирует личность студента, следит за его поведением, направлением взгляда, анализирует звуки в комнате, фиксирует нарушения на видео и готовит отчеты;
- человек и программа — комбинированный вариант. Может проводиться 2-мя способами. Первый — когда весь процесс контролирует ПО и подает сигналы проктору в случае нарушений. Второй — администратор сам следит за тестируемыми в режиме онлайн. Последний вариант считается самым надежным, так как любая программа может дать сбой. При этом проктор, за счет автоматизации процесса, может одновременно принимать экзамен у нескольких студентов и ничего не упустить из виду.
Так проходит тестирование с прокторингом на digital-платформе Finassessment
Прокторинг исключает любую заинтересованность учебного центра в результате экзаменов. Так как проктор — это не экзаменатор, а независимое лицо. Он не участвует в учебном процессе, но принимает экзамен и следит, чтобы он прошел по всем правилам. Проктором может быть как специально обученный специалист, так и независимый преподаватель из другой учебной организации или частной компании.
Как все проходит и что нельзя делать во время прокторинга
Онлайн-экзамен или тест с прокторингом можно пройти где угодно. Главное, чтобы в помещении был хороший интернет, под рукой — исправный компьютер и веб-камера. Также придется установить на ПК специальную программу для записи с экрана и соблюдать простые правила и процедуры.
Чтобы пройти экзамен с прокторингом, студенту нужно:
- за 15-20 минут до начала экзамена включить компьютер, чтобы зарегистрироваться в системе
- после пройти тест оборудования и проверить, пропускает ли компьютер экзамен (на офисных ПК могут быть закрыты порты)
- включить видеотрансляцию и разрешить системе вести запись с экрана компьютера
- пройти верификацию личности, показав документы на веб-камеру (паспорт или водительские права подойдут)
- при необходимости показать рабочий стол и комнату и, если все будет в порядке, проктор запустит экзамен.
Во время экзамена можно пользоваться рукописными конспектами с курса и звонить проктору в случае технических неполадок (если отключили свет, пропал интернет).
При этом запрещено:
- ходить по вкладкам в браузере
- сидеть в наушниках
- пользоваться подсказками 3-х лиц и шпаргалками
- звонить по телефону и уходить без предупреждения
При любом нарушении проверяющий пишет замечание кандидату. А если грубых нарушений было несколько или студент не реагирует на предупреждения — проктор может прервать экзамен досрочно или вовсе его аннулировать.
Где используется прокторинг
Систему прокторинга применяют не только в онлайн-обучении, но и в аттестации и тестировании специалистов на предприятиях. За что особенно полюбился не только учебным центрам, но и бизнесу.
Вот основные 3 области его применения.
- Подбор персонала. С помощью тестов с прокторингом HR-менеджеры и руководители могут проверить профнавыки соискателей из других регионов и стран. Отобрать лучших и отсеять неподходящих кандидатов на должность, экономя собственное время и деньги компании.
- Онлайн-обучение. Особенно это актуально для компаний, которые обучают специалистов из разных филиалов. Сотрудники повышают квалификацию онлайн, а экзамен сдают с прокторингом. Так руководители и владельцы компаний дополнительно подстраховываются от фальсификации результатов экзаменов и могут быть уверены в эффективности своих вложений.
- Тестирование и аттестация персонала. Необходимость в прокторинге не всегда связана с обучением. Его также используют при тестировании hard skills сотрудников. Обычно такие тесты проводят перед кадровыми ротациями или когда принимаются решения о надбавках к зарплате. Зная это, сотрудники могут хитрить и пытаться улучшить результаты тестов. Прокторинг поможет объективно оценить знания работников и исключить любые попытки манипуляций.
Примеры использования прокторинга
Линейные сотрудники Сбербанка периодически проходят онлайн-курсы в корпоративном университете, а экзамены сдают дистанционно с прокторингом. По результатам такого обучения треть специалистов получают повышение или подключаются к новым проектам банка.
Поисковая система Яндекс также перешла на подобную практику. С июля 2019 года получить сертификат по Яндекс.Директу можно, только сдав экзамен с прокторингом. При этом нужно пройти дополнительную авторизацию в системе и выдержать часовой тест с автоматическим видеонаблюдением.
Наша академия использует систему прокторинга с 2014 года в нескольких сферах.
- На онлайн-экзаменах (читайте, как это выглядит в Репортаже с экзамена IPFM). Применение прокторинга на экзаменах — обязательное требование профессиональной организации IPFM. Так британский Институт гарантирует высокий статус своих дипломов.
- Во время профессионального тестирования финансовых специалистов на digital-платформе Finassessment. Такие тесты с прокторингом мы проводим по заказу компаний, когда нужно оценить уровень знаний сотрудников после корпоративного обучения или подобрать кандидатов на должность. При этом проктором на тесте может быть как представитель компании, так и специалист от digital-платформы.
Советы, как сдать экзамен с прокторингом
Если вам предстоит сдать экзамен с прокторингом — не волнуйтесь. Все пройдет гладко, если придерживаться простых советов.
- Экзамен необходимо сдавать в отдельном, тихом помещении. Если вы дома — выберите комнату, куда не смогут зайти ваши родные и домашние животные. Присутствие котов и собак не запрещено, но питомцы могут сильно отвлекать.
- В офисе экзамен лучше проходить в нерабочее время, когда рядом нет коллег. Иначе наличие людей и разговоров в комнате будет считаться грубым нарушением.
- Чтобы не терять время на технические неполадки во время экзамена, заранее пройдите тест оборудования, проверьте исправность веб-камеры и микрофона.
- Чтобы без проблем пройти верификацию личности, позаботьтесь о достаточном освещении комнаты. Проктор должен легко распознать ваше лицо на камеру и прочитать данные в паспорте.
- Если вам нужно отойти в уборную — просто напишите об этом проктору в чат. Отлучаться можно не более, чем на 2-3 минуты.
- Если неожиданно пропал свет, интернет, отключился компьютер или произошли другие технические форс-мажоры — позвоните проктору. Возможно, вам продлят время экзамена. Ну, или как минимум, не зачтут как нарушение.
Несмотря на то, что система прокторинга очень требовательная и бывают разные технические трудности — у нее есть ряд преимуществ. Прокторинг не даст пройти тест без реальных знаний или получить сертификат за другого или несуществующего специалиста. При этом система контроля существенно экономит время и финансовые ресурсы как специалистов, так и компаний.
Экзамен с прокторингом — это единственная альтернатива очного экзамена, которая сохраняет прозрачность и качество самой процедуры. И как показывает практика, количество нарушений на экзаменах с прокторингом намного меньше, чем на очных. Во-первых, это обусловлено незаинтересованностью прокторов в результатах экзамена. А во-вторых, сами студенты относятся к испытанию более ответственно и ведут себя спокойней, находясь в привычной обстановке.
Легкого вам прокторинга и высоких баллов на экзаменах!
Хотите посмотреть, как работает прокторинг и для чего еще, кроме экзаменов, его можно использовать в вашей компании?
Зарегистрируйтесь, чтобы попасть на бесплатную демонстрацию инструмента от Examus!
Как вы считаете, при каком формате экзамена достоверность результатов выше?
Для студента процесс онлайн-прокторинга довольно прост и не вызывает стресса. К примеру, у нас в “Экзамус” (Examus) процесс устроен следующим образом:
Перед началом экзамена
Шаг 1. Система прокторинга запрашивает доступ к камере и микрофону.
Шаг 2. Решение удаленного прокторинга проверяет стабильность интернет-соединения.
Шаг 3. Система прокторинга проверяет наличие второго экрана и все попытки симулировать или имитировать экран.
Шаг 4. Процесс идентификации студента (если все вышеперечисленные требования выполнены), то есть тестируемый должен будет сфотографировать себя и представить его в систему вместе с документом, удостоверяющим личность (это могут быть водительские права, студенческий билет или кредитная карта).
Шаг 5. Начните экзамен и покажите свои знания!
Во время экзамена
Во время экзамена система онлайн-прокторинга анализирует поведение испытуемого. Если учащимся разрешено пользоваться калькуляторами или бумагой и ручкой в определенных ситуациях – правила системы могут быть соответствующим образом скорректированы. Как правило, системы онлайн-прокторинга отслеживают следующие параметры:
• аномалии в направлении взгляда;
• закрытие части лица;
• наличие других лиц в кадре;
• обнаружение человеческого голоса;
• обнаружение переключения монитора;
• обнаружение вторичных гаджетов;
• обнаружение книг и заметок;
• обнаружение калькулятора (если это не разрешено);
• обнаружение широковещательного ПО;
• обнаружение переключения вкладок в браузере;
• обнаружение сторонних алгоритмов;
• обнаружение невербальной коммуникации.
Решение автоматически помечает все подозрительные действия и добавляет их в отчет. Каждая запись в нем включает разбивку по типу нарушения и соответствующую метку времени.
После экзамена
Система прокторинга собирает и объединяет информацию из всех источников в единую комбинированную запись. После этого программа рассчитывает общую вероятность нарушений во время экзамена: зеленая зона означает низкую вероятность, желтая — среднюю, а красная – высокую. Основываясь на полученных результатах, система Examus способна:
• Показать записи с камеры, микрофона и рабочего стола;
• Показать все возможные нарушения в хронологическом порядке;
• Показать подробную информацию по каждому нарушению (с указанием типа и метки времени).