Высшая школа экономики, Москва, 2012 hse.ru

Семинар-тренинг по подготовке к проведению основного

исследования в рамках проекта AHELO по направлению

«Экономика» в российских вузах в 2012 году

27, 30 января 2012 Высшая школа экономики, Москва, 2012

www.hse.ru

Высшая школа экономики, Москва, 2012

График реализации проекта в 2012 (1)

фото

фото

Виды работ Сроки Кто реализует

Окончательная верификация основного оценочного инструментария и доработка доп. инструментария (AHELO+)

До 31 января Национальный центр (НЦ)

Апробация онлайн платформы для тестирования До 31 января (оболочка и интерфейс)

До 29 февраля (полностью готовая система)

НЦ совместно с институциональными координаторами (ИК)

Разработка выборки (подготовка списков целевых групп студентов и преподавателей для Межд. консорциума)

До 15 февраля НЦ совместно с ИК

Подтверждение дальнейшего участия вузов, согласование дат проведения исследования в вузе

До 15 февраля Вузы при содействии ИК

Определение администраторов тестирования (методистов) в вузах, проведение их тренингов

До 29 февраля ИК при содействии НЦ

Согласование тех. и орг.возможностей проведения исследования в вузах

До 29 февраля ИК


График реализации проекта в 2012 (2)

фото

фото

Виды работ Сроки Кто реализует

Формирование национальной команды специалистов по оценке заданий с конструируемыми ответами. Проведение их тренинга

До 29 февраля НЦ

Проведение очередного тренинга для ИК и АТ Конец февраля и конец марта (перед началом исследования в вузах)

НЦ при участии ИК и администраторов тестирования

Проведение основного исследования В период с 20 марта по 20 мая (tbc)

Вузы совместно с НЦ

Обработка и представление данных. Качественный и количественный анализ

Июнь-август НЦ

Подготовка отчетных материалов для ОЭСР Август-октябрь НЦ

Международная конференция по AHELO 10-11 декабря. Место - tbc Возможно участие вузов

Национальная конференция по AHELO Конец декабря (tbc) При участии вузов


Оценочный инструментарий (1)

фото

фото

Основной инструментарий AHELO Режим выполнения Цел. аудитория (кто выполняет)

Для оценки результатов обучения

Тестирование, состоящее из 2 модулей:1-ый модуль - решение комплексной

задачи с конструируемым ответом (CRQ)2-ой модуль - решение 50 тестовых

задач с выбором ответов (MCQ)

Онлайн на платформе AHELO

студенты

Для оценки контекста результатов обучения

Вопросник для студентов Онлайн на платформе AHELO

студенты

Вопросник для преподавателей Онлайн на платформе AHELO

преподаватели

Вопросник для ИК Онлайн на платформе AHELO

ИК совместно с АУП вузов


Оценочный инструментарий (2)

фото

фото

Дополнительный инструментарий (AHELO+)

Режим выполнения Цел. аудитория (кто выполняет)

Дополнительный вопросник для студентов

Онлайн (в электронном виде)

Студенты (с учетом ID, полученного для работы с основным инструментарием AHELO)

Сопоставление учебных планов и программ по экономике

НЦ совместно с ИК

Все вопросники (3-AHELO, 1 – AHELO+) будут представлены ИК заранее, после получения от МК (в настоящее время доступны только в защищенной онлайн системе)


Апробация онлайн системы тестирования

фото

фото

Апробация оболочки и интерфейса (до конца января)• Проводится для проверки технической платформы,

правильности отображения русскоязычного текста (кодировки) и т.д.

• Не содержит конфиденциальной информации (оценочных заданий)

• Не требует участия студентов• Может быть проведена не во всех вузах (по желанию)• Проводится на основании выдаваемого вузу пароля и

логинаАпробация полностью готовой системы

тестирования (до конца февраля)


Разработка выборки (1)

фото

фото

План/порядок подготовки выборкиВиды работ Кто делает

1. Определение целевой группы (студентов/преподавателей) в каждом вузе

НЦ совместно с ИК

2. Подготовка полного списка студентов/преподавателей, которые попадают в целевую группу

ИК совместно с НЦ

3. Случайная выборка (студентов/преподавателей) из подготовленных полных список (автоматизировано с использованием специальных программ – SPSS, SAS/STAT и т.д.

НЦ совместно с Межд. консорциумом (МК)

4. Компьютерная оценка, которая позволяется от искажений и диспропорций в характеристиках и оценках студентов и преподавателей

МК совместно с НЦ



фото

фото

Основные требования к разработке выборки

• Случайная стратифицированная выборка (одноступенчатая или многоступенчатая)

• Доля участия – 75 % от включенных в выборку

• Ожидаемый размер выборки для студентов – 200 человек от вуза (150 человек – реальное участие с учетом 25% не участвующих)

o Если менее 200 или чуть более 200 – включаются все

• Ожидаемый размер выборки для преподавателей – 40 человек от вуза (30 человек – реальное участие с учетом 25% не участвующих)

o Если менее 40 или чуть более 40 – включаются все

• Не допускается замена не участвующих студентов и преподавателей (‘volunteer sampling’)



фото

фото

Определение целевой группы студентовВ целевую группу студентов входят:• 4-й курс бакалавритата или специалитета по направлению подготовки «Экономика»

(профили подготовки – для обсуждения)• Студент должен быть официально зачислен, регулярно посещать занятия, не

относиться к категории студентов, готовящихся к отчислению

В целевую группу не входят и должны быть исключены при выборке:• Студенты на стажировке в период исследования• Студенты на производственной практике в период исследования• Студенты, обучающие дистанционно или заочно (в случае нехватки выборки из

студентов-очников в выборку можно включать студентов, обучающихся по очно-заочной/вечерней форме)

В целевую группу входят, но должны быть изъяты из выборки в случае попадания в выборку

• Студенты с ограниченными возможностями

NB! В общий список вуза включаются все студенты (в том числе подлежащие исключению или изъятию из выборки). Студенты, исключенные из выборки должны быть указаны в конце общего списка и помечены как исключенные



фото

фото

Определение целевой группы преподавателейВ целевую группу входят:• все преподаватели, относимые к категории ППС, в чьи трудовые обязанности входит

в том числе подготовка студентов-бакалавров (или специалистов) по направлению подготовки Экономика по профильным для студентов-экономистов дисциплинам в течение текущего учебного года, включая период проведения исследования

В целевую группу не входят (должны быть исключены при выборке):• Преподаватели, обучающие не по профильным предметам (напр., преподаватели

истории, преподающие историю экономики для экономистов) • Преподаватели, обучающие экономическим предметам студентов-не экономистов• Преподаватели, в том числе совместители, исследовали, АУП, не имеющие текущих

преподавательских обязанностейВ целевую группу входят, но могут быть изъяты из выборки в случае попадания в• Преподаватели, преподающие профильные дисциплины для студентов-экономистов,

но имеющие большую доп. административную нагрузку

NB! В общий список вуза включаются все преподаватели (в том числе подлежащие исключению или изъятию из выборки). Преподаватели, исключенные из выборки должны быть указаны в конце общего списка и помечены как исключенные



фото

фото

Подготовка списка студентов, которые попадают в целевую группуШаг 1: Подготовка полного списка студентов, на основании рамки (таблицы),

подготовленной НЦ и включающей:• Пол студента• Уровень успеваемости (по используемой в вузе 5 или 10-балльной шкале)• Широкое направление подготовки (в соответствии с МСКО)• Узкое направление подготовки (в соответствии с МСКО)• ФИО студента• Дата рождения студента• E-mail студента• Номер студенческого (ID) студента • Тел. студента• Статус студент- включен/изъят/исключен из выборки• Доп. основание для стратификации – обучение на бюджетной или платной основе • Другие основания для стратификации? (для обсуждения)Шаг 2 (в соответствии с Sampling Manual) - подготовку облегченного

анонимного списка студентов можно не делать (задача НЦ)Шаг 3: отправка полного списка студентов в НЦШаг 4: автоматизированная случайная выборка – задача НЦ



фото

фото

Подготовка списка преподавателей, которые попадают в целевую группу

Шаг 1: Подготовка полного списка преподавателей на основании рамки (таблицы), подготовленной НЦ

Необходимые данные о преподавателях для включения в полный список и последующей выборки – для обсуждения с МК

Шаг 2: отправка полного списка преподавателей в НЦ

Шаг 3: автоматизированная случайная выборка – задача НЦ



фото

фото

фоо

Вопросы для обсуждения:1. Включаем все или некоторые (общие для всех вузов)

профили подготовки студентов по направлению Экономика? Какие профили подготовки рекомендуется включить?

(Проблема сопоставимости результатов между вузами)2. Общее количество студентов студентов 4-го курса бакалавриата

и/или специалитета и их количество по каждому профилю подготовки?

(Проблема достаточности респондентов для выборки)3. Возможно ли подготовить единый список всех студентов 4-го

курса бакалавриата и/или специалитета, обучающихся по направлению Экономика по всем факультетам в вашем вузе?

(Проблема оптимизации трудозатрат)3.1. Если да, то в каком формате может быть предоставлен

такой список и какая информация по студентам туда будет включена? Может ли туда быть включена такая персональная информация как: телефон, эл. адрес, дата рождения, успеваемость, форма обучения (плат./ бюджет) студента

3.2. Если нет, то каким образом может быть получена такая информация (через учебные части факультетов, через запрос дополнительной информации у студентов и т.д.)?


Подготовка к организации исследования в вузе (1)

фото

фото

Задачи институционального координатора

1. Участие в национальных тренингах (следующий тренинг -ориентировочно 20-21 марта)

2. Апробация системы онлайн тестирования (до 31 января)

3. Помощь в получении официальных писем о дальнейшем участии вуза в проекте (до 15 февраля), включая:

• Уточнение полномочий ИК или назначение нового ИК в случае изменений

• Согласование дат проведения исследования в вузе (в период с 20 марта до 20 мая) с учетом учебного процесса, орг. и тех. возможностей

4. Участие в выборке и проведение рекрутинга студентов и преподавателей

5. Определение администраторов тестирования (методистов) в вузе и проведение их тренинга (до 29 февраля)

6. Согласование орг. и тех. возможностей проведения исследования в вузе (до 29 февраля)


Подготовка к организации исследования в вузе (2)

фото

фото

Обязанности институционального координатора

• Ознакомление со всеми рабочими документами, необходимыми для исследования, рассылаемыми НЦ

• Получение, проверка и обеспечение строгой конфиденциальности всех тестовых материалов и инструментария, получаемых до проведения исследования

• Подготовка необходимых документов для проведения исследования

• Своевременное определение и резервирование аудиторий (компьютерных классов) для проведения исследования

• Обеспечение безопасности и конфиденциальности всех тестовых материалов на протяжении всего периода подготовки и проведения исследования

• Определение и подготовка администраторов тестирования, взаимодействие с ними и с внешними наблюдателями в ходе проведения исследования

• Проверка всех материалов, которые должны быть возвращены и переданы в НЦ


Проведение рекрутинга студентов и преподавателей

фото

фото

Мотивирование студентов (рекомендации МК):

• Дополнительные баллы (кредиты)

• Подарочные сертификаты

• Денежное вознаграждение (нежелательно)

• Кредит-сертификат в университетский книжный магазин

• Небольшие подарки и презенты (USB, сувениры с университетской символикой

• Включение участия в AHELO в студенческие портфолио, приложения к дипломам и т.д.

• Подготовка официальных пригласительных писем для студентов и преподавателей за подписью руководства (проекты писем могут быть предоставлены НЦ)

• Анонсирование и PR проекта и важности участия в исследовании на университетских сайтах, газетах и т.д…..

NB! При возможности – организация питания студентов после прохождения тестирования (во время нельзя)

Мотивирование преподавателей – для обсуждения


Назначение и подготовка администраторов тестирования в вузах (1)

фото

фото

Задачи АТ• Помощь ИК в тех. и орг. подготовке тестирования• Получение, проверка, установка и обеспечение конфиденциальности

установленной версии всех тестовых материалов• Проверка готовности помещений и рабочих мест (не позднее чем за 30

мин. до начала тестирования)• Совместно с ИК - встреча студентов, проверка и отметка прибывших и

отсутствующих студентов по списочным листам (будут подготовлены НЦ в формате Excel после процедур выборки)

• Сопровождение студентов до рабочих мест, выдача им индивидуальных логинов и паролей

• Предварительное объяснение правил тестирования и установочные рекомендации

• Мониторинг во время тестирования (обход, отслеживание процесса выполнения студентами заданий на компьютере) и напоминание о времени тестирования

• Сопровождение студентов при необходимости выхода из аудитории• Ведение отчета о прохождении тестирования• Завершение тестирования• Сбор всех вспомогательных материалов и черновиков после

тестирования


Назначение и подготовка администраторов тестирования в вузах (2)

фото

фото

Требования к АТ• Наличие опыта проведения или мониторинга тестирования и

оценивания студентов (экзаменов, зачетов и т.д.) • Должны иметь опыт использования компьютерных и онлайн

систем оценивания (быть способны загрузить и запустить онлайн систему, решить возможные технические проблемы студентов и т.д.)

• Желательно не иметь прямых профессиональных контактов со студентами, которые участвуют в тестировании

Численность АТ• От вуза – один АТ на одну аудиторию, если аудитория большая –

1 АТ на 40 студентов• От НЦ – один или несколько независимых наблюдателей

NB! Желательно присутствие непосредственно на тестировании (или в пределах досягаемости) ИТ-сотрудника


Организационные требования и возможности

(1)

фото

фото

Время тестирования• Время на тех. и орг. подготовку (загрузка заданий, проверка

компьютеров, рабочих мест и т.д.) – не менее 30 мин.• Встреча студентов, проверка участников по спискам,

сопровождение до рабочих мест, выдача инд. паролей и логинов – не менее 30 мин.

• Объяснение правил участия, установочные рекомендации (напр., стараться писать тезисно и лаконично CRQ) – 10 мин.

• Тестирование – 90 мин. (студент сам распределяет время между двумя модулями заданий)

• Заполнение вопросника (AHELO) – 10 мин. • Заполнение вопросника (AHELO+) – 10 мин. • Завершение работ, благодарности – 10 мин.Итого время для резервирования аудиторий – не менее 3 часов

(лучше с запасом – 3,5 - 4 часа) При отсутствии возможностей для проведения одновременного

тестирования можно проводить последовательно либо в течение нескольких дней (желательно – в один день)

Преподаватели и ИК заполняют вопросники онлайн в свободное время



(2)

фото

фото

Требования к аудиториям для тестирования• Адекватная температура в помещении• Освещение, вентиляция, отсутствие лишнего шума,

наличие в доступности туалетных комнат с указателями• Наличие одного стационарного работающего компьютера

(с клавиатурой, монитором, мышью и интернет-соединением) на каждого студента

• Наличие места для проходя АТ между рабочими местами (опт. Не менее 60 см.)

• Наличие микрофонов и громкой связи – при необходимости

• Наличие одного компьютера на каждого АТ• Наличие как минимум двух дополнительных свободных

компьютера для ИК и АТ, а также на случай поломки других компьютеров



(3)

фото

фото

Наличие необходимых расходных и вспомогательных материалов

• ручки, карандаши и ластики, чистые листы бумаги (желательно цветные)

• Калькуляторы не требуются и не разрешены

На рабочем месте студента не должно быть:• Верхних вещей и сумок

• Никаких электронных дивайсов (мобильных телефонов, коммуникаторов, планшетников, электронных книг и т.д.)

• Никаких расходных и вспомогательных материалов кроме ручки, карандаша, ластика и бумаги)

• Книг и бумаг

• Напитков и еды, кроме воды в пластиковых бутылках


Технические требования и

возможности

фото

фото

Минимальные системные требования к компьютерам• Интернет-браузер: Internet Explorer 6+, Firefox 3.6+, Safari 3.0+,

Opera 10.5+, Chrome 6+• Разрешение экрана монитора: 1024 х 768 или выше• Действующее интернет-соединение

Не допускается использование собственных ноутбуков студентов

Необходимо поставить дополнительную защиту на компьютеры для предотвращения:

• возможности доступа в источникам информации в интернете или каким-либо другим источникам информации

• изменения установок онлайн системы тестирования


Дальнейшая коммуникация

фото

фото

Следующие семинары-тренинги• Семинар-тренинг для АТ – до конца февраля • Семинар-тренинг для ИК и АТ (проверка полной тех. и орг. готовности

к началу тестирования) – конец марта По всем вопросам подготовки и реализации исследования можно и

нужно обращаться в Национальный центр проекта AHELO в РоссииМешкова Татьяна Анатольевна[email protected]+7(495)531-00-02, +7(985)960-41-54Сабельникова Елена Владимировна[email protected]+7(495)772-95-90, доб. 1671

Обратная связь на сайте проекта - http://www.hse.ru/ahelo/

Доп. информация: [email protected]/edu/ahelo

mailto:[email protected]


http://www.hse.ru/ahelo/





http://www.oecd.org/edu/ahelo




Высшая школа экономики, Москва, 2012 hse.ru

Documents

Transcript of Высшая школа экономики, Москва, 2012 hse.ru