Сравнительные международные исследования TIMSS, PISA,PIRLS.

Сравнительные международные исследования TIMSS, PISA,PIRLS.

Н. И. Шаройко

учитель математики Иртышской СОШ № 3

Павлодарская область, с Иртышск.

Для повышения качества образования необходимо проведение постоянного мониторинга состояния и тенденций его развития, объективная и адекватная оценка образовательных достижений обучающихся. Особо это важно на уровне среднего образования, закладывающем фундамент их дальнейшего личностного развития и гражданского становления.

         Как известно, в Казахстане интенсивно развиваются такие процедуры внешней оценки образовательных достижений обучающихся как единое национальное тестирование (ЕНТ) и внешняя оценка учебных достижений (ВОУД). Результаты ЕНТ и ВОУД используются для оценки качества образования, принятия управленческих решений по совершенствованию деятельности системы среднего образования. В то же время эти процедуры не дают возможности провести сопоставительный анализ качества образования в наших общеобразовательных школах с другими странами. Для этого необходимо участие в Международных сравнительных исследованиях в области образования, таких как TIMSS, PISA, PIRLS и т.д.

В соответствии с Государственной программой развития образования наша страна в 2007 и 2011 годах принимала участие в исследовании TIMSS (цикличность 4 года), которое проводится    Международной ассоциацией по оценке качества образовательных достижений учащихся (IEA). В нем приняли участие учащихся 4 и 8 классов 59 стран мира.. Исследование TIMSS (Trend in International Mathematics and Science Study) позволяет отслеживать тенденции в математическом и естественнонаучном образовании участвующих стран посредством оценки образовательных достижений учащихся 4 и 8 классов по математике и естествознанию. В исследовании изучаются особенности содержания математического и естественнонаучного образования, организации учебного процесса, а также факторы, связанные с характеристиками организации образования, учителей, учащихся и их семей. Для оценки образовательных достижений проводится тестирование учащихся, а для получения информации о факторах, влияющих на результаты обучения – анкетирование учащихся, учителей и администрации школ.

Образовательные достижения наших школьников по результатам TIMSS 2007 признаны Международной ассоциацией очень высокими – 5 место по математике, 11 место по естествознанию в общем рейтинге 36 стран, принявших участие в исследовании среди 4 классов.  

По итогам исследования получена очень большая и разнообразная информация об особенностях содержания математического и естественнонаучного образования, учебных программ, требований к образовательным достижениям учащихся, организации учебного процесса, о различных факторах, влияющих на образовательные достижения учащихся.

То, что результаты девочек по математике в Казахстане выше результатов мальчиков можно объяснить большим усердием девочек при обучении в целом. Сопоставимые результаты мальчиков и девочек по естествознанию объясняются  бóльшим интересом мальчиков к предметам естественнонаучного цикла.

Особый интерес для Казахстана представляют данные, связанные с наиболее актуальными вопросами, которые активно обсуждаются в обществе в связи с проводимой в последние годы модернизацией школьного образования и предстоящим переходом на 12-летнее среднее образование.

Учебная программа начальной школы Казахстана охватывает более половины тем и вопросов заданий международных тестов, остальные задания содержат внепрограммный материал. Обязательный минимум содержания начального общего образования не содержит ряд тем и вопросов, важность которых для развития учащихся признается на международном уровне.

Формирование положительного отношения к математике и естествознанию является одной из самых важных целей в учебных программах по этим предметам во многих странах. Чтобы получить информацию о том, насколько эта цель реализована в учебном процессе, в исследовании TIMSS изучались факторы, характеризующие отношение учащихся к математике и естествознанию и их самооценку в изучении данных предметов.

Чтобы понять, как учащиеся относятся к данным предметам, в исследовании был построен индекс позитивного отношения учащихся к ним, основанный на ответах учащихся на три утверждения: «Изучение математики или естествознания доставляет мне удовольствие», «Математика или естествознание - скучные предметы (с обратной шкалой)» и «Мне нравятся математика или естествознание». Учащиеся Казахстана также подтвердили явную зависимость высоких результатов от позитивного отношения к предметам

Чтобы изучить самооценку учащимися своих способностей в освоении математики, в исследовании TIMSS рассчитан индекс уверенности учащихся в изучении этого предмета, основанный на ответах учащихся на четыре утверждения: «Я обычно хорошо учусь по математике», «Математика дается мне труднее, чем многим моим одноклассникам» (с обратной шкалой), «В математике я не силен» (с обратной шкалой), «Математика дается мне легко».

Учащихся просили указать, насколько они согласны (полностью согласны, скорее согласны, скорее не согласны, или полностью не согласны) с каждым из этих утверждений.Чем выше самооценка учащихся в изучении учебного предмета, тем более высокие результаты они демонстрируют. В Казахстане девочки больше чем мальчики уверены в своих способностях в изучении математики и естествознания, так 69% девочек имеют высокое значение индекса самооценки в изучении математики и 73% в изучении естествознания. Для мальчиков эти показатели значимо ниже и равны 63% и 69% соответственно. Также не выявилось значимых различий между результатами учащихся и размером классов.

 45% учащихся 4 классов обучаются в классах, в которых учителя ответили, что различный состав учащихся не оказывает заметного влияния на результаты, если оказывает вообще, и эти же учащиеся показали наиболее высокие результаты. В Казахстане таких учащихся 71%, они также продемонстрировали значимо высокие результаты.

Выполнение домашних заданий дает возможность учащимся расширить и закрепить материал, изученный в школе, а для учителей расширить время обучения предмету. Следовательно, можно ожидать, что учащиеся, которым задают большой объем домашней работы, должны иметь высокие результаты, чем учащиеся, которые имеют малый объем или вообще не получают. Тем не менее, ситуация не так однозначна, как кажется.

Традиции выполнения домашних заданий широко варьируется по странам. В 4 классах в некоторых странах редко задают на дом, в основном в коррекционных целях, чтобы позволить отдельным учащимся догнать своих сверстников в освоении материала. Учащиеся Казахстана являются самыми перегруженными домашними заданиями по математике в мире.

В целом большой объем домашних заданий чаще всего оказывает негативное влияние на качество образовательных достижений учащихся.

Расчеты индекса ощущения учащимися себя в безопасности в школе были основаны на ответах учащихся на пять вопросов международной анкеты о том, что происходило в их школе за последний месяц. Полученные данные свидетельствуют о том, что 80% казахстанских учащихся начальной школы чувствуют себя в безопасности в своих школах, что, несомненно, повлияло на их результаты в данном исследовании.

В TIMSS-2011 приняли участие учащиеся 4-х классов из 50 стран и 8-х классов из 42 стран. Казахстан в Исследовании представили 8775 учащихся 4-х и 8-х классов. По итогам TIMSS – 2011 учащиеся 4-х классов заняли 27 место по математике и 32 место по естественнонаучным дисциплинам среди  50 стран мира. Результаты учащихся 8-х классов следующие - 17 место по математике и 20 место по естественнонаучным дисциплинам среди 42 стран мира. В 2015 году казахстанские школьники продолжат участие в исследовании TIMSS.

 Примеры заданий 4 класс

1. Три тысячи билетов на баскетбольный матч пронумерованы от 1 до 3000. Зрители, у которых номер билета оканчивается на 112, получают приз. Запиши номера всех призовых билетов.

2. У Ивана в саду стоит флаг. Иногда флаг висит вдоль шеста, а иногда

развевается, как показано на рисунке. Что заставляет флаг развеваться?

3. Какое из указанных небесных тел самое горячее? (Земля, Марс, Луна, Солнце)

4. Напиши, что может произойти с рыбами и растениями в реке, если фабрика сольет в реку большое количество горячей воды.

 Примеры заданий 8 класс.

1. В 8 классе 30 учащихся. Вероятность того, что возраст ученика случайно выбранного из списка класса будет меньше 13 лет равна 1/5. Сколько учеников в этом классе младше 13 лет. ( вариант ответа)

2. Кратко объясните, как очки и контактные линзы помогают некоторым людям лучше видеть.

3. Оля пришла в школу с простудой. Несколько дней спустя половина ее школьных подруг также заболела. Назови одну наиболее вероятную причину, объясняющую почему одна часть ее подруг заболела, а другая часть нет.

         Итоги исследования позволили провести сопоставительный анализ качества образования в Казахстане в сравнении с другими странами мира.

В процессе исследования получен богатый опыт использования уникального стандартизированного инструментария TIMSS, созданного с учетом международных приоритетов в образовании, самых современных процедур измерения и технологий проведения исследования.

Исследование PISA началось в 2000 году и проводится трехгодичными циклами. Цикличность исследования дает странам-участницам возможность отслеживать динамику результатов образовательных достижений учащихся, изменения, происходящие в образовательной системе, формулировать основные направления реформирования среднего образования и выявлять  препятствия, мешающие их осуществлению, проводить аналитическую работу в международном контексте, что дает возможность каждой стране-участнице определить стратегические цели системы образования. В 2009 году завершился четвертый цикл программы.

В Казахстане исследование проводится Национальным центром оценки качества образования Министерства образования и науки Республики Казахстан при содействии органов управления образования и организаций образования.

Для каждого региона, участвующей в исследовании PISA, назначается областной координатор, который обеспечивает проведение исследования согласно утвержденному графику, доставляет материал исследования до организации образования, обеспечивает их сохранность и конфиденциальность, ведет работу с координаторами организации образования и лицами, проводящими тестирование и анкетирование.

Казахстан впервые принял участие в исследовании PISA – 2009 в целях получения достоверной информации об уровне образовательных достижений 15-летних обучающихся. В исследовании  PISA 2009 года участвовало 65 стран мира, около 470 тысяч 15 летних учащихся. Инструментарий исследования был представлен:

-Тестовые буклеты;

-Анкеты для учащихся, учителей, администрации ОО;

 По типам заданий:

краткий ответ-9,47%;

с выбором ответа-34,21%;

с закрытым конструируемым ответом-5,26%;

комплексные с выбором ответа-5,3%;

со свободно-конструируемым ответом-33,69%

Для нашей страны участие в PISA-2009 было продиктовано рядом факторов, обусловливающих необходимость реформирования контрольно-оценочной системы образования, интеграция казахстанской системы образования в мировое образовательное пространство. Участие Казахстана в международном  апробационном исследований PISA- 2012 даёт возможность изучать умения учашихся самостоятельно добывать, анализировать, структурировать и эффективно использовать информацию для максимальной самореализации и полезного участия в жизни общества (компетентность).

Цель международного исследования PISA – оценить математическую грамотность и грамотность в области чтения и естествознания 15 - летних обучающихся. Исследование направлено не на определение уровня освоения школьных программ, а на оценку способности учащихся применять полученные в ходе обучения знания и умения в жизненных ситуациях.  Ключевой вопрос исследования - "Обладают ли учащиеся 15-летнего возраста, получившие основное общее образование, знаниями и умениями, необходимыми им для полноценного функционирования в обществе?". Во многих странах именно в данный возрастной период завершается обязательное обучение в школе, важно оценить способности учащихся применять знания, необходимые для успешной адаптации в современном мире. 
         Одновременно в ходе исследования изучаются факторы, которые позволяют объяснить различия в результатах учащихся стран-участниц программы. Это оценивание комплекса вопросов - от организации учебно-воспитательного процесса до создания необходимых условий для развития ребенка в семье. В исследовании PISA одновременно реализованы несколько современных инновационных идей в измерениях: оценка функциональной грамотности, изучение отношений, интереса и мотивации к обучению. 

В международном исследовании PISA-2012 приняли участие более 5000 пятнадцатилетних обучающихся из 218 организаций образования Казахстана. В данном исследовании проверяется глубокое понимание сути вещей, причинно-следственных связей, универсальные учебные действия, составляющие основу умения учиться: навыки решения творческих задач и навыки поиска, анализа и интерпретации информации. Учащиеся вовлекаются в проблемы, с которыми они встречаются в реальной жизни. Они выполняют задания, которые требуют от них комплексного мышления, планирования и оценки, решают проблемы, принимают решения, аргументируют и т.д.

В инструментарий исследования PISA входят: тестовые буклеты с заданиями; анкеты для учащихся организации образования; анкеты для администрации организации образования; руководство для лица проводящего тестирование и анкетирование; руководство для координатора организации образования; руководство к оцениванию тестовых заданий, по вводу и обработке данных;

Исследование образовательных достижений учащихся проводится по трем основным направлениям: «грамотность чтения», «математическая грамотность» и«естественнонаучная грамотность», в котором особое внимание уделяется оценке овладения учащимися общеучебными и интеллектуальными умениями.

В каждом цикле исследования основное внимание (две трети времени тестирования) уделяется одному из трех направлений. В 2000 году основным направлением исследования была «грамотность чтения», в 2003 году –«математическая грамотность», в 2006 году – «естественнонаучная грамотность». Основной областью оценки образовательных достижений  2009 года стала «грамотность чтения».

Перемена приоритетной области оценивания в каждом цикле исследования PISA дает возможность получить полную информацию по основному направлению исследования и сделать сравнительный анализ достижения в данной области.

Инструментарий разрабатываются под руководством Консорциума, с участием экспертов ведущих международных организаций и представителей стран-участниц.

В каждом задании описывается определенная проблема, по которой приводится от одного до шести вопросов различного характера и степени трудности. Ответы на эти вопросы могут быть открытого или закрытого типа, в которых требуются собственные суждения тестируемых и умения выразить свою точку зрения, либо выбор ответов в рамках ограниченного ряда возможных вариантов, которые оцениваются как правильные или неправильные (закрытые конструируемые ответы).

По завершению работы над тестом, каждый ученик заполняет в течение получаса анкету, в которой отвечает на вопросы об организации образования, семье, своих отношениях с окружением и о своих интересах. Дополнительно проводится анкетирование администрации организаций образования. Ответы некоторых заданий оцениваются как верные или неверные, в то время как частично правильные или несложные ответы оцениваются, как частично верные.

В результате статистической обработки результатов исследования каждому учащемуся приписывается балл по международной 1000-балльной шкале отдельно за выполнение каждой группы заданий (по чтению, математике и естествознанию). Каждому заданию также приписывается определенный балл (трудность задания) по той же шкале в зависимости от того, насколько успешно данное задание выполнялось всеми тестируемыми.

При анализе результатов исследования отдельных стран и построений международной шкалы учитываются особенности выполнения заданий в отдельных странах. Из анализа исключаются те задания, в которых допущены ошибки, например, полиграфические или ошибки в переведенном варианте.

Основное направления исследования PISA - 2012 - Математическая грамотность (апрель 2012 год): способность человека определять и понимать роль математики в повседневной жизни. Умение читать, интерпретировать и анализировать количественную информацию.

Под математической грамотностью понимается способность учащихся:

-распознавать проблемы, которые возникают в окружающей действительности и могут быть решены посредствам математики;

- формулировать эти проблемы на языке математики;

- решать эти проблемы, используя математические факты и методы;

- анализировать использованные методы решения;

-интерпретировать полученные результаты с учетом поставленной проблемы;

- формулировать и записывать результаты решения.

         В исследовании PISA учащимся предлагаются нетипичные учебные математические задачи, характерные для казахстанских мониторинговых исследований, близкие к реальным проблемным ситуациям, связанные с разнообразными аспектами окружающей жизни и требующие для своего решения большей или меньшей математизации, предлагается информация о жизни школы, общества, личной жизни учащегося, профессиональной деятельности, спорте и др.

В соответствии с концепцией исследования, каждое задание соответствует одной из четырех содержательных областей, которые по согласованному решению стран-участниц выбраны в качестве базы для сравнения математической подготовки учащихся в разных странах:

- количество;

- пространство и форма;

- изменения и отношения;

- неопределенность.

Состояние математической грамотности учащихся, кроме владения материалом выделенных содержательных областей, характеризуются уровнем развития «математической компетентности». Математическая компетентность учащихся определяется в исследовании как «сочетание математических знаний, умений, опыта и способностей человека», обеспечивающих успешное решение различных проблем, требующих использования математики. В исследовании выделяются три уровня математической компетентности: уровень воспроизведения, уровень установления связей, уровень рассуждений.

 Примеры заданий:

1. Восхождение на гору Фуджи. Гора Фуджи является известным бездействующим вулканом в Японии. Гора Фуджи открыта для людей только с 1 июля по 27 августа каждый год. Приблизительно 200 000 человек поднимаются на гору Фуджи в это время. В среднем, сколько примерно людей поднимаются на гору Фуджи каждый день?

2. Интенсивность основного обмена (или ИОО) это энергия, требуемая для дыхания, пищеварения и кровообращения. Это имеет отношение  к человеку,  бодрствующему, в состоянии покоя и спокойно лежащему в комнате при температуре 23°C.

Следующая формула оценивает интенсивность основного обмена у женщин.

ИОО = 9,74М + 172,9Р – 4,737В + 667,051

ИОО = интенсивность основного обмена, в килокалориях

М = масса в килограммах
Р = рост в метрах
В = возраст в годах

Вычислите уровень интенсивности основного обмена у женщины, вес которой 60 килограммов, рост 1.70 метров и возраст 35 лет. Округлите свой ответ до ближайшего целого числа.

Естественнонаучная грамотность. Понимание естественных наук и технологий для учащихся  в жизни современного общества играет значимую роль, давая им возможность принять участие в установлении общественной стратегии (курса, политики), которая сопоставляется с естественными науками и технологиями влияющие на их жизнь. Поэтому изучение естественнонаучной грамотности 15-летних обучающихся в рамках исследования PISA является уникальным.

Под естественнонаучной грамотностью в исследовании PISA понимается способность использовать естественнонаучные знания, выявлять проблемы и делать обоснованные выводы, необходимые для понимания окружающего мира и тех изменений, которые вносит в него деятельность человека, и для принятия соответствующих решений.

Естественнонаучную грамотность можно разделить на четыре области:

- узнавание жизненных ситуаций апеллирующих к науке и технологии (контекст);

- понимание окружающего мира, включая и технику на основе научных знаний, которые включают знания об окружающем мире и знания о науке (знание);

- демонстрирование компетентностей, которые включают распознавание научных вопросов, применение научных знаний для объяснения естественнонаучных явлений, формулирование выводов на основе очевидных фактов и доказательств (компетентности);

- интерес к естественнонаучному знанию.

Естественнонаучные знания и умения, овладение которыми будет оцениваться в исследовании PISA, формируются при изучении предметов естественнонаучного цикла: физики (с элементами астрономии), биологии, химии, географии.

Естественнонаучная грамотность включает следующие компоненты: «общепредметные» умения, формируемые в рамках естественнонаучных предметов, естественнонаучные понятия и ситуации, в которых используются естественнонаучные знания. В цели исследования входит комплексная проверка выделенных умений и понятий. Основное внимание уделяется проверке умений выделять из предложенных вопросов, те на которые естественные науки могут дать ответ, делать научно обоснованные выводы на основе предложенной информации.

 Вопрос: Температура воздуха на Земле.

1.Одним из последствий повышения температуры на земле является таяние льдов, покрывающих Антарктиду и Гренландию. Таяние полярных льдов может в будущем оказать значительное влияние на каждую страну мира, находящуюся на побережье или рядом с побережьем. В чем конкретно может проявиться это влияние в будущем?

Грамотность чтения. В исследовании PISA под грамотностью чтения понимается способность учащихся к осмыслению письменных текстов и рефлексии на них к использованию их содержания для достижения собственных целей, развития знаний и возможностей для активного участия в жизни общества. Оценивается не техника чтения и буквальное понимание текста, а понимание и умение использовать прочитанное для осуществления жизненных целей. Для оценки умения находить информацию в тексте используются задания при выполнении, которых учащемуся требуется просмотреть текст, определить его основные элементы и заняться поисками необходимой информации, выраженной в иной (синонимической) форме, чем в вопросе. Для оценки умения интерпретировать текст учащимся предлагается сравнить различную изложенную информацию в тексте, обнаружить в нем доводы в подтверждение выдвинутых тезисов, сделать выводы из сформулированных мыслей автора или уловить суть текста. Для оценки рефлексии на содержание или форму текста необходимо: учащийся, выполняя задания связал информацию обнаруженную в тексте со знаниями из других источников; оценил утверждения сделанные в тексте исходя из своих представлений о мире; нашел доводы в защиту своей точки зрения.

Задание: «Здравствуйте доктор! Я пришел к Вам, потому что сильно кашляю. Я кашляю уже 4 дня и с каждым днем кашель усиливается. Я принял антибиотики, которые вы выписывали мне 2 месяца назад при таком же кашле, но на этот раз они мне не помогли», «Вы правильно сделали, что пришли ко мне. Однако Вы неправильно поступили, что попытались сами себя лечить: антибиотики никогда нельзя применять без назначения врача. Я возьму у Вас пробу слюны с задней стенки горла и отправлю ее на анализ. Таким образом, мы сможем узнать, с чем имеем дело, и я смогу назначить Вам подходящее лечение» Вопрос: На что из следующего непосредственно воздействуют антибиотики? ( на кашель, на боль, на вирусы, на бактерии)

На образовательные достижения учащихся оказывает влияние различные факторы, связанные с организацией процесса обучения, преподавания и ресурсами школы, которые могут изменяться в соответствии с реализуемой политикой государства в области образования. Информация о данных факторах очень важна для интерпретации результатов учащихся. Для изучения этого влияния в исследовании выявляются факторы в процессе анкетирования учащихся и администрации организации образования, принявших участие в исследовании. К таким данным можно отнести следующие факторы:

тип учебного заведения; местонахождение учебного заведения;

социально- экономический статус родителей; иммигрантское положение;

домашний язык общения; отношение учащихся к процессу обучения;

факторы, связанные с организацией процесса обучения; психологический климат в организациях образования.

Результаты PISA 2009 года показывают, что дисциплинированный климат тесно связан с успеваемостью учащихся. Большинство учеников в странах ОЭСР получают удовольствие от учебы в дисциплинированных классах. Позитивные отношения «учитель-ученик» имеют решающее значение для установления в классе условий, способствующих обучению. Результаты исследований показывают, что ученики учатся больше и имеют меньше проблем с дисциплиной, когда они чувствуют, что учителя воспринимают их всерьез. В 2000 году результаты PISА показали, что большинство учеников удовлетворены в целом качеством их отношений со своими учителями. К 2009 году качество отношений «учитель-ученик» стало еще лучше.

Международный проект «Изучение качества чтения и понимания текста»

PIRLS (Progress in International Reading Literacy Study) – это мониторинговое

исследование, организованное Международной ассоциацией по оценке учебных достижений IEA (International Association for the Evaluation of Educational Achievement). Данное исследование сравнивает уровень и качество чтения и понимания текста учащимися начальной школы в различных странах мира, а также выявляет различия в национальных системах образования. Целью участия в исследовании получить ответы на ряд вопросов:

- насколько хорошо читают выпускники начальной школы по сравнению со своими сверстниками в других странах?

- какими уровнями читательской грамотности владеют школьники?

- любят ли читать учащиеся четвертого класса?

- как семья способствует развитию грамотности?

- как на сегодняшний день организован процесс обучения чтению в школах?

- отличаются ли методы обучения, которые используют наши учителя в начальной школе, от методов, используемых учителями в других странах?      Начиная с 2001 года, международная ассоциация по оценке учебных достижений (IEA) выступает в качестве организатора цикличного мониторингового исследования в различных странах мира. Исследования проводятся каждые пять лет. Тест PIRLS состоит из двух текстов (художественного и информационного) и 12–16 заданий к каждому тексту.

Время выполнения теста – 80 мин. с перерывом. Тест измеряет две группы читательских умений: 1) извлекать из текста информацию и строить на ее основании простейшие суждения, 2) интегрировать, интерпретировать и оценивать информацию текста.

Тетрадь состоит из двух частей, в каждой из которых содержится один текст и

вопросы к нему. Второй текст данной тетради («По маршруту вдоль реки») выполнен в виде рекламного буклета. Всего в тетради 25 вопросов – 14 вопросов относятся к первому тексту(«Перевернутые мыши»), 11 вопросов относятся ко второму тексту («По маршруту вдоль реки»). В тетради имеются задания двух типов – с выбором ответа и со свободно- конструируемым ответом.

С практической точки зрения анализ результатов Казахстана в PISA-2012 (равно как и TIMSS-2011) дает актуальную перспективу для работы в таких областях, как переход на новые стандарты образования и создание национальной системы мониторинга качества образования, вошедших в число приоритетных направлений образовательной политики в рамках  «Государственной программы развития образования РК на 2011-2020 годы».

Используемые источники:

http://www.centeroko.ru/

http://www.ciced.ru/conference2012/Bagdasaryan_multidimensional%20research%20in%20education.pdf

http://rudocs.exdat.com/

http://www.naric.kz/index-9.php.htm

http://www.ipkro.kz/

http://bilimstat.edu.kz/

http://www.ppi.kz/

http://rudocs.exdat.com/