Bir oyun neyin kanıtı olabilir? Değerlendirmeyi oyunun içine taşırken sorulacak sorular

Kanıt merkezli tasarım (evidence-centered design, ECD), bir değerlendirmede neyi iddia ettiğinizi, bu iddiayı hangi gözlemlerin destekleyeceğini ve o gözlemleri hangi görevlerin üreteceğini baştan açıkça kurmayı isteyen bir tasarım çerçevesidir. Stealth assessment (Türkçede örtük değerlendirme), bu çerçevenin oyun gibi dijital ortamlara uygulanmış biçimi olarak anlatılır ve değerlendirmeyi etkinliğin akışına yerleştirir. İkisi de geçerlik çalışmalarıyla ve oyuncuya açık bir bilgilendirmeyle birlikte kullanıldığında sorumlu bir yöntem olur.

Neden oyunun içinde değerlendirme?

Çoktan seçmeli testler, bir becerinin kullanıldığı bağlamı geride bırakır. Wang, Shute ve Moore (2015) bu biçimlerin çoğu zaman yüzeysel becerileri yakaladığını, becerinin uygulandığı bağlamdan soyutlandığını yazar ve stealth assessment'ı bu soruna karşı umut vadeden yöntemlerden biri olarak ele alır. Oyunlar bu arayışta ilgi çeker. Oyuncu bir hedef peşinde karar verir, dener, yeniden dener ve bu sırada eylemleri kayda geçer.

Kaydedilebilen her şey değerlendirilebilir değildir. Bu yazının ana sorusu da burada başlar: kayıtlı eylemler hangi iddiayı, ne kadar destekler?

Kanıt merkezli tasarım: iddiadan göreve giden zincir

Mislevy, Steinberg ve Almond (2003) değerlendirmeyi bir "çıkarım ağı" (inferential web) olarak ele alır. Öğrencinin belirli durumlarda gösterdiği şey gözlenir ve bundan, daha genel olarak neyi bildiği ya da yapabildiği çıkarılır. Aynı çalışma çerçeveyi yalnız yeni değerlendirmeler tasarlamak için değil, mevcut olanları çözümlemek için de önerir.

Wang ve arkadaşlarının özetine göre çerçeve üç modelle çalışır.

Aynı kaynağa göre ECD'yi diğer sistematik değerlendirme tasarımı yaklaşımlarından ayıran şey, iddia ile toplanan kanıt arasındaki bağa odaklanmasıdır. "Önce veri toplayalım, sonra ne çıkacağına bakarız" düşüncesinin tersidir. Yeterlik modelinde öğrencinin durumu da tek bir sayı olarak tutulmaz. Wang ve arkadaşları, bu durumun olasılık dağılımlarıyla gösterildiğini ve yeni kanıt geldikçe güncellendiğini anlatır.

Kurgu bir örnek düşünelim. Bir gençlik merkezi, katılımcıların sınırlı bir bütçeyi önceliklerine göre dağıtıp dağıtamadığını bir oyun görevinde görmek istiyor. İddia şudur: "Katılımcı, kaynakları önceliklerine göre sıralayabiliyor." Görev, bütçenin her şeye yetmediği bir senaryodur. Kanıt olarak seçimlerin sırası ve planı kaç kez değiştirdiği kaydedilir. Bu kanıtların her biri için başka açıklamalar da yazılmalıdır. Katılımcı arayüzü anlamamış olabilir, görevi acele geçmiş olabilir. Bu alternatifleri tasarım aşamasında yazıya dökmek, değerlendirmenin sonradan sınanmasını kolaylaştırır.

Stealth assessment: ne anlatıyor, neyi anlatmıyor

Wang ve arkadaşları kavramı Shute (2011) çalışmasına atfeder ve şöyle tanımlar: değerlendirmenin, öğrenenin değerlendirildiğinin farkında olmayacağı biçimde bilgisayar tabanlı bir öğrenme ya da oyun ortamına dikişsizce yerleştirilmesi. Amaç, oyuncunun akışını bozmamak ve sınav kaygısını azaltmaktır. İşleyiş şöyledir. Oyuncu görevlerle uğraşırken eylemleri kayıt dosyasına düşer, kanıt modeli bu kayıtları çözümler, çıkan değerler yeterlik modelini günceller. Tahminler sonradan öğrenciye geri bildirim vermek için de kullanılabilir.

Burada bir ayrım yapmak gerekir. Alan yazınındaki "farkında olmama", değerlendirmenin deneyimi kesmemesi anlamına gelen bir tasarım hedefidir. Bunu, oyuncuya neyin toplandığının söylenmemesi diye okumak yanlış olur. Bizim görüşümüze göre değerlendirmenin deneyim içinde kesintisiz olması bir tasarım tercihidir, ne toplandığının bilinmesi ise bu yaklaşımın sorumlu kullanım koşuludur. "Gizli değerlendirme" ifadesi bu yüzden Türkçede yanıltıcıdır.

Geçerlik soruları: oyunda gözlenen şey, iddia edilen şey mi?

Wang ve arkadaşları, bir stealth assessment geliştirildikten sonra yapı geçerliğinin sınanmasını gerekli görür. Oyun içi tahminler, aynı yapıyı ölçtüğü kabul edilen standart testlerle, geçerliği gösterilmiş başka değerlendirmelerle ya da öz bildirim anketleriyle karşılaştırılır.

Aynı makaledeki bir örnek, bu adımın neden kolay olmadığını gösterir. Portal 2 oyunuyla, 77 lisans öğrencisiyle yürütülen çalışmada oyun performansı ile Raven matrisleri puanı arasında anlamlı bir ilişki bulunmadı. Yazarlar bunu dış testin boyutlarının oyun içi ölçümle örtüşmemesine bağlar. Matris testi yalnızca problemde verilenle akıl yürütmeyi inceler, oyun ise dinamik bir ortamda bilgiyi uygulamayı ister. Uzak çağrışım testiyle de anlamlı bir ilişki çıkmadı. Yazarlar bu testin yüksek düzeyde İngilizce dil becerisi gerektirdiğine dikkat çeker. Buna karşılık oyun performansı, uzamsal gezinme görevindeki başarıyla anlamlı biçimde ilişkiliydi. Dış ölçütün seçimi başlı başına bir geçerlik kararıdır.

Bir oyun içi değerlendirmeyi incelerken şu soruları sorabilirsiniz:

• İddia nedir ve hangi kitle için ileri sürülmektedir?
• Göstergeler iddiaya hangi gerekçeyle bağlanıyor, bu gerekçe yazılı mı?
• Dış ölçüt var mı ve seçimi gerekçelendirilmiş mi?
• Aynı gösterge farklı bağlamlarda aynı anlama geliyor mu? Shute'un stealth assessment tarihini anlatan bölümü, etkinlik aynı olsa da çalışma bağlamı değiştiğinde (örneğin tek başına ya da bir arkadaşla çalışırken) kanıtın nasıl yorumlanacağını çözmenin açık bir sorun olduğunu belirtir.
• Sonuçlar bağımsız çalışmalarda yinelenmiş mi?

Sınırlar

Birkaç sınır baştan bilinmelidir.

• Tahminler olasılıklıdır. Yeterlik modeli olasılık dağılımlarıyla çalışır. Bu çerçevede tek bir doğru değer beklemek yanlış olur.
• ECD bir yöntemdir, her sorunun çözümü değildir. Aynı bölümde Shute, ECD'nin bir tasarım metodolojisi olduğunu ve farklı ortamlardan ortak ölçümler üretmenin hâlâ araştırma gerektirdiğini yazar.
• Veri yönetimi tasarımın parçasıdır. Wang ve arkadaşları, hazır bir ticari oyunun kayıt sistemini kullandıklarında olayların milisaniye düzeyinde kaydedildiğini ve veri akışının kısa sürede yönetilemez hâle geldiğini anlatır. Kayıt sistemi değerlendirme amacıyla tasarlanmamıştı. Hangi olayın, hangi iddia için kaydedileceği oyun tasarlanırken belirlenmelidir.
• Her oyun her iddiayı taşımaz. Bir oyun, sınırlı sayıda iddiayı destekleyebilir. Kapsamı genişlettikçe geçerlik yükü de artar.

Şeffaflık ve sorumlu kullanım koşulu

Shute'un aynı bölümü, stealth assessment'ın yaygınlaşmasının önündeki engeller arasında öğrenci bilgilerine ilişkin gizlilik, güvenlik ve sahiplik sorunlarını sayar. Testlerin sonuçlarının ağır olabileceğini bilen birçok ebeveynin ve paydaşın, toplanan verinin sonradan öğrencinin aleyhine kullanılmasından çekindiğini de ekler. Bu çekince, kavramın şeffaflıkla birlikte anlatılması gerektiğini gösterir.

Kurumlar için pratik bir koşul listesi şöyle kurulabilir:

• Hangi verinin toplandığı ve neden toplandığı, oyuncunun yaşına uygun ve anlaşılır bir dille açıklanır.
• Raporları kimin göreceği baştan belirlenir ve erişim role göre sınırlandırılır.
• Çıktılar, nitelikli bir yorumcunun değerlendirmesiyle birlikte kullanılır. Sistem tek başına karar vermez.
• Dil gelişimsel ve olasılıklı tutulur. Kişi değişmez bir kategoriye yerleştirilmez.
• Yüksek sonuçlu kararlarda (kabul, eleme, sınıflama) oyun içi çıktı tek dayanak olarak kullanılmaz.
• Amaç dışı kullanım yazılı olarak dışarıda bırakılır.

Verilerin hukuki dayanakları ve kurumunuzun yükümlülükleri ayrı bir konudur ve bu yazı hukuki görüş değildir. Sorumlu veri kullanımı konusunu ayrıca eğitim teknolojisinde sorumlu veri kullanımı yazısında ele alıyoruz. Oyun içi göstergelerin ne olduğunu ve nasıl okunması gerektiğini ise oyun içi davranış verisi yazısında anlatıyoruz.

Sık sorulan sorular

Stealth assessment, öğrencinin haberi olmadan izlenmesi demek midir?

Hayır, olmamalıdır. Tanımdaki "farkında olmama" ifadesi, değerlendirmenin oyun akışını kesmemesini anlatan bir tasarım hedefidir. Neyin toplandığını oyuncudan ve kurumdan saklamak sorumlu kullanımla bağdaşmaz.

ECD yalnız oyunlar için mi geliştirilmiştir?

Hayır. Mislevy ve arkadaşlarının çerçevesi genel olarak eğitsel değerlendirmeleri ele alır ve hem mevcut değerlendirmeleri çözümlemek hem yenilerini tasarlamak için sunulur. Oyunlar bu çerçevenin uygulandığı ortamlardan biridir.

Oyun içi çıktı sınavın yerine geçer mi?

Bu, iddiaya ve geçerlik kanıtına bağlıdır. Dış ölçütlerle karşılaştırma yapılmadan ve sonuçlar insan yorumuyla birlikte ele alınmadan, oyun çıktısını bir sınavın yerine koymak savunulamaz.

Bir oyun içi değerlendirmenin geçerli olduğunu nasıl anlarım?

İddiayı, göstergeleri, dış ölçütü ve karşılaştırma sonuçlarını açıkça belgeleyen bir çalışma arayın. Sonuçların farklı bağlam ve gruplarda sınandığını görmek de önemlidir. Bu belgeler yoksa çıktıyı en fazla bir ipucu olarak değerlendirmek gerekir.

Veli ve öğrenciye ne anlatılmalı?

Hangi göstergelerin toplandığını, neden toplandığını, çıktıyı kimlerin göreceğini ve çıktının neyi söyleyip neyi söylemediğini anlatmak gerekir. Anlatım yaşa uygun olmalı ve değerlendirme başlamadan önce yapılmalıdır.