Oyun içi davranış verisi neyi gösterir, neyi göstermez?

Oyun içi davranış verisi, bir oyuncunun görevler sırasında yaptığı eylemlerin (ne zaman, ne kadar sürede, hangi seçeneği, kaç denemede) kaydedilmesi ve tanımlı göstergelere dönüştürülmesiyle elde edilen bilgidir. Kişinin yeteneği, kişiliği ya da geleceği hakkında bir hüküm değildir. Belirli koşullarda gözlenmiş davranışa dair bir ipucudur ve anlamı, hangi görevde, hangi koşulda ve diğer göstergelerle birlikte nasıl okunduğuna bağlıdır.

Ham veri, gösterge ve yorum: üç ayrı katman

Bir oyun çalışırken her tıklama, hareket ve bekleme bir olay olarak kaydedilebilir. Buna ham veri diyoruz. Wang, Shute ve Moore (2015), hazır bir ticari oyunun kayıt sistemini kullandıkları bir çalışmada olayların milisaniye düzeyinde tutulduğunu ve kısa bir oyun süresinde bile veri akışının yönetilemez hâle geldiğini anlatır. Araştırmacılar sonunda kayıtlardan bir dizi eylem çıkarabildi (örneğin düzey başına ortalama süre). Oyunun kayıt kodu dış kullanım ya da değerlendirme için yazılmamıştı ve yazarlar tam bir kodlama şemasına ulaşamadı.

Aynı makalede, değerlendirme amacıyla tasarlanmış bir oyunun kayıtları daha derli toplu anlatılır. Kayıtlarda bir düzeye giriş, başlangıç zamanı, düzeyde geçen süre, oluşturulan nesne sayısı, yeniden başlatma sayısı ve düzeyin çözülüp çözülmediği yer alır.

Üç katmanı ayırmak işe yarar.

Ham veri ile gösterge arasındaki fark, kuralın tanımlı olmasıdır. Yorum ise bir adım daha öteye geçer ve sorumluluğu kuralı yazanlardan, sonucu okuyanlara taşır. Bir raporda yalnızca yorum katmanı görünüyorsa, yorumun hangi göstergeye dayandığı bilinemez. Bilinmiyorsa güvenilirliği de değerlendirilemez.

Karar süresi, tercih, deneme, tekrar: sık kullanılan göstergeler

Oyun tabanlı değerlendirmelerde sık rastlanan göstergelerden dördü şöyle okunabilir.

• Karar süresi. Bir seçeneğe karar verilene kadar geçen süredir. Uzun süre düşünerek ilerlemeyi gösterebilir. Dikkatin dağılması, arayüzün anlaşılmaması ya da yavaş bir cihaz da aynı süreyi üretebilir.
• Tercih. Birden fazla seçenek arasından seçilen yoldur. Tek bir tercih bir eğilim değildir. Aynı yönde tekrarlanan tercihler bir örüntü oluşturabilir.
• Deneme. Bir görevi çözmek için yapılan girişim sayısıdır. Çok deneme ısrarı da gösterebilir, görevin belirsiz olduğunu da.
• Tekrar. Aynı görevin ya da etkinliğin yeniden oynanmasıdır. Merak, hedefe ulaşamamak ya da yalnızca oyunu sevmek aynı sayıyı doğurabilir.

Her göstergenin yanında "başka ne bu sonucu üretebilirdi?" sorusu durmalıdır. Diyelim ki bir gençlik merkezinde bir oyun görevinde bazı katılımcılar seçimlerini çok geç yapıyor. Bu, temkinli bir karar tarzı olabilir. Katılımcıların görevi yeterince anlamamış olması da olabilir. Gösterge tek başına bu iki durumu ayıramaz.

Tek görev yerine görevler bütünü

Tek bir görevden çıkan sonuç, o günün ruh hâlinden, görevin ayrıntısından ya da oyuna aşinalıktan fazlasıyla etkilenebilir. Bu yüzden anlamlı olan, farklı görevlerde ve zaman içinde gözlenen örüntüdür. Kanıt merkezli tasarım çerçevesinde de değerlendirme, belirli durumlarda gözlenen şeyden daha genel bir yeterliğe doğru kurulan bir çıkarım zinciri olarak ele alınır (bu çerçeveyi kaynaklarıyla kanıt merkezli tasarım yazısında açıkladık). Tek bir gözlem, bu çıkarım için zayıf bir dayanaktır.

Bu bir güvence değildir. Görev sayısını artırmak yorumu otomatik olarak geçerli kılmaz. Görevlerin hangi ilgi alanına ya da davranışa kanıt sağlayacağı önceden tanımlanmalı, göstergeler görevler arasında tutarlı olup olmadığına göre sınanmalıdır. "Tek bir görev yerine görevler bütünü nasıl değerlendirilir?" sorusu bizim için de açık bir araştırma sorusudur.

Yorumlamanın sınırları

Oyun içi göstergeleri sınırlayan birkaç etken vardır.

• Bağlam. Aynı eylem farklı koşullarda farklı anlam taşıyabilir. Shute'un stealth assessment tarihini anlatan bölümü, etkinlik aynı olsa da çalışma bağlamı değiştiğinde (örneğin tek başına ya da başkasıyla çalışırken) kanıtın nasıl yorumlanacağını çözmenin açık bir sorun olduğunu belirtir.
• Dış ölçüt. Göstergelerin iddia edilen şeyi yansıttığını görmek için başka ölçütlerle karşılaştırma gerekir. Wang ve arkadaşları, oyun performansı ile seçtikleri dış testler arasında beklenen ilişkinin her zaman çıkmadığını, nedenin kimi zaman testin ölçtüğü boyutlarla oyunun gerektirdiği becerinin örtüşmemesi olduğunu anlatır.
• Ölçme aracı olarak kullanım. Liu ve arkadaşları (2017) ciddi oyunlarda öğrenme analitiğini inceleyen derlemelerinde, araştırmacıların dinamik oyun verisini ölçme aracı olarak kullanırken zorluklarla karşılaştığını bildirir.
• Kapsam. Banihashem ve arkadaşlarının (2024) derlemesi çevrim içi oyun temelli öğrenmede öğrenme analitiğini inceler ve sonucunu yüksek öğretim bağlamı için ifade eder. Bulguların çocuklar ve gençler için aynen geçerli olduğu varsayılamaz.

Gösterge bir özellik değildir, gözlenmiş bir davranıştır. Özelliğe geçiş ayrı bir kanıt ister.

Aşırı yorumlama riskleri

Aşırı yorumlama çoğu zaman kötü niyetten değil, düzgün görünen bir rapordan doğar. Sık görülen biçimleri şunlardır.

• Tek bir oturumdan kalıcı bir sonuç çıkarmak.
• Göstergeyi etikete çevirmek ("karar vermekte yavaş", "riskten kaçınan").
• Bir sayıyı sıralama ya da karşılaştırma aracı olarak kullanmak.
• İlişkiyi neden sanmak. Karar süresi ile başarı birlikte değişiyor diye birinin diğerini belirlediği söylenemez.
• Çocuğun yaşını, cihazını, dil düzeyini ya da erişilebilirlik ihtiyacını hesaba katmadan gruplar arası kıyas yapmak.
• Oyun çıktısını kabul, eleme ya da sınıflama gibi sonucu ağır kararların tek dayanağı yapmak.

Bu riskleri azaltmanın yolu, raporun dilini baştan sınırlamaktır. "Bu öğrencinin eğilimi şudur" yerine "bu oturumda, bu görevlerde şu örüntü gözlendi" demek, okuyanı doğru ölçüde temkinli kılar.

Kurumların sorması gereken sorular

Banihashem ve arkadaşları derlemelerini dört bileşen üzerinden yürütür: sistemlerin hangi veriyi topladığı, hangi çözümleme yöntemlerinin kullanıldığı, verinin hangi amaçla toplanıp raporlandığı ve analitiğin kime ulaştığı. Bu bileşenler, kurumlar için dört soruluk bir başlangıç çatısına çevrilebilir.

Hangi veri toplanıyor? - Hangi olaylar ve hangi göstergeler kaydediliyor? Liste yazılı olarak verilebiliyor mu? - Hangi veri, amaç için gerçekten gerekli?

Nasıl çözümleniyor? - Göstergeler ham veriden hangi kurallarla türetiliyor? - Yorum katmanı nasıl kuruluyor ve hangi doğrulama çalışmalarına dayanıyor?

Ne amaçla kullanılıyor? - Çıktı hangi karar için bilgi veriyor, hangi karar için kullanılmamalı? - Çıktı tek başına bir karar mı doğuruyor, yoksa uzman yorumuna mı gidiyor?

Kim görecek? - Raporlara kimler, hangi yetkiyle erişiyor? - Öğrenci ve veli neyi, hangi dille görüyor?

Bu soruları bir tedarikçiye yöneltirken verilen yanıtın yazılı olmasını isteyin.

Sık sorulan sorular

Ham veri ile gösterge arasındaki fark nedir?

Ham veri, oyunda olan olayların kaydıdır. Gösterge, bu kayıttan önceden tanımlı bir kuralla türetilen özettir. Örneğin tıklama zamanları ham veridir, seçim yapılana kadar geçen süre ise bir göstergedir.

Karar süresinin kısa olması iyi bir işaret midir?

Tek başına değildir. Kısa süre kararlılık da olabilir, acele de. Hangisi olduğu, görevin ne istediğine ve aynı kişinin diğer görevlerdeki örüntüsüne bakılarak anlaşılabilir.

Tek bir oyun sonucuna göre karar verilebilir mi?

Önermiyoruz. Tek bir görev ya da oturum, yorum için zayıf bir temeldir. Sonuçlar farklı görevler ve zaman içinde birlikte ele alınmalı, nitelikli bir yorumcunun değerlendirmesiyle desteklenmelidir.

Oyun verisi bir sınavın ya da envanterin yerini alır mı?

Genel olarak hayır. Oyun çıktısı, doğrulanmış bir sınav ya da envanterle birlikte okunan tamamlayıcı bir bakış sunabilir. Geçerlik kanıtı olmadan başka bir değerlendirmenin yerine konmamalıdır.

Veriler çocuğun bilgisi dışında mı toplanır?

Olmamalıdır. Toplanan verinin ne olduğunun ve neden toplandığının anlaşılır olması, sorumlu kullanımın temel koşuludur. Bu konuyu eğitim teknolojisinde sorumlu veri kullanımı yazısında ayrıca ele alıyoruz.