کاربرد آزمون تطبیقی آفلاین به منظور نمره دهی و تعیین سطح

بر خلاف علاقه روزافزون و نیاز به یک آزمون کوتاه کاربردی در حوزه ی آزمون زبان، تا کنون تقریبا هیچ مطالعه ای در جهت کوتاه کردن طول آزمون های زبان به طور سیستماتیک و کاربردی انجام نشده است. در پاسخ به این نیاز، این تحقیق به بررسی ویژگی های یک آزمون تطبیقی آفلاین (oat) در مقایسه با یک آزمون بلند و رایج زبان پرداخته است، در شرایطی که oat به منظور ارزیابی دانش واژگان زبان آموزان انگلیسی مورد استفاده قرار می گیرد. از مجموع 98 سوال واژگان که از بخش های زبان تخصصی آزمون سراسری ورودی دانشگاه های ایران جمع آوری شده بودند، 60 سوال برای آزمون متداول سنتی (ct) انتخاب شدند. برای ساختِ آزمون oat، در ابتدا یک بانک سوال با بررسی مقدار پارامترهای irt سوالات طراحی شد. داده های سنجش پارامترهای irt شامل پاسخ های 258،774 داوطلب بخش های آزمون زبان تخصصی ای بود که سوالات از آنها جمع آوری شده بودند. با استفاده از مدل سه پارامتری، سنجش پارامترهای سوالات در برنامه bilog اجرا شد که بر اساس آن، 43 سوال که دارای بالاترین قدرت تمییز و کمترین میزان حدس در پاسخگویی بودند از سطوح مختلف توانایی برای بانک سوالات انتخاب شدند. سپس، 30 نوع مختلف از آزمون oat از میان سوالات موجود در بانک ساخته شد که هر کدام از این آزمون ها شامل 12 سوال با کیفیت بالا بود که به طور یکسان در سطوح مختلف توانایی پراکنده شده بودند. با استفاده از پاسخ های 253 زبان آموز انگلیسی که به هر دو آزمون پاسخ دادند، ویژگی های اندازه گیری نمرات oat با ویژگی های مربوط به نمرات ct از نظرِ دقت نمره، همبستگی میان نمراتِ oat و ct، و ثبات نتایج دسته بندی مقایسه شدند. نتایج نشان داد که اگرچه به طور کلی oat همان سطح دقت اندازه گیری در آزمونِ متداول سنتی را بدست نیاورد، همچنان به سطحی مطلوب در دقت اندازه گیری رسید در حالیکه توانست اثرات منفی یک تست طولانی را کاهش دهد. نتایج همچنین نشان دادند که تطابق بسیار خوبی میان نمرات آزمونِ های oat و ct و میان نتایج دسته بندی دو آزمون وجود دارد. در مجموع، نتایج تحقیق حاکی از آن بود که oat این توانایی را دارد که به عنوان یک جایگزین مناسب به جای یک آزمون طولانی تر واژگان مورد استفاده قرار گیرد، مخصوصا وقتی که شرایط، استفاده از یک آزمون کوتاه را ایجاب می کند.