نام پژوهشگر: علی مقدم زاده
علی مقدم زاده علی دلاور
هدف از انجام پژوهش حاضر ارزیابی روشهای همترازسازی نمره مشاهده شده کلاسیک و روش کرنل ke بر حسب خطاها و سوگیری و همچنین بررسی عواملی بود که می تواند بر صحت روشهای همترازسازی متفاوت تأثیر داشته باشد. این پژوهش به طور دقیق تر با هدف بررسی و کاوش سودمندی و مناسب بودن روش ke (با شیوه های مختلف هموارسازیchain و poststratification) و همچنین مزایا و معایب این روش در مقایسه با تکنیک های همترازسازی کلاسیک (روش های سنتی همترازسازی میانگین، خطی، و روش همصدک دنباله ای در قالب طرح neat، و طرح گروه های همسان) صورت پذیرفت. برای دستیابی به این اهداف از داده های آزمونهای ملی ایران (تولیمو و آزمونهای جامع کنکورهای آزمایشی شرکت تعاونی سازمان سنجش آموزش کشور) استفاده شد. به طور دقیق در این پژوهش از داده های حاصل از آزمون تولیمو در سال 92-91 و داده های آزمون های جامع کنکور آزمایشی در سال 92-91 استفاده شده است. بدین ترتیب، جامعه آماری و گروه نمونه پژوهش حاضر، جامعه آماری و گروه نمونه شرکت کننده در آزمونهای مذکور می شود که در سال تحصیلی 1392-1391 به اجرا در آمده است. داده های آزمون تولیمو با سوالات لنگر درونی همراه بوده در حالی که داده های آزمونهای جامع کنکورهای آزمایشی دارای سوالات لنگر نبود. آزمون تولیمو دارای 17 سوال لنگر در هر فرم و 123 سوال بود. برای تحلیل داده های آزمونهای جامع کنکورهای آزمایشی شرکت تعاونی سازمان سنجش آموزش کشور صرفاً از سوالات مشترک دروس عمومی رشته های ریاضی- فیزیک، علوم تجربی و علوم انسانی استفاده شد. دروس عمومی دارای 100 سوال و مربوط به چهار عنوان درسی عمومی بوده است. به خاطر دستیابی به یکی از اهداف پژوهش، یعنی بررسی تأثیر حجم نمونه در دقت نتایج همترازسازی آزمونهای مورد اشاره، از مجموعه داده های مورد نظر به طور کاملاً تصادفی سه نمونه 200، 500 و 1000 نفری انتخاب و مورد تحلیل قرار گرفتند. برای بررسی تأثیر طول آزمون در دقت نتایج همترازسازی از دروس عمومی آزمونهای جامع کنکورهای آزمایشی سنجش یک نمونه 40 تایی از سوالات (از هر درس 10 سوال) به طور کاملاً تصادفی انتخاب شد. بدین ترتیب در آزمونهای جامع پژوهشگر دو آزمون 100 و 40 سوالی را در حجم های نمونه مختلف مورد تحلیل قرار داده است. طرح همترازسازی مناسب در آزمون تولیمو طرح neat و در آزمونهای جامع طرح گروههای همسان بوده است. روش همترازسازی نیز در آزمونهای مورد نظر، روش میانگین، روش خطی، روش همصدک، روش circle arc و روش کرنل (ke) بوده است. نتایج تحلیل ها به طور کلی نشان داد که برای هموارسازی داده ها در آزمون تولیمو، مدل اول (مدل لگاریتم خطی شامل میانگین، واریانس، چولگی و کشیدگی- چهار گشتاور اول برای آزمون و لنگر) که ساده تر است انتخاب شد و بهترین مدل برای هموارسازی داده های آزمون تولیمو (فرم x) در سه حجم نمونه 200، 500 و 1000 نفری مدل اول بدست آمد. به همین ترتیب، در فرم y آزمون تولیمو در حجم نمونه 200 و 1000 نفر بهترین مدل، مدل اول و در حجم نمونه 500 نفر مدل دوم برگزیده شد. در داده های آزمون جامع سنجش، (هم فرم x و هم فرم y) در حجم های نمونه مختلف 200، 500 و 1000 نفری بهترین مدل، مدل سوم مدل لگاریتم خطی شامل میانگین، واریانس، چولگی و کشیدگی (چهار گشتاور اول) است چون مدلی که کمترین مقدار aic را داشته باشد برازش بهتری دارد. همچنین نتایج پژوهش گویای آن است که به موازات افزایش حجم نمونه، برازش مربوط به هموارسازی کرنل نیز بهبود یافته است و بهبود هموارسازی کرنل با افزایش طول آزمون همراه بوده است. نتیجه دیگر آنکه در پژوهش حاضر در تحلیل داده های آزمون تولیمو با طرح neat میزان خطای همترازسازی روش کرنل به شیوه pse کمتر از میزان خطای همترازسازی به شیو? ce بود و بنابراین از عملکرد بهتری برخوردار بود.
مرتضی حسینی علی مقدم زاده
هدف این پژوهش، بررسی امکان سنجی طراحی، اجرا و تحلیل آزمون های سراسری بر اساس irt می باشد. این تحقیق از نظر هدف، جزء تحقیقات کاربردی و از نظر روش، توصیفی بوده و از دو قسمت تشکیل شده است. قسمت اول، بررسی امکان سنجی از طریق تحلیل نتایج پرسشنامه محقق ساخته و قسمت دوم، مربوط به بررسی ویژگی های روانسنجی آزمون ریاضی کنکور 91 گروه ریاضی-فیزیک بود. جامعه تحقیق شامل کارکنان بخش آزمون سازی سازمان سنجش و متخصصین، برای بخش اول و کلیه داوطلبان رشته ریاضی کنکور 91 برای بخش دوم بودند. نمونه بخش اول شامل 34 نفر و بخش دوم نیز از بین داوطلبان گروه ریاضی 91، با حجم نمونه 1000 نفری به صورت تصادفی انتخاب گردید. تجزیه و تحلیل داده ها با نرم افزار های spss، bilog و statistica انجام گردید. برخی نقاط ضعف و قوت آزمون های برگزار شده با تحلیل های روانسنجی آزمون ریاضی 91، مشخص گردید. در نهایت، در قالب پاسخ به سوال اصلی پژوهشی نتیجه گرفتیم که در حال حاضر، امکان طراحی، اجرا و تحلیل آزمون های سراسری بر اساس irt تحت شرایط خاصی از قبیل جذب و استخدام نیروهای متخصص و بازآموزی نیروهای موجود، اعزام نیرو جهت کسب تخصص های لازم به مراکز معتبر جهانی در عرصه آزمون سازی، دعوت از متخصصین ets به سازمان و ایجاد پل ارتباطی بین متخصصین و کارکنان سازمان وجود دارد. بین میانگین عامل اجتماعی در دو گروه کارکنان سازمان سنجش و متخصصین تفاوت معناداری وجود داشت. میانگین میزان نگرش کل دو گروه به اجرای طرح نیز دارای تفاوت معنادار نبود. جهت عملی نمودن اجرای این طرح نیاز به جذب و پرورش نیروهای متخصص، انتقال و باز آموزی کارکنان موجود سازمان با برگزاری کارگاه های آشنایی نظری و عملی با irt، تشکیل کارگروه آزمون سازی بر اساس irt، اجرای سالانه چند آزمون آزمایشی و تهیه گزارش آن از اقداماتی است که می تواند در پیشبرد اهداف این طرح موثر باشد. از مهمترین اقدامات لازم می توان به جذب نیروی متخصص بیشتر در زمینه آزمون سازی اشاره کرد زیرا برای مثال در ets بیش از 2500 نفر مشغول کار هستند و سالانه بیش از 20 میلیون آزمون در بیش از 180 کشور برگزار می نماید. واژه های کلیدی: امکان سنجی، آزمون های سرنوشت ساز، ctt، irt، ets