although there are studies on pragmatic assessment, to date, literature has been almost silent about native and non-native english raters’ criteria for the assessment of efl learners’ pragmatic performance. focusing on this topic, this study pursued four purposes. the first one was to find criteria for rating the speech acts of apology and refusal in l2 by native and non-native english teachers and to examine if apology and refusal situations make any variations in the criteria applied to the rating of l2 apology and refusal discourse completion tasks (dcts). the second was to discover the interrelationship of the non-native raters’ self-assessment of their pragmatic competence and their accuracy of rating the two speech acts against native benchmark. the third was to explore the interrelationship of the non-native raters’ intercultural proficiency and their accuracy of rating the two speech acts against native benchmark. the final purpose of this study was to uncover the possible effect of the training session on the accuracy of non-native raters’ ratings against native benchmark. to this end, 12 different pragmatic situations for apology and refusal dcts accompanied by an l2 learner’s response to each situation were rated by 50 native and 50 non-native english teacher raters. besides rating, the raters were asked to write their criteria for rating the response to each dct situation.the content analysis of raters’ comments revealed five apology and eleven refusal criteria. the descriptive statistics for apology and refusal rating indicated variations across situations. then correlations between non-native raters’ self-assessment of their pragmatic competence and their accuracy of speech act ratings as well as between their ratings and their intercultural proficiency revealed that there were strong relationships among them. a number of t-tests and chi-squares were computed to see the effect of the training session. the results indicate that non-native raters approached native benchmark in terms of rating and criteria after the training session. this study bears evidence to the necessity of rater training and informed, rubric-based pragmatic rating.

الف) موضوع و طرح مسأله (اهمیت موضوع و هدف) : منظورشناسی زبان بینابین در سالهای اخیر مورد توجه جدی محققان قرار گرفته است. در مطالعات انجام شده مشخص شده است که حتی زبان آموزانی که در سطح پیشرفته ای از زبان انگلیسی قرار دارند در رساندن منظور خود در زبان دوم/خارجی با مشکل مواجه هستند. این بدان معنی است که توانش منظورشناسی آنها به اندازه توانش دستوریشان رشد نکرده است. لذا تحقیقات زیادی ضرورت تدریس منظورشناسی را توصیه و تاثیر مثبت تدریس آن را بر پیشرفت توانش منظورشناسی زبان اثبات نموده اند. ولی مشکل آن است که این مطالعات صرفا به مقایسه تاثیر روش های ضمنی، تلویحی با روشهای قیاسی، استقرایی پرداخته و تا کنون هیچ یک از روشهای آموزش زبان انگلیسی از نقطه نظر منظورشناسی به طور جامع و یکپارچه مورد مطالعه قرار نگرفته است.مشکل دیگرعدم مطالعه مدلهای ارائه بازخورد و نقش آن در پیشرفت توانش منظورشناسی زبان است. لذا طرح این مطلب ضروری و از اهمیت بالایی برخوردار است. بدین منظور در این تحقیق به بررسی روشی که ارزشیابی پویا نام دارد و تاثیر آن بر آموزش منظورشناسی نه بصورت تلویحی-ضمنی و نه به صورت قیاسی-استقرایی و یا بصورت واضح و روشن که به صورت روشی جامع متشکل از همه روشهای بالا پرداخته شده است. به عبارت دیگر روش آموزش منظور شناسی بروی طیفی که در یک طرف آن آموزش ضمنی و تلویحی قرار دارد و در طرف دیگر آموزش صریح و روشن مورد بررسی قرار می گیرد. ب) مبانی نظری شامل مرور مختصری از منابع، چارچوب نظری و پرسش ها، و فرضیه ها: با توجه به ضرورت و اهداف این تحقیق سوالات زیر مطرح شد و محقق به دنبال پاسخ مناسب طرح تحقیقی را در حوزه های منظورشناسی زبان و اکتساب زبان دوم/خارجی مطرح نمود. 1. آیا ارزشیابی پویا و ارزشیابی غیر پویا تاثیری بر تولید درست و مناسب نقشهای زبانی پوزش و تقاضا به وسیله زبان آموزان ایرانی دارند؟ 2. آیا بین گروههای آزمودنی این تحقیق ازنظر تولید درست و مناسب و مبتنی بر اصول منظورشناسی تفاوت معناداری در تولید نقشهای زبانی پوزش و تقاضا از پیش آزمون به پس آزمون و پس آزمون با فاصله وجود دارد؟ 3. آیا میان بسندگی زبانی زبان آموزان و روش آموزش آنها تاثیرمشترکی بر تولید نقشهای زبانی پوزش و تقاضا وجود دارد ؟ 4. آیا میان میزان استراتژیهای استفاده شده توسط زبان آموزان برای بیان نقشهای پوزش و تقاضا در پیش آزمون و پس آزمون تفاوت معنا داری وجود دارد؟ 5. آیا رابطه معنا داری میان سطح بسندگی زبانی زبان آموزان و میزان کمکهای دریافت شده توسط آنها جهت تولید نقشهای زبانی پوزش و تقا ضا وجود دارد؟ 6. آیا رابطه معنا داری میان حوزه رشد تقریبی فرد و گروه وجود دارد؟ پ) روش تحقیق شامل تعریف مفاهیم، روش تحقیق، جامعه مورد تحقیق، نمونه گیری و روش های نمونه گیری، ابزار اندازه گیری، نحوه اجرای آن، شیوه گردآوری و تجزیه و تحلیل داده ها: به منظور پاسخ به سوالات فوق ابتدا 40 نفر از میان 160 نفر و پس از شرکت در یک آزمون بسندگی زبان انتخاب شدند. سپس این 40 نفر به طور تصادفی به 4 گروه تقسیم شدند: 2 گروه در گروه ارزشیابی پویا و 2 گروه در ارزشیابی غیر پویا قرار گرفتند. از 4 گروه گفته شده 2 گروه به سطح بسندگی زبانی بالا و 2 گروه به سطح بسندگی زبانی پایین تعلق داشتند. هر 4 گروه آموزش مقدماتی نسبت به کم و کیف تولید نقشهای زبانی دیده بودند. با این حال گروههای ارزشیابی پویا بازخورد مناسب حوزه تقریبی رشد خود دریافت می کردند در حالی که گروههای غیر ارزشیابی پویا چنین باز خوردی دریافت نمی کردند و عملکرد آنها صرفا بر اساس درک مستقل آنها بود و بس. پس از 6 هفته آموزش به دو روش بالا پس آزمون و پس از دو هفته پس آزمون با تاخیر گرفته شد. عملکرد هر 4 گروه توسط 2 انگلیسی زبان بر اساس مدلی منظورشناسی تصحیح و نمره گذاری شد. ت) یافته های تحقیق: نتایج تحقیق نشان داد که در اثربه کارگیری روش ارزشیابی پویا می توان منظور شناسی را به طور موفق تری آموزش داد. همچنین مشاهده شد که روش ارزشیابی پویا از پیش آزمون به پس آزمون و پس آزمون با تا خیر می تواند باعث تغییرات معنا داری گردد در حالی که ارزشیابی غیر پویا فاقد چنین تاثیری بود. ث) نتیجه گیری و پیشنهادات: از این تحقیق می توان نتیجه گرفت که 1. ارزشیابی پویا در آموزش منظور شناسی زبان خارجه می تواند موثرتر از ارزشیابی غیر پویا باشد.به عبارت دیگر،ارزشیابی پویا می تواند در تولید جملات صحیح و مناسب از لحاظ منظورشناسی دانش زبان آموزان ایرانی را بهتر و بیشتر ازارزشیابی غیرپویا ارتقاء بخشد. 2. با در نظر گرفتن نتایج بالا می توان گفت که ارزشیابی پویا باعث ایجاد تغییرات محسوسی در نحوه عملکرد زبان آموزان می گردد در حالی که ارزشیابی غیر پویا فاقد چنین تاثیراتی است. این بدان دلیل است که گروههای ارزشیابی پویا از پیش آزمون به پس آزمون و پس آزمون با فاصله تغییرات معنی داری پیدا کردند در حالی که گروههای متعلق به ارزشیابی غیر پویا چنین تغییراتی را نشان ندادند. 3. نتیجه دیگری که از یافته های این تحقیق گرفته می شود این است تغییرات به دست آمده در نحوه تولید جملات درست و مناسب منحصرا به دلیل نحوه آموزش با استفاده از ارزشیابی پویا است چرا که هیچ گونه تاثیر مشترکی از جانب سطح بسندگی زبانی مشاهده نگردید. 4. نتیجه دیگر اینکه استفاده از ارزشیابی پویا در آموزش منظور شناسی می تواند با موفقیت بیشتری همراه باشد چرا که این روش به آگاهی بیشتری از جانب زبان آموزان منجر می گردد و در نتیجه باعث می گردد که آنها از استراتژیهای بیشتری نسبت به گروههای غیر ارزشیابی پویا بهره بگیرند. 5. نتیجه بعدی اینکه دانش عمومی و بسندگی زبانی فرد زبان آموز نمی تواند دلیلی قانع کننده برای پیش بینی میزان موفقیت آن فرد برای یادگیری منظور شناسی باشد. این بدان دلیل است که آنچه واقعا مهم است حوزه رشد تقریبی زبان آموز است نه حوزه رشد واقعی او. 6. نتیجه آخر اینکه میان حوزه رشد تقریبی فرد و گروه رابطه ای وجود دارد ولی چگونگی این رابطه موضوعی است که به تحقیقات بیشتر در آینده نیاز دارد. پیشنهاد می گردد موضوع این تحقیق در آینده جدی گرفته شود چرا که می تواند حرفهای زیادی برای گفتن داشته باشد. یافته های این تحقیق در مطالعات نظری زبان بینابین (دوم/خارجی)، تهیه و تدوین مواد و مطالب درسی، تدریس زبان دوم/خارجی، و نیز تربیت مدرس زبان کاربردهای زیادی خواهد داشت.