The Implementation of Direct Observation of Procedural Skills (DOPS) in Iran’s Universities of Medical Sciences: A Systematic Review

اجرای آزمون مشاهده مستقیم مهارت‌های عملی(Direct Observed Procedural Skills) در دانشگاه‌های علوم پزشکی ایران: یک مطالعه مروری   زهرا سهرابی، کبری صالحی، حبیب‌اله رضایی، فریبا حقانی*     چکیده مقدمه: ارزیابی بخش اساسی و لاینفک آموزش علوم پزشکی است. یک روش مطلوب ارزیابی دانشجو، علاوه بر معتبر و روا بودن باید دارای تأثیر مثبت بر یادگیری دانشجو، قابل اجرا و مورد قبول اساتید و دانشجویان نیز باشد، لذا مقاله مروری حاضر با بررسی اجرای آزمون مشاهده مستقیم مهارت‌های عملی در دانشگاه‌های علوم پزشکی ایران پرداخت. روش‌ها: در این مطالعه مروری با استفاده از کلمات کلیدی ارزشیابی عملی، مشاهده مستقیم مهارت‌های عملی، مهارت‌های عملی، سنجش مهارت، ارزشیابی مهارت، (DOPS) direct observation of procedural skills، medical science، clinical skills، assessment، practical assessment، Iran تمام مطالعات مرتبط از سال1393-1380 و مقالات لاتین از سال 2015-2000 در پایگاه‌های Magiran، SID و موتور جستجوی گوگل اسکالر Google Scholar)) انتخاب شدند. نتایج: در جستجوی اولیه 226 مقاله یافت شد. پس از حذف مقالات تکراری 164 مقاله باقی ماند. با خواندن عنوان و چکیده مقالات تعداد 152مقاله حذف و تعداد 12 مقاله باقی ماند. تعداد 5 مقاله به بررسی دیدگاه و رضایت دانشجویان از آزمون DOPS، 2 مقاله به بررسی روایی و پایایی آزمون DOPS، 4 مقاله به بررسی تأثیر روش DOPS بر میزان یادگیری مهارت‌های بالینی و یک مقاله به مقایسه تأثیر به‌کارگیری روش‌های DOPS و mini CEX با روش سنتی بر میزان یادگیری پرداخته بود. نتیجه‌گیری: نتایج مطالعات بررسی شده از اثرات مثبت ارزیابی عملکرد دانشجویان علوم پزشکی با استفاده از مشاهده مستقیم مهارت‌های عملی حمایت نمودند. با توجه به نتایج مطالعات توصیه می شود که اساتید از این روش جهت ارزیابی عملکرد دانشجویان در بالین استفاده کنند.   واژه‌های کلیدی: ارزشیابی، ارزشیابی عملی، مشاهده مستقیم مهارت‌های عملی، مهارت‌های عملی، ایران مجله ایرانی آموزش در علوم پزشکی/ 1395؛ 16(46): 407 تا 417       مقدمه امروزه آموزش دانشجویان، موضوع مورد بحث در بسیاری از کشورهاست. از آنجایی که هدف گروه علوم پزشکی، ارتقای سلامت است، آموزش این گروه، از اهمیت ویژه‌ای برخوردار است و یکی از اولین نیازهای آموزشی، اتخاذ سیاست‌ها و روش‌های نوین به منظور توانمندسازی و بهبود عملکرد دانشجویان است(1و2). آموزش بالینی بخش مهمی از آموزش دانشجویان رشته‌های مختلف علوم پزشکی را در بر می‌گیرد(3). آموزش بالینی فرصتی را برای دانشجو فراهم می‌سازد تا دانش نظری را به مهارت‌های ذهنی، روانی و حرکتی متنوعی که برای مراقبت از بیمار ضروری است، تبدیل کند(4). برنامه‌ریزان بهداشتی معتقدند که دانشجویان علوم پزشکی می‌توانند دانش نظری خود را با انجام کار در محیط کارآموزی توسعه بخشند ولی در این محیط با مشکلات و مسائل گوناگونی روبرو می‌شوند(5). ضعف برنامه‌ریزی و ارزشیابی، عامل یک دسته از مشکلات است که در نهایت، ضعف مهارت‌های حرفه‌ای دانش‌آموختگان و کاهش کارآیی و اثربخشی نظام آموزش و کیفیت ارائه خدمات بهداشتی - درمانی در جامعه را در پی دارد(6). مطالعات مختلف نشان داده اند که ارزشیابی‌های مستمر و مداخلات لازم براساس نتایج آنها، تأثیر غیر قابل انکاری در بهبود روند آموزش در همه سطوح دارند. با توجه به چنین اثراتی است که صاحب نظران بر کاربرد روش‌های امتحان شده و دقیق‌تر برای ارزشیابی تأکید دارند(7). ارزشیابی بخش ضروری فرآیند آموزشی است و شواهدی از میزان دستیابی دانشجویان به اهداف یادگیری را مشخص می‌سازد(8). در هر برنامه آموزشی، ارزشیابی نقش اساسی در آموزش دارد به طوری که می‌تواند آموزش را از یک حالت ایستا، به مسیری پویا هدایت نماید. همچنین این امکان را فراهم می‌کند تا بر اساس نتایج آن، نقاط قوت و ضعف فرآیند آموزش مشخص شود تا با تقویت جنبه‌های مثبت و رفع نارسایی‌ها، بتوان در تحول و اصلاح آموزش گام‌های مناسبی برداشت(9). ارزشیابی مؤثر نه تنها سبب ارتقای انگیزه در دانشجویان شده، بلکه به مدرس نیز در ارزیابی فعالیت‌هایش کمک می‌کند(10). چنانچه این ارزشیابی توأم با بازخورد مناسب نیز باشد، می‌تواند میزان یادگیری مهارت‌ها را در فراگیر ارتقا بخشد(11). ارزشیابی مهارت‌های بالینی، بیش از نیمی از حجم کل ارزشیابی‌های دانشجویان رشته‌های علوم پزشکی را تشکیل می‌دهد و برای اطمینان از کسب صلاحیت این دانشجویان، گذر از این فرآیند ضروری است. گفتنی است بسیاری از روش‌های مرسوم ارزشیایی بالینی، قادر به سنجش کامل دانشجویان در محیط‌های بالینی نمی باشد و تنها اطلاعات محدودی را که به دنبال مطالعه کوتاه مدت قبل از امتحان حاصل شده است، ارزیابی می‌کند. لذا این امتحانات فقط دانش کوتاه مدت و رویکرد سطحی یادگیری را تقویت می‌کند و دانشجو فرصتی برای تشخیص اشتباهات خود و یا تلاش به منظور اصلاح آن پیدا نخواهد کرد. در حالی که در آموزش بالینی، کسب توانمندی لازم در مواجهه با بیمار، بیماری و چگونگی اداره آن، جز ضرورت‌های اساسی است. علی رغم این که مهارت بالینی و کار عملی در آموزش پزشکی نقش اصلی را دارد، نتایج پژوهش‌ها نشان می‌دهد که ارزشیابی رایج دانشجویان و موفقیت دانش‌آموختگان گروه پزشکی تا حدود زیادی محدود به اطلاعات ذهنی آنها است(12تا14). در پاسخ به افزایش تقاضای جامعه برای پاسخ‌گویی و مسؤولیت‌پذیری بیش‌تر، نیاز است ارزیابی دانشجویان بیش از گذشته به روش‌های واقعی نزدیک‌تر گردند، تا این که نشان دهند آیا دانشجو واقعاً قادر خواهد بود طبابت را در عمل انجام دهد(15). در حال حاضر روش‌های متفاوتی بر‌ای ارزشیابی بالینی دانشجویان طراحی شده است، ازجمله این روش‌ها می‌توان به آزمون کار پوشه (portfolio)، آزمون بالینی ساختارمند عینی (OSCE) و آزمون بالینی کوتاه (Mini-CEX) و مشاهده مستقیم مهارت‌های عملی (DOPS) اشاره کرد(16). مشاهده مستقیم مهارت‌های عملی (DOPS) مشاهده مستقیم مهارت‌های عملی (DOPS) یکی از روش‌های نوین ارزشیابی عملی و نیز روش مناسبی برای فراهم کردن فرصتی جهت ارائه بازخوردهای سازنده و توجه و تمرکز دانشجو به نکاتی که برای انجام مهارت مورد نظر لازم است(17). این آزمون معمولاً 8-6 بار در سال برای هر دانشجو قابل اجرا است. هر نوبت آزمون در مورد یکی از مهارت‌های عملی ضروری انجام می‌پذیرد(18). رگ‌گیری وریدی، تزریق داخل جلدی، گرفتن نمونه کشت خون از ورید محیطی و مرکزی، گرفتن نوار قلب و گرفتن نمونه خون شریانی از مهارت‌هایی است که می‌تواند با این روش ارزیابی شود(19). زمان هر آزمون در حدود 20 دقیقه است که 15 دقیقه زمان انجام مشاهده توسط آزمون‌گر (عضو هیأت‌علمی) و پنج دقیقه زمان ارائه بازخورد به آزمون شونده (دانشجو) است(18و20). متأسفانه در ایران نتایج تحقیقات انجام گرفته در زمینه ارزشیابی نشان داده است که نه تنها در اکثر ارزشیابی‌ها اصول ارزشیابی عملکرد دانشجویان مورد توجه قرار نمی‌گیرد، بلکه استفاده از روش‌های سنتی در ارزشیابی‌ها سبب شده که در بسیاری از موارد، ارزشیابی، تنها صرف هزینه و اتلاف وقت به دنبال آورده، تأثیری در بهبود کیفیت مراقبت‌ها و اصلاح عملکرد نداشته باشد. لذا هدف از مقاله مروری حاضر بررسی اجرای آزمون مشاهده مستقیم مهارت‌های عملی (DOPS) در دانشگاه‌های علوم پزشکی ایران بود.   روش‌ها این مطالعه مروری در سال 2015 انجام شد. در این مطالعه کلیه مقالات فارسی که در عنوان یا کلمات کلیدی از واژه ارزشیابی بالینی، مشاهده مستقیم مهارت‌های عملی، مهارت‌های عملی، سنجش مهارت، ارزشیابی مهارت استفاده نموده بودند مورد جستجو قرار گرفت. همچنین برای جستجوی مقالات لاتین از کلید واژه‌های DOPS، direct observation of procedural skills، medical science، clinical skills، assessment، practical assessment استفاده شد. برای جستجوی مقالات از پایگاه‌های Magiran، SID و موتور جستجوی گوگل اسکالر(Google Scholar)استفاده گردید. مقالات فارسی زبان چاپ شده از سال 1380 تا پایان سال 1393 و مقالات لاتین از سال 2000 تا 2015 بررسی شدند. تنها مقالات مرتبط با موضوع مطالعه در ایران (به دلیل  شرایط آموزش بالین در ایران) انجام شده بود و به صورت تمام متن قابل دستیابی بود، مورد استفاده قرار گرفت. معیار خروج تکراری بودن مقالات بود. نامه به سردبیر و پاسخ به آن نیز از مقالات خارج شد.   نتایج در جستجوی اولیه 226 مقاله یافت شد. تعداد 72 مقاله در پایگاه علمی جهاد دانشگاهی(SID)، تعداد 56 مقاله در Magiran و تعداد 98 مقاله در موتور جستجویGoogle scholar یافت شد. پس از حذف مقالات تکراری (62 مقاله)، 164 مقاله باقی ماند. با خواندن عنوان و چکیده مقالات، تعداد 152مقاله حذف و تعداد 12مقاله باقی ماند. مقالات باقی مانده وارد مرور شد. مشخصات مقالات وارد شده به مرور در جدول شماره یک ذکر شده است.     جدول 1: مشخصات مقالات مرور شده(19و21تا31) نویسنده/نویسندگان سال مطالعه نام مجله روش نمونه‌گیری نوع مطالعه حجم نمونه میزان پاسخ‌دهی جمعیت مورد مطالعه کار انجام شده اسدی و همکاران(21) 1391 پژوهش در آموزش علوم پزشکی نامشخص توصیفی-مقطعی 70 100درصد کارورزان بخش ارتوپدی ارزیابی نظرات و رضایتمندی اکبری و همکارش(22) 1392 مجله ایرانی آموزش در علوم پزشکی سرشماری توصیفی-مقطعی 120 92درصد دانشجویان دندانپزشکی سال چهار و پنج در بخش ترمیمی دانشگاه علوم پزشکی مشهد دیدگاه دانشجویان نسبت به آزمون حبیبی و همکاران(19) 1392 مجله ایرانی آموزش در علوم پزشکی سرشماری کارآزمایی تصادفی شده 70 100درصد دانشجویان پرستاری دانشکده پرستاری ارتش عرصه داخلی، جراحی و ویژه مقایسه تأثیر به‌کارگیری روش‌های DOPS و mini cex با روش سنتی خوشرنگ و همکاران(23) 1389 پژوهش در آموزش علوم پزشکی سرشماری توصیفی-مقطعی 57 100درصد دستیاران رشته‌های بیهوشی، جراحی، ارولوژی، گوش، گلو وبینی، جراحی سر و گردن و نورولوژی دانشگاه علوم پزشکی گیلان رضایت دستیاران-جنبه‌های مثبت و منفی DOPS صاحب‌زمانی و  همکاران(24) 1391 مجله تحقیقات علوم پزشکی زاهدان سرشماری نامشخص 55 100درصد دانشجویان پرستاری دوره کارورزی دانشکده پرستاری و مامایی زاهدان بررسی روایی و پایایی آزمون DOPS در ارزیابی مهارت‌های بالینی فرج‌پور و همکاران(25) 1393 مجله ایرانی آموزش در علوم پزشکی سرشماری آزمایشی (تک گروه پس‌آزمون) 60 کاروز و 23 آزمون‌گر 100درصد کارورز پزشکی بخش اورژانس بیمارستان‌های آموزشی 22بهمن و آریا مشهد و اساتیدبالینی و افراد حرفه‌ای بخش بررسی قابلیت اجرا، اثرات آموزشی، رضایت از DOPS کوهپایه‌زاده و همکاران(26) 1393 مجله دانشگاه علوم پزشکی سبزوار سرشماری توصیفی-تحلیلی 44 100درصد دانشجویان مامایی سال 4دانشکده پرستاری ومامایی علوم پزشکی کاشان بررسی روایی و پایایی آزمون DOPS نورالدینی و همکاران(27) 1394 مجله توسعه پژوهش در پرستاری و مامایی سرشماری نیمه تجربی 35 100درصد دانشجویان ترم هفت پرستاری دانشکده علوم پزشکی آبادان تأثیر ارزشیابی مهارت‌های بالینی به شیوه DOPS بر میزان عملکرد بالینی باقری و همکاران(28) 1392 مجله ایرانی آموزش در علوم پزشکی سرشماری نیمه تجربی دو گروهی 46 100درصد دانشجویان ترم 2رشته فوریت پزشکی دو سال ورودی دانشکده پرستاری و مامایی علوم پزشکی مشهد تأثیر روش DOPS بر بر میزان یادگیری مهارت‌های بالینی شاه غیبی و همکاران(29) 2009 Journal of Medicine Eduction سرشماری چهارگروهی 73 نامشخص اکسترن‌های بخش مامایی دانشگاه علوم پزشکی کردستان اثر DOPS بر سطح یادگیری بالینی نظری و همکاران(30) 2013 Iranian Journal of Nursing and Midwifery Research سرشماری نیمه تجربی 39 100درصد دانشجویان پرستاری ترم 7 icu دانشکده پرستاری آمل اثر DOPS بر روی یادگیری مهارت‌های عملی امینی و همکاران(31) 2015 Research development medical education نامشخص مطالعه ترکیبی 16 نامشخص رزیدنت‌های ارتوپدی و اعضای هئیت علمی بیمارستان شهدا دانشگاه علوم پزشکی تبریز اثرات DOPS از دیدگاه رزیدنت‌ها و اساتید روی یادگیری و مهارت و آمادگی برای آزمون پایانی     همان‌طور که در جدول شماره یک مشاهده می‌شود تعداد 5 مقاله به بررسی دیدگاه و رضایت دانشجویان از آزمون DOPS پرداخته است و جمعیت مورد مطالعه در این مطالعات کارورزان بخش ارتوپدی، دانشجویان دندانپزشکی بخش ترمیمی، دستیاران رشته‌های بیهوشی، جراحی، ارولوژی، گوش، گلو وبینی، جراحی سر و گردن و نورولوژی، کارورز پزشکی بخش اورژانس و رزیدنت‌های ارتوپدی بوده‌اند. در دو مورد از این مقالات علاوه بر نظر دانشجویان نظر اساتید بخش اورژانس و بخش ارتوپدی نیز بررسی شده است. تعداد 2 مقاله به بررسی روایی و پایایی آزمون پرداخته است که جمعیت مورد مطالعه در این دو مقاله دانشجویان پرستاری و دانشجویان مامایی بودند. تعداد 4 مقاله به بررسی تأثیر روش DOPS بر میزان یادگیری مهارت‌های عملی بالینی پرداخته است که جمعیت مورد مطالعه در این مقالات دانشجویان پرستاری، دانشجویان فوریت پزشکی و دانشجویان اکسترن بخش مامایی بود و یک مقاله به مقایسه تأثیر به‌کارگیری روش‌های DOPS و mini CEX با روش سنتی در دانشجویان پرستاری پرداخته است. در زمینه رضایت دانشجویان، در مطالعه اسدی و همکاران، 1/37درصد از دانشجویان آزمون DOPS را جهت ارزیابی مهارت بالینی مناسب دیدند و 6/28‌درصد نامناسب می‌دیدند. 4/41درصد دانشجویان آزمون DOPS را بدون استرس و 2/37‌درصد روش DOPS را استرس‌آور می‌دانستند. بیش‌ترین‌درصد رضایتمندی در این مطالعه مربوط به آگاهی بخشی برگزار کنندگان از نحوه اجرای آزمون بود. کم‌ترین رضایت‌مندی دانشجویان از زمان اختصاص داده شده برای هر مهارت عملی(40درصد) و عدم همکاری بیماران با دانشجویان حین انجام مهارت عملی خواسته شده در آزمون بود(5/48‌درصد)(21).  در زمینه رضایت دانشجویان نتایج مطالعه اکبری و همکارش بیان‌گر این موضوع بود که 71درصد از دانشجویان به خاطر تأثیر مثبت این آزمون بر یادگیری و استقلال عمل ایشان خواستار ادامه این روش بودند. 76درصد دانشجویان معتقد بودند این شیوه در ایجاد پایایی بین آزمون‌گرها موفق نبوده است. به علت اثر استرس در زمان آزمون نهایی، 85‌درصد دانشجویان با مردود شدن آزمون شونده در مواردی که توانایی انجام فرایند را با کیفیت استاندارد نداشته باشد مخالف بودند و اشاره شد که این روش بهتر است به صورت ارزشیابی تکوینی مورد استفاده قرار بگیرد. در این مطالعه رضایت از نحوه تنظیم نوبت بیماران 76‌درصد، تأثیر در بهبود یادگیری و آموزش 77درصد، تأثیر آزمون در ایجاد استقلال عمل 71درصد بود(22). در مطالعه خوشرنگ و همکاران میانگین رضایت دستیاران متوسط به پایین بود(40/41درصد). 2/46‌درصد معتقد بودند که زمان در نظر گرفته شده برای مشاهده آزمون‌گر مناسب نیست. 2/79درصد معتقد بودند که این آزمون بر عملکرد بالینی دستیاران تأثیری ندارد. 4/61درصد معتقد بودند که اتندینگ در انجام این آزمون توانایی لازم را ندارند. 1/9‌درصد معتقد بودند که آزمون به عمل آمده با کوریکولوم هماهنگ نیست. 3/84‌درصد معتقد بودند که ارزشیابی به شیوه DOPS عملکرد بالینی را بهتر نخواهد کرد(23). در مطالعه فرج‌پور و همکاران از دید دانشجویان قابلیت اجرا، تأثیرات آموزشی و رضایت‌مندی از آزمون DOPS به طور معناداری از عدد50 (متوسط نمره مورد انتظار) بیش‌تر بود و تأثیر آموزشی و یادگیری در این میان، از بالاترین امتیاز (8/14±78) برخوردار بود. رضایت‌مندی از نظر آزمون‌گران در زمینه‌های یاد شده نیز در این مطالعه به طور معناداری بیش از عدد 50 بود. رضایت‌مندی از آزمون در این میان از بالاترین امتیاز(6/11±7/76) برخوردار بود(25). در مطالعه امینی و همکاران اکثر اساتید و رزیدنت‌ها اعتقاد داشتند که آزمون DOPS می‌تواند نقش موثری در تسهیل یادگیری دانشجو داشته باشد و می‌تواند به موفقیت دانشجو در امتحان پایانی کمک کند. در این مطالعه بعضی از دانشجویان اعتقاد داشتند که DOPS استرس آنها را در آزمون پایانی کاهش داده است. آنها معتقد بودند که ارتقا مهارت و یادگیری مستقل فواید آن است و تجربه استرس آزمون از معایب آن است(31). همچنین به عنوان بخشی از مطالعه کوهپایه زاده و همکاران رضایت دانشجویان از آزمون DOPS در محدوده راضی تا بسیار راضی 2/78‌درصد گزارش شده بود(26). در زمینه روایی و پایایی نتایج مطالعه کوهپایه‌زاده و همکاران نشان داد که روایی محتوایی آزمون DOPS با استفاده از شاخص روایی محتوایی بیش از 75/0 و نسبت روایی محتوایی بیش از 50/0 گزارش شده است. همبستگی نمرات DOPS با میانگین نظری و بالینی به ترتیب 071/0 و 093/0 بوده است. همبستگی هر مهارت با نمره کل DOPS ارتباط معناداری داشته است که خود بیان‌گر ساختار درونی مطلوب آزمون و تأمین اعتبار سازه نیز است. در این مطالعه پایایی آزمون توسط ضریب آلفای کرونباخ 81/0 اندازه‌گیری شده است. کم‌ترین و بیش‌ترین مقدار ضریب همبستگی در پایایی بین ارزیابان به ترتیب 97/0 و 99/0 بوده که در تمام موارد معنادار بوده‌اند(26). در مطالعه صاحب زمانی و همکاران همبستگی نمرات  DOPSبا میانگین نمرات نظری و بالینی به ترتیب 117/0 و 376/0 بود. همبستگی هر مهارت با نمره کل DOPS ارتباط معناداری داشت که بیان‌گر ساختار درونی مطلوب آزمون بود. پایایی آزمون توسط ضریب آلفای کرانباخ 94/0 اندازه‌گیری شد. کم‌ترین و بیش‌ترین مقدار ضریب همبستگی در پایایی بین ارزیابان به ترتیب 42/0 و 84/0بود که در تمام موارد معنادار بودند(24). در زمینه تأثیر روش DOPS بر میزان یادگیری مهارت‌های بالینی نتایج مطالعه نورالدینی و همکاران نشان داد که میانگین نمرات دانشجویان گروه آزمون در آزمون‌های 2 و 3 نسبت به آزمون 1 DOPS تفاوت چشم‌گیری داشت و میانگین رتبه‌ها به نسبت بالاتر بود(001/0p<) ولی در گروه کنترل این میانگین تغییری نداشت و پیشرفتی در عملکرد بالینی دانشجویان دیده نشد(27). نتایج مطالعه باقری و همکاران نشان داد  که بعد از کارآموزی، گروه تجربی (ارزشیابی به روش DOPS) میانگین نمره بهتری داشتند، به طوری که تفاوت بین نمره دو گروه معنادار بود (9/4, t = 0001/0= p)(28). نتایج مطالعه شاه غیبی و همکاران نشان داد که نمره دانشجویان گروه مداخله (آزمون DOPS) نسبت به گروه کنترل برای همه مهارت‌ها بهتر شده بود (0001/0=p). مقایسه میانگین قبل و بعد گروه مداخله به طور معناداری بهتر شده بود (0001/0p<)(29). نتایج مطالعه نظری و همکاران نیز نشان داد که اختلاف معناداری بین دو گروه مداخله (آزمون DOPS) و کنترل در پیش‌آزمون وجود ندارد(05/0p>) در حالی که در پس‌آزمون اختلاف معناداری بین گروه مداخله و کنترل وجود داشت(001/0p<). اختلاف بین پیش‌آزمون و پس‌آزمون ‌گروه مداخله و گروه کنترل معنادار بود(001/0p<)(30). در نهایت نتایج مقاله حبیبی و همکاران که تأثیر به‌کارگیری روش‌های DOPS و mini CEX با روش سنتی در دانشجویان پرستاری را مقایسه کرده بود نشان داد که میانگین نمرات نهایی ارزیابی در گروه تجربی (به روش‌های DOPS و Mini- CEX) به طور معناداری بیش‌تر از نمرات گروه شاهد(روش مرسوم) بود(0001/0p=)(19).   بحث هدف از این مطالعه بررسی اجرای آزمون مشاهده مستقیم مهارت‌های عملی در دانشگاه‌های علوم پزشکی ایران بود. نتایج حاصل از جستجوی مقالات نشان داد که تعداد 5 مقاله به بررسی دیدگاه و رضایت دانشجویان از آزمون DOPS، 2 مقاله به بررسی روایی و پایایی آزمون DOPS، 4 مقاله به بررسی تأثیر روش DOPS بر میزان یادگیری مهارت‌های عملی بالینی و یک مقاله به مقایسه تأثیر به‌کارگیری روش‌های DOPS و mini CEX با روش سنتی بر میزان یادگیری در رشته‌های علوم پزشکی در ایران پرداخته‌اند. نتایج مرور این مقالات، نشان دهنده این موضوع است که در زمینه دیدگاه و رضایت دانشجویان از آزمون DOPS، رضایت دانشجویان از این آزمون مشهود است(21و22و25و26و31). دانشجویان این آزمون را جهت ارزیابی مهارت بالینی مناسب می‌دانستند(21) و معتقد بودند که این آزمون تأثیر مثبتی بر یادگیری و استقلال عمل ایشان داشته است(22و31) و هم چنین معتقد بودند که قابلیت اجرایی خوبی دارد(25). اساتید نیز در این موارد با دانشجویان هم عقیده بودند(25و31). مشاهده مستقیم عملکرد دانشجو، می‌تواند همراه با مراقبت بهتر از بیمار و کسب سریع‌تر مهارت‌های بالینی توسط دانشجو باشد(32). تنها در یک مطالعه دانشجویان از این آزمون رضایت نداشتند و معتقد بودند که بر عملکرد آنها تأثیری نداشته است(23) که احتمال دارد علت این امر مربوط به اجرای آزمون DOPS باشد. بدین دلیل که در این مطالعه دانشجویان معتقد بودند اساتید در انجام این آزمون توانایی لازم را ندارند، زمان در نظر گرفته شده برای مشاهده آزمون‌گر مناسب نیست و آزمون‌گرفته شده با کوریکولوم هماهنگ نیست(23). البته در مطالعه اسدی نیز از زمان در نظر گرفته شده برای هر مهارت عملی رضایت کمی وجود داشت(21). پیشنهاد می‌گردد دست اندرکاران اجرایی این آزمون، به مدت زمان لازم برای انجام هر مهارت عملی توجه لازم را مبذول نمایند. بهتر است اعضای هیأت‌علمی و کارکنان در هر مؤسسه زمان‌هایی را صرف ارتقای دانش ارزیابی نمایند و این موضوع در برنامه توسعه نیروی انسانی نیز لحاظ گردد. نکته‌ای که در بررسی‌های صورت گرفته جلب توجه می‌کند، این است که به آموزش ارزیاب یا فرد مشاهده گر توجه زیادی نشده است. ممکن این مساله به علت هزینه، محدودیت زمانی یا ناآگاهی از این قضیه باشد. به هر حال بهتر است ارزیابان به اندازه کافی آموزش ببینند تا بتوانند تفاوت بین سطوح مختلف عملکرد دانشجو را درک نمایند(33). آموزش ارزیاب اگر چه ممکن است در نگاه اول هزینه و زمان زیادی را به خود اختصاص دهد، اما منافع این کار در ارتقای کیفیت آموزش چشم‌گیر است(34). یکی از مواردی که دانشجویان در نظرات خود در مقالات بدان اشاره کرده بودند بحث استرس ناشی از این آزمون بود. به طوری که در تعدادی از مقالات این آزمون را استرس‌آور بیان می‌کردند(21و22). در مطالعه امینی آزمون استرس‌آور گزارش شده و همین‌طور گفته شده که استرس آزمون پایانی را کاهش داده است(31). البته این موضوع نیازمند بررسی بیش‌تری است. همچنین دانشجویان معتقد بودند عدم همکاری بیماران با دانشجویان حین انجام مهارت عملی خواسته شده یکی از چالش‌های آن است(21) بنابراین یکی از چالش‌هایی که دانشجویان در این آزمون با آن مواجه خواهند بود بحث انتخاب بیمار است که باید در این زمینه راه‌کارهایی ارائه گردد. روایی و پایایی این آزمون در دانشجویان مامایی و پرستاری خوب ارزیابی شده است(24و26). بر اساس بررسی که در کالج سلطنتی پزشکی انگلیس انجام شده، این روش برای استفاده در ارزشیابی مهارت‌های عملی از روایی و پایایی مناسبی برخوردار است(35و36). گزارشات متعدد نیز بر روایی مناسب این آزمون در ارزیابی مهارت انجام مهارت‌های بالینی تأکید دارد(37تا39). اما بدین موضوع باید توجه داشت که با توجه به نوع مهارت عملی که قرار است انجام شود آزمون متفاوت خواهد بود. بنابراین برای هر مهارت عملی در رشته‌های مختلف، باید آزمون روا و پایایی درست شود. این موضوع نیازمند کار مطالعاتی بیش‌تری است که لازم است برای هر رشته‌ای که دارای مهارت‌های عملی است با توجه به نوع مهارت عملی، آزمون روا و پایایی طراحی شود. نکته جالب توجه این است که علی‌رغم ساخت ابزار‌های مختلفی جهت مشاهده مستقیم عملکرد دانشجویان در بالین، تعداد کمی از آنان به خوبی ارزیابی و آزمایش شده‌اند. در زمینه تأثیر روش DOPS بر میزان یادگیری مهارت‌های عملی بالینی نتایج تمامی مقالات بر تأثیر این آزمون بر بهبود یادگیری مهارت‌های عملی حکایت داشتند(27تا30). این نتایج با نتایج مطالعه ی تسوی (Tsui) و همکاران در تایوان که در مطالعه خود به این نتیجه رسیدند که استفاده از ارزیابی به شیوه DOPS و ارائه بازخورد توسط اساتید می‌تواند مهارت دانشجویان پزشکی را ارتقا بخشد(40) هماهنگ است. با توجه به نتایج مطالعات توصیه می‌شود که اساتید از این روش جهت ارزیابی عملکرد دانشجویان در بالین استفاده کنند. از محدودیت این مطالعه می­توان به عدم جستجو و استفاده از مقالات ارائه شده در همایش‌ها، طرح‌های تحقیقاتی که مقالات حاصل از آنها هنوزچاپ نشده است، اشاره نمود.   نتیجه‌گیری در زمینه دیدگاه و رضایت دانشجویان ایران از آزمون DOPS می‌توان بیان کرد که رضایت دانشجویان از این آزمون مشهود است. همچنین روش DOPS باعث بهبود یادگیری مهارت‌های عملی بالینی می‌شود. با توجه به نتایج مطالعات توصیه می‌شود که اساتید از این روش جهت ارزیابی عملکرد دانشجویان در بالین استفاده کنند. پیشنهاد می‌گردد کارگاه‌هایی در زمینه­ی آموزش اساتید در مورد آزمون DOPS برگزار گردد. این مطالعه فقط مربوط به کشور ایران است پیشنهاد می‌گردد این مطالعه در طیف وسیع‌تر و در کلیه پایگاه‌های اطلاعاتی صورت پذیرد تا نتایج آن قابل تعمیم به سایر کشورها نیز باشد.   قدردانی از زحمات کلیه محققانی که از مطالعات آنها در این مقاله استفاده شده است سپاسگزاریم.     منابع 1. Fraser DM, Cooper MA. Myles text book for midwives. 15th ed. Churchill Livingstone; 2009. 2. Crossley J, Humphris G, Jolly B. Assessing health professionals. Med Educ. 2002; 36(9): 800-4. 3. Hoseini BL. [Midwifery Students' Satisfaction with Logbook as a Clinical Assessment Means in Mashhad University of Medical Sciences, 2010]. Iranian Journal of Medical Education. 2012; 11(8): 933-41. [Persian] 4. Lassche M, Al-Qaaydeh S, Macintosh CI, Black M. Identifying changes in comfort and worry among pediatric nursing students following clinical rotations. J Pediatr Nurs. 2013; 28(1): 48-54. 5. Raisler J, O'Grady M, Lori J. Clinical teaching and learning in midwifery and women's health. J Midwifery Womens Health. 2003; 48(6): 398-406. 6. Sanatkhani M, Molla Z, Akbari M. [Evaluation of the Students’ Perception about Clinical Education and Examination in Mashhad School of Dentistry (Iran) in 2009]. Journal of Mashhad Dental School. 2012; 36(3): 211-22. [Persian] 7. Delaram M, Tootoonchi M. [Comparing Self-and Teacher-Assessmentin Obstetric clerkshipCourse for Midwifery Students of Shahrekord University of Medical Sciences]. Iranian Journal of Medical Education. 2010; 9(3): 231-8. [Persian] 8. Morrison J. ABC of learning and teaching in medicine: Evaluation. BMJ. 2003; 326(7385): 385-7. 9. Grauer GF, Forrester SD, Shuman C, Sanderson MW. Comparison of student performance after lecture-based and case-based/problem-based teaching in a large group. J Vet Med Educ. 2008; 35(2): 310-7. 10. Dinther MV, Dochy F, Segers M. Factors affecting students’ self-efficacy in higher education. Educational Research Review. 2011; 6(2): 95-108. 11. Bari V. Updating Teaching and Learning Methodologies in Radiology. J Coll Physicians Surg Pak. 2014; 24(7): 519-22. 12. Schoonheim‐Klein M, Walmsley AD, Habets L, Van der Velden U, Manogue M. An implementation strategy for introducing an OSCE into a dental school. Eur J Dent Educ. 2005; 9(4): 143-9. 13. Noohi E, Motesadi M, Haghdoost A. [Clinical Teachers' Viewpoints towards Objective Structured Clinical Examination in Kerman University of Medical Science]. Iranian Journal of Medical Education. 2008; 8(1): 113-20. [Persian] 14. Rushforth HE. Objective structured clinical examination (OSCE): review of literature and implications for nursing education. Nurse Educ Today. 2007; 27(5): 481-90. 15. Tahernezhad K, Javidan F. [Advanced Assessment of Medical Students’ Clinical Performance: Challenges, Methods and Approaches]. Strides in Development of Medical Education. 2008; 5(1): 58-70. [Persian] 16. Kariman N, Heydari T. [The effect of Portfolio’s evaluation on learning and satisfaction of midwifery students]. Arak medical university journal. 2010; 12(4): 81-88. [Persian] 17. Bhugra D, Malik A, Brittlebank A. Workplace-based assessments in psychiatry. 2nd ed. RCPsych Publications; 2011. 18. Sadeghigooghari N, Jahantigh M. Assessment of Acceptability of Direct Observation of Procedural Skills (DOPS) Among Nursing Students and Faculty Members in Zahedane University of Medical Sciences, IRAN. Procedia-Social and Behavioral Sciences. 2013; 83: 1023-6. 19. Habibi H, Khaghanizade M, Mahmoodi H, Ebadi A. [Comparison of the Effects of Modern Assessment Methods (DOPS and Mini-CEX) with traditional method on Nursing Students' Clinical Skills: A Randomized Trial]. Iranian Journal of Medical Education. 2013; 13(5): 364-72. [Persian] 20. Eva KW, Reiter HI, Trinh K, Wasi P, Rosenfeld J, Norman GR. Predictive validity of the multiple mini‐interview for selecting medical trainees. Med Educ. 2009; 43(8): 767-75. 21. Asadi K, Mirbolook A R, Haghighi M, Sedighinejad A, Naderi nabi B, Abedi S, et al. [Evaluation of Satisfaction Level of Orthopedic Interns from Direct Observation of procedural Skills Assessment (DOPS)]. Research in Medical Education. 2012; 4(2): 17-23. [Persian] 22. Akbari M, Mahavelati Shamsabadi R. [Direct Observation of Procedural Skills (DOPS) in Restorative Dentistry: Advantages and Disadvantages in Student's Point of View]. Iranian Journal of Medical Education. 2013; 13(3): 212-220. [Persian] 23. Khoshrang H, Haghighi M, Taheri M, Nemati S, Erfani R. [Assessment of Direct Objective Procedural Skill Method by Medical Residents of GUMS]. Research in Medical Education. 2010; 2(2): 40-45. [Persian] 24. Sahebalzamani M, Farahani H, Jahantigh M. [Validity and Reliability of Direct Observation of Procedural Skills in Evaluating the Clinical Skills of Nursing Students of Zahedan Nursing and Midwifery School]. Zahedan journal of research medical sciences. 2012; 14(2): 76-81. [Persian] 25. Farajpour A, Amini M, Pishbin E, Arshadi H, Sanjarmusavi N, Yousefi J, et al. [Teachers’ and Students’ Satisfaction with DOPS Examination in Islamic Azad University of Mashhad, a Study in Year 2012]. Iranian Journal of Medical Education. 2014; 14(2): 165-173. [Persian] 26. Kuhpayehzade J, Hemmati A, Baradaran H, Mirhosseini F, Akbari H, Sarvieh M. [Validity and Reliability of Direct Observation of Procedural Skills in Evaluating Clinical Skills of midwifery Students of Kashan Nursing and Midwifery School]. Quarterly Journal of Sabzevar University of Medical Sciences. 2014; 21(1): 145-154. [Persian] 27. Nooreddini A, Sedaghat S, Sanagu A, Hoshyari H, Cheraghian B. [Effect of Clinical Skills Evaluation Applied by Direct Observation Clinical Skills (DOPS) on the Clinical Performance of Junior Nursing Students]. Journal of research development in nursing and midwifery. 2015; 12(1): 8-16. [Persian] 28. Bagheri M, Sadeghnezhad M, Sayyadee T, Hajiabadi F. [The Effect of Direct Observation of Procedural Skills (DOPS) Evaluation Method on Learning Clinical Skills among Emergency Medicine Students]. Iranian Journal of Medical Education. 2014; 13(12): 1073-1081. [Persian] 29. Shahgheibi S, Pooladi A, Bahramrezaie M, Farhadifar F, Khatibi R. Evaluation of the Effects of Direct Observation of Procedural Skills (DOPS) on Clinical Externship Students’ Learning Level in Obstetrics Ward of Kurdistan University of Medical Sciences. Journal of Medicine Eduction. 2009; 13(1 ,2): 29-33. 30. Nazari R, Hajihosseini F, Sharifnia H, Hojjati H. The effect of formative evaluation using “direct observation of procedural skills” (DOPS) method on the extent of learning practical skills among nursing students in the ICU. Iranian Journal of Nursing and Midwifery Research. 2013; 18(4): 290-293. 31. Amini A, Shirzad F, Mohseni M, Sadeghpour A, Elmi A. Designing Direct Observation of Procedural Skills (DOPS) Test for Selective Skills of Orthopedic Residents and Evaluating Its Effects from Their Points of View. Research and Development of Medical Education. 2015; 4(2): 147-152. 32. Reed D, Price EG, Windish DM, Wright SM, Gozu A, Hsu EB, et al. Challenges in systematic reviews of educational intervention studies. Ann Intern Med. 2005; 142(12_Part_2): 1080-9. 33. Shumway JM, Harden RM. AMEE Guide No. 25: The assessment of learning outcomes for the competent and reflective physician. Med Teach. 2003; 25(6): 569-84. 34. Van Der Vleuten CPM, Schuwirth LWT. Assessing professional competence: from methods to programmes. Med Educ. 2005; 39(3): 309-17. 35. Wilkinson JR, Crossley JGM, Wragg A, Mills P, Cowan G, Wade W. Implementing workplace‐based assessment across the medical specialties in the United Kingdom. Med Educ. 2008; 42(4): 364-73. 36. Engum SA, Jeffries P, Fisher L. Intravenous catheter training system: Computer-based education versus traditional learning methods. Am J Surg. 2003; 186(1): 67-74. 37. Wiles CM, Dawson K, Hughes TAT, Llewelyn JG, Morris HR, Pickersgill TP, et al. Clinical skills evaluation of trainees in a neurology department. Clin Med (Lond). 2007; 7(4): 365-9. 38. Beard JD, Jolly BC, Newble DI, Thomas WEG, Donnelly J, Southgate LJ. Assessing the technical skills of surgical trainees. Br J Surg. 2005; 92(6): 778-82. 39. Moorthy K, Munz Y, Sarker SK, Darzi A. Objective assessment of technical skills in surgery. BMJ. 2003; 327(7422): 1032-7. 40. Tsui K-H, Liu C-Y, Lui J-M, Lee S-T, Tan R-P, Chang P-L. Direct observation of procedural skills to improve validity of students' measurement of prostate volume in predicting treatment outcomes. Urological Science. 2013; 24(3): 84-8. The Implementation of Direct Observation of Procedural Skills (DOPS) in Iran’s Universities of Medical Sciences: A Systematic Review   Zahra Sohrabi1, Kobra Salehi2, Habibollah Rezaie3, Fariba Haghani4   Abstract   Introduction: Assessment is a fundamental part of medical education. A good method to assess students, besides being valid and reliable, should have a positive impact on students’ learning, be applicable and acceptable to both teachers and students. Therefore, the purpose of this paper was to review the results of implementation of Direct Observation of Procedural Skills (DOPS) at Iran’s universities of medical sciences. Methods: In this systematic review, the keywords direct observation of procedural skills (DOPS), medical science, clinical skills, assessment, and practical assessment were used to find all of the related studies published from 2000 onwards in Magiran, SID, and Google Scholar search engine. Results: The preliminary search yielded 226 papers. A total of 164 papers were left after excluding the duplicates. By reading the titles and abstracts, 152 papers were also excluded and 12 papers were reviewed at the end. Five papers examined students’ attitudes and satisfaction with DOPS, two papers addressed the validity and reliability of DOPS, four papers explored the effect of DOPS on learning clinical skills, and one paper compared the effects of DOPS and mini CEX with the traditional method on learning. Conclusion: The results of the reviewed papers support the positive effects of assessing medical sciences students’ performance by DOPS. Accordingly, it is suggested that teachers should employ this method to assess students’ clinical performance.   Keywords: Assessment, practical assessment, Direct Observation of Procedural Skills (DOPS), procedural skills, Iran   Addresses: 1. PhD Student of Reproductive Health, Midwifery and Reproductive Health Department, School of Nursing and Midwifery, Isfahan University of Medical Sciences, Isfahan, Iran. E-mail: zsohrabi@ nm.mui.ac.ir. 2. PhD Student of Reproductive Health, Midwifery and Reproductive Health Department, School of Nursing and Midwifery, Isfahan University of Medical Sciences, Isfahan, Iran. E-mail: [email protected]. 3. PhD student of Medical Education, Department of Medical Education, Education Development Center , Isfahan University of Medical Sciences, Isfahan, Iran. E-mail: [email protected] 4. (*) Associate Professor, Medical Education Research Center, Department of Medical Education, Isfahan university of Medical Sciences, Isfahan, Iran. E-mail:[email protected]     * نویسنده مسؤول: دکتر فریبا حقانی (دانشیار)، گروه آموزش پزشکی، مرکز تحقیقات آموزش علوم پزشکی، دانشگاه علوم پزشکی اصفهان، اصفهان، ایران. [email protected] زهرا سهرابی، دانشجوی دکترای تخصصی بهداشت باروری،گروه مامایی و بهداشت باروری، دانشکده پرستاری و مامایی، دانشگاه علوم پزشکی اصفهان، اصفهان، ایران. ([email protected])؛ کبری صالحی، دانشجوی دکترای تخصصی بهداشت باروری، گروه مامایی و بهداشت باروری، دانشکده پرستاری و مامایی، دانشگاه علوم پزشکی اصفهان، اصفهان، ایران. ([email protected])؛ حبیب‌اله رضایی، دانشجوی دکترای آموزش پزشکی، گروه آموزش پزشکی، مرکز تحقیقات آموزش علوم پزشکی، دانشگاه علوم پزشکی اصفهان، اصفهان، ایران. ([email protected]) تاریخ دریافت مقاله: 20/10/94، تاریخ اصلاحیه: 25/2/95، تاریخ پذیرش: 6/4/95