***
توجه: چند مطلب آینده در مورد مفهوم «پایایی» یا reliability است. این مطلب مورد علاقه کسانی است که در زمینه پژوهش های مرتبط به آموزش و نظرسنجی فعالیت میکنند و یا دستی در ساختن ابزارهای تشخیص و سنجش دارند. اگر به این موضوعات علاقه ای ندارید احتمالن حوصله تان سر میرود!
اگر این مقالات رو مفید یافتید و احیانن خواستید در مقاله ای جایی از محتواش استفاده بکنید لطفن لطفن به این وبلاگ رفرنس بدید. در غیر این صورت دزدی علمی محسوب میشود!
***
قسمت اول را اینجا بخوانید.
پایایی(reliability)، قسمت دوم: نگاهی دوباره به مفهومی قدیمی
نگاه همبستگی-محور به مفهوم پایایی (Reliability):
مفهوم پایایی (reliability) از عرصه پژوهش همبستگی-محور برخاسته است؛ عرصهای که به جای گشتن به دنبال اثر اصلی مداخلات به سنجش روابط و همبستگیها (منظور از همبستگی در این بحث مفهومی گسترده است که آنالیزهای آماری همبستگی تنها بخشی از آن است) و تفاوتهای بین فردی میپردازد. در این نگاه نتایج حاصل از بهکارگیری مکرر یک تست یا ابزار سنجش بر روی یک جامعه، در تکتک افراد جامعه با هم تفاوتهایی دارند. این تفاوتها (یا واریاسیون بین فردی) از دو منبع منشاء میگیرند: خطای تصادفی و تفاوتهای واقعی بین فردی (true scores). فرض کنید سه مشاهدهگر مختلف در یک امتحان OSCE مهارت شرححال گیری ۵ دانشجوی پزشکی را اندازه میگیرند. نتایج در جدول شماره ۱ ارائه شدهاند.
جدول ۱: نمرات مهارت شرححالگیری که توسط ۳ مشاهدهگر به ۵ دانشجو در یک امتحان OSCE داده شده است. (مقیاس نمره بین ۰ تا ۱۰)
|
مشاهدهگر۳ |
مشاهدهگر۲ |
مشاهدهگر۱ |
دانشجو |
|
۸ |
۵ |
۶ |
۱ |
|
۵ |
۵ |
۴ |
۲ |
|
۵ |
۲ |
۳ |
۳ |
|
۹ |
۷ |
۹ |
۴ |
|
۴ |
۳ |
۲ |
۵ |
این ۵ دانشجو از لحاظ مهارت شرححال گیری تفاوتهایی با هم دارند، و نمره واقعی آنها لزوما یکسان نیست. اما نکته اینجاست که کسی به این نمره واقعی (true score) واقف نیست. همه آنچه که در دستان ماست ۳ سری نمره توسط سه مشاهدهگر مستقل است که قرار است ما را به آن تفاوت واقعی بین فردی رهنمون شوند. میبینید که این سه مشاهدهگر هم لزوما در مورد هر دانشجو با هم همعقیده نیستند و نمراتشان تفاوتهایی با هم دارد. سه منشاء برای تفاوتهای بین این ۱۵ خانه جدول ۱ (که ما آن را واریانس کل یا 2 total.σ مینامیم) وجود دارد: تفاوتهای واقعی بین مهارت دانشجوها (که ما آن را واریانس بین فردی یا subjects.σ2 مینامیم)، تفاوتهای تصادفی (که ما آن را واریانس خطا error.σ2 مینامیم)، و تفاوت واقعی بین مشاهدهگرها (که ما آن را واریانس بینمشاهدهگران observers.σ2 مینامیم). به سخن دیگر:
فرمول شماره۱:
error.σ2+observers.σ2+subjects.σ2=total.σ2
وقتی میتوانیم بگوییم که پایایی ابزار فوق الذکر بالاست که قسمت عمده واریانس کل ناشی از واریانس بینفردی باشد و سهم تفاوتهای تصادفی و تفاوت مشاهدهگران حداقل باشد. از این فرض میتوان فرمول مناسب برای پایایی را نتیجه گرفت. پایایی نتایج یک ابزار، کسری است که سهم تفاوتهای واقعی بین فردی را از کل تفاوتهای مشاهدهشده نشان میدهد (۳). یا:
فرمول شماره ۲
Reliability=
این فرمول کلی محاسبه پایایی است که توسط رونالد فیشر در سال ۱۹۲۵ ابداع شد، و وی آن را برای افتراق از ضریب همبستگی پیرسون (که به بررسی رابطه دو متغیر متفاوت میپرداخت) ضریب همبستگی درون گروهی یا (Intraclass Correlation Coefficient (ICC نامید (۴). در محاسبه پایایی، واریانس اصلی تفاوتهای بین فردی است، یعنی همان هدفی که از ابتدا ابزار را برای دستیابی به آن به کار گرفتهایم، مثلا افتراق دانشجوی خوب از بد از لحاظ مهارت شرححالگیری. وجود یا عدم وجود واریانس بین مشاهدهگران در مخرج کسر به نوع نگاه ما به مشاهدهگران این مطالعه بستگی دارد. همانطور که در جدول ۱ دیده میشود مشاهدهگر سوم در مجموع نسبت به مشاهدهگر اول دست و دلبازتر است، اما اگر بخواهیم دانشجویان را به ترتیب نمره مرتب کنیم نتیجه برای هر دو مشاهدهگر یکسان است. این بدان معناست که اگر هدف این مطالعه رتبهبندی دانشجویان از لحاظ مهارت شرححالگیری باشد و نمره خام هر دانشجو اهمیتی نداشته باشد، آنچه مهم است همخوانی (consistency) بین مشاهده گران است و نه توافق (agreement) میانشان. برای بررسی همخوانی، جهت محاسبه پایایی بین مشاهدهگران میتوان واریانس بینمشاهدهگران (observers.σ2) را از مخرج کسر حذف نمود، و تفاوت بین نمرات را تنها به دو عامل تفاوتهای واقعی و خطای تصادفی نسبت داد. فرمول ICC برای همخوانی بین مشاهدهگران به این صورت درمیآید:
فرمول شماره ۳:
Reliability=
جالب اینجاست که این فرمول همچنان پایایی بینمشاهدهگران را میسنجد، هرچند که هیچ جزئی از واریانس مستقیما به تفاوتهای مشاهدهگران نمیپردازد. نگاه مجدد به فرمول شماره ۳ نشان میدهد که اگرچه ما در این مثال به دنبال پایایی بینمشاهدهگران یا inter-observer reliability هستیم، برخلاف آنچه که ممکن است در نگاه اول به نظر برسد تفاوت و رابطه بین مشاهدهگران در محاسبه پایایی نقش مستقیمی ندارد.
تفاوت دو فرمول شماره ۲ و ۳ را میتوان از نگاه دیگری نیز تفسیر کرد. فرمول پایایی برای همخوانی (شماره ۳) زمانی به کار میرود که برای پژوهشگر تنها سه مشاهدهگر حاضر و میزان پایایی میان آنها اهمیت دارد. پژوهشگر از ویژگیهای تکتک آنها مطلع است و مثلا میداند که شماره ۱ سختگیر تر و شماره ۳ دستودلبازتر است. اما فرمول شماره ۲ (پایایی برای توافق) زمانی استفاده میشود که از نظر پژوهشگر ۳ مشاهدهگر حاضر تنها نمونهای (تصادفی) از جامعه مشاهدهگران هستند و وی قصد دارد نتایج پایایی نمرات را به جامعهای بزرگتر تعمیم دهد. در این حالت قضاوت در مورد سختگیری و دست و دلبازی این سه مشاهده گر لزوما به جامعه بزرگتر قابل تعمیم نیست، و فی نفسه اهمیتی ندارد. در نتیجه برای پژوهشگر توافق (agreement) و نه همخوانی (consistency) میان نمرات اهمیت مییابد.
ادامه در مطلب بعد….
