پایایی(reliability)، قسمت اول: نگاهی دوباره به مفهومی قدیمی

سلام! مدتهاست که حس و وقت وبلاگ نویسی ندارم. در چراییش البته بحث زیاده، اما فکر میکنم این عدم تمایل با جریان مشابهی که در خیلی از دوستان وبلاگ نویس آماتوردیدم همزمان شده. شاید وبلاگ رو دیگر مدیای جذابی نمیبینیم. شاید سوشال نت ورک ها ریوارد بیشتری به نویسنده میدهند. شاید در خودم جرات و جسارت چندانی برای اکسپلوریشن زمینه های ناشناخته نمیبینم و …

چند پست آینده رو اختصاص میدم به سری مقالات آموزشی که در مورد مفاهیم «روایی» و «پایایی» نوشتم. راستش از ابتدا هم چندان برنامه و موتیویشنی برای چاپشون در مجلات فارسی نداشتم، اما وبلاگ رو در هر حال مدیای چندان معتبری برای این جور مسايل نمیدونستم. در نتیجه مقالات رو برای سردبیر Iranian Journal of Medical Education فرستادم. در کمال تعجب هیچگونه جوابی دریافت نکردم. حالا این میتونه به این دلیل باشه که اصولن سردبیر محترم ای میل خودش رو چک نمیکنه، یا اون منشی که براش چک میکنه علاقه ای به مقاله نداشته، مجله شورای سردبیری نداره، و یا هر علت غیرحرفه ای دیگری! تنها نتیجه ش این شده که به اسپم لیست این ژورنال محترم اضافه شدم و برام هر ماه فهرست مطالب مجله ای میل میشه و هیچ آپشنی هم برای آنسابسکرایب وجود نداره!!

***

توجه: چند مطلب آینده در مورد مفهوم «پایایی» یا reliability است. این مطلب مورد علاقه کسانی است که در زمینه پژوهش های مرتبط به آموزش و نظرسنجی فعالیت میکنند و یا دستی در ساختن ابزارهای تشخیص و سنجش دارند. اگر به این موضوعات علاقه ای ندارید احتمالن حوصله تان سر میرود!

اگر این مقالات رو مفید یافتید و احیانن خواستید در مقاله ای جایی از محتواش استفاده بکنید لطفن لطفن به این وبلاگ رفرنس بدید. در غیر این صورت دزدی علمی محسوب میشود!

***

پایایی(reliability)، قسمت اول: نگاهی دوباره به مفهومی قدیمی 

آنچه که از پایایی می‌دانید:

مفاهیم پایایی (reliability) و روایی (validity) مفاهیمی آشنا هستند. بسیاری از ما تجربه تعیین این شاخصها برای ابزاری جدید را داشته‌ایم، و بسیاری دیگر متون علوم پزشکی را برای یافتن ابزاری با روایی و پایایی بالا جستجو کرده‌ایم. اما توافق جامعی بر سر تعریف این شاخصها و چگونگی سنجش آنها وجود ندارد. شاید از نظر بسیاری پیچیدگی مفهوم پایایی از روایی کمتر بوده و روشهای آماری آشناتری برای سنجش آن وجود داشته باشد. پایایی یک ابزار یا تست، معمولا به صورت احتمال دستیابی به نتایج مشابه در صورت بکار‌گیری ابزار در شرایط مشابه تعریف می‌شود. این شرایط مشابه می‌توانند به‌کارگیری ابزار توسط مشاهده‌گران مختلف (inter-observer reliability)، تکرار به‌کارگیری ابزار در فاصله زمانی مشخص توسط یک مشاهده‌گر (intra-observer reliability)، و یا حالتهای دیگر باشد. برای سنجش آماری این تشابه نتایج معمولا از آماره‌های مختلف و متنوعی مانند کاپا (Kappa)، آلفای کرونباخ (Cronbach’s alpha) و ضریب همبستگی پیرسون (Pearson’s correlation coefficient) استفاده می‌شود. با این حال، تعاریف و روش‌های  فوق‌الذکر با وجود کثرت استفاده و عمر طولانی خود همه ابعاد مفهوم پایایی را دربر‌نمی‌گیرند. در این مقاله قصد دارم به مفهوم پایایی و شایع‌ترین سوءبرداشت‌ها از آن نگاهی دقیق تر بیاندازم، اما از آنجا که بسیاری از این سوء برداشت‌ها ریشه‌ای عمیقتر از صرفا برداشت غلط از مفهوم پایایی دارد و از نوع نگاه به پژوهش سرچشمه می‌گیرد، در ابتدا به معرفی دو نگاه متفاوت به پژوهش و تبعات آنها می‌پردازم.

دو نگاه به مقوله پژوهش:

سالهاست که به عنوان پژوهشگران حوزه سلامت، مطالعات تجربی و کارآزمایی های بالینی را می‌شناسیم؛ مطالعاتی که به دنبال یافتن اثر یک مداخله درمانی در جامعه مشخصی از بیماران مشابه هستند. اهمیت مطالعات تجربی در پژوهشهای بهداشتی به حدی است که در طول سالیان اخیر به لقب سطح یک شواهد و استاندارد طلایی پژوهشهای بهداشتی مفتخر شده‌اند (۱). در یک پژوهش تجربی ایده‌آل، پژوهشگر اثر یک مداخله مشخص و ثابت را در گروهی یکسان از افراد کاملا مشابه (که از غربال معیارهای ورود و خروجی سختگیرانه گذشته‌اند) می‌سنجد. در این میان، هر گونه تفاوت بین فردی‌ یا نتیجه مداخله‌ است و یا حاصل تصادف (random error).

لی کرونباخ (Lee J. Cronbach) پژوهشگر نام‌آشنا در مقاله کلاسیک خود در سال ۱۹۵۷ برای نخستین بار به معرفی دو نوع نگاه متفاوت در پژوهشهای روانشناسی پرداخت، که به جرأت می‌توان گفت که به کل پژوهشهای بهداشتی قابل تعمیم است (۲). عرصه اول پژوهش تجربه-محور (experimental)است، که چنانکه گفتیم به جستجوی تاثیر یک مداخله کنترل شده مشخص در شرایط یکسان‌سازی شده آزمایشگاهی می‌پردازد. برای این گروه آنچه مهم است همان اثر نهایی است که می‌تواند تفاوت میانگین نمره و یا خطر نسبی یک واقعه در دو گروه مورد مطالعه باشد. در چارچوب چنین مطالعه‌ای، مفهوم تفاوت‌های بین فردی در نظر گرفته نمی‌شود. مداخله مورد نظر قرار است در همه افراد به طور یکسان اثر کند و هر تفاوتی از این حالت به خطای تصادفی یا جهت دار (و بطور کلی خطا یا error) نسبت داده می‌شود. عرصه دوم را وی پژوهش همبستگی-محور (correlational) نامیده است. برخلاف پژوهشگر تجربه-محور که به تفاوتهایی که خود در شرایط کنترل شده ایجاد کرده علاقه‌مند است، این عرصه به تفاوتهای موجود میان افراد و گروههای جامعه علاقه‌مند است. در این عرصه پژوهشگر به دنبال یکسان‌سازی مصنوعی افراد مورد مطالعه نیست، بلکه به دنبال یافتن تاثیر متفاوت درمان مورد مطالعه در زیرگروهها و چرایی آن است. پژوهشگر این عرصه به اثر اصلی (main effect) علاقه‌ای ندارد، و متغیر مورد علاقه‌اش همانی است که پژوهشگر تجربه-محور به نام خطا (error) می‌شناسد.

یک مثال این تفاوت بنیادی دو عرصه را روشن تر می‌کند. در مطالعه ای تاثیر یک مداخله تغییر روش زندگی (life style) را در بیماران دیابتی می‌سنجیم. اگر با نگاه تجربه-محور به مساله نگاه کنید سوال شما این است: آیا مداخله آموزشی تغییر روش زندگی در کنترل بیماری و پیش‌گیری از عوارض بیماری در بیماران مبتلا به دیابت موثر است؟ پاسخ را در یک کارآزمایی بالینی خواهید یافت.  نمونه‌ای از بیماران دیابتی مشابه را به دو گروه همسان تقسیم می‌کنید، گروه مداخله و گروه شاهد. در نهایت میانگین HbA1C را در دو گروه مداخله و شاهد مقایسه می‌کنید. با فرض عدم وجود مداخله‌گر قابل توجه، تمام تفاوت‌های بین فردی در هر گروه ناشی از خطای تصادفی است که آن را با شاخص انحراف معیار نشان می‌دهید. هرچه تفاوت میانگین دو گروه (signal) بیشتر و انحراف معیار متغیر در گروهها (noise) کمتر باشد تاثیر مداخله بیشتر است و شما به پاسخ سوال خود نزدیکترید. حال بیایید با نگاه پژوهشهای همبستگی-محور به مساله نگاه کنیم. سوال مطالعه شما شبیه موارد زیر است: آیا تاثیر مداخله تغییر روش زندگی در بیمارن دیابتی به سن، جنس، نوع دیابت، سطح تحصیلات، چگونگی آموزش و … مرتبط است؟ برای پاسخ مناسبتر به هرکدام از این سوال‌ها به جامعه‌ای ناهمگونتر احتیاج دارید. شما بیماران دیابتی‌ای با سطح تحصیلات، شدتهای مختلف بیماری، سن و جنس متفاوت و … می‌خواهید که تاثیر افتراقی روشهای مختلف تغییر شیوه زندگی را در آنها بسنجید. همانطور که می‌بینید پاسخ به این سوال‌ها لزوما از یک کارآزمایی بالینی با بیمارانی همسان و درمان‌هایی همسان شده حاصل نمی‌شود. هرچه تفاوتها و ناهمگونی‌ها (variations) بیشتر باشند روابط بیشتری قابل استخراج و کشف است. این ناهمگونی‌ها (یا واریاسیونها) نمودی از همان شاخص خطا یا انحراف معیاری هستند که ما در نگاه تجربه-محور آن را پارازیت (noise) نامیدیم. تکرار این مطلب بی‌ضرر است که خطای مطالعه تجربه-محور، همان تاثیر (effect) مورد نظر در مطالعه‌ همبستگی-محور است.

ادامه در مطلب بعدی…