روایی در تحقیق: انواع آن

در تحقیقات ،اعتبار یا روایی یعنی تا چه حد یک آزمون یا ابزار اندازه گیری دقیقاً آنچه را که در نظر گرفته شده است اندازه گیری می کند. روایی تضمین می کند که یافته های تحقیق اصیل و واقعی هستند و ناشی از عوامل خارجی نیستند. در نوشتن نتایج مقاله و بعدا بحث مقاله، روایی نقش بسیار پررنگی دارد.

روایی را می توان بر اساس روایی داخلی و خارجی یا به طرق دیگر به انواع مختلفی دسته بندی کرد که در این مقاله می بینیم.

مفهوم اعتبار توسط کلی (1927، ص 14) صورت بندی شد: او بیان کرد که یک آزمون زمانی معتبر است که آنچه را که ادعا می کند اندازه گیری می کند، واقعا اندازه گیری کند. به عنوان مثال، یک آزمون هوش باید هوش را اندازه گیری کند نه چیز دیگری (مانند حافظه).

همان طور که در تصویر بالا می بینید، روایی چهار دسته اصلی روایی معیار، روایی صوری/ظاهری، روایی محتوا، و روایی سازه دارد. روایی معیار هم خودش سه زیرشاخه روایی پیش بین، روایی همزمان، و روایی پسابینی (postdictive) است. در نهایت روایی سازه دو زیرمجموعه روایی تمایز و روایی همگرا دارد.

روایی درونی و روایی بیرونی در پژوهش

روایی درونی به این اشاره دارد که آیا اثرات مشاهده شده در یک مطالعه ناشی از دستکاری متغیر مستقل است و نه برخی از عوامل مخدوش کننده دیگر.

به عبارت دیگر بین متغیرهای مستقل و وابسته رابطه علی وجود دارد.

اعتبار داخلی را می توان با کنترل متغیرهای خارجی، با استفاده از دستورالعمل های استاندارد، متعادل کردن، و حذف ویژگی های تقاضا و اثرات محقق بهبود بخشید.

اعتبار خارجی به میزانی اشاره دارد که نتایج یک مطالعه را می توان به سایر بسترها (اعتبار زیست محیطی)، افراد دیگر (اعتبار جمعیت) و در طول زمان (اعتبار تاریخی) تعمیم داد. اعتبار خارجی را می توان با تنظیم آزمایش ها به طور طبیعی تر و استفاده از نمونه گیری تصادفی برای انتخاب شرکت کنندگان بهبود بخشید.

انواع روایی در روانشناسی

برای ارزیابی اعتبار آزمون از دو دسته اصلی روایی استفاده می شود (یعنی پرسشنامه، مصاحبه، تست هوش و غیره): محتوا و معیار.

1. روایی محتوا یعنی تا چه میزان یک آزمون یا اندازه گیری تمام جنبه های حوزه محتوای مورد نظر را نشان می دهد. در واقع ارزیابی می کند که آیا موارد آزمون به اندازه کافی موضوع یا مفهوم را پوشش می دهند یا خیر.
2. روایی معیار، عملکرد یک آزمون را بر اساس همبستگی آن با یک معیار یا نتیجه خارجی شناخته شده ارزیابی می کند. می توان آن را بیشتر به اعتبار همزمان (اندازه گیری همزمان) و پیش بینی (اندازه گیری عملکرد آینده) تقسیم کرد.

روایی محتوا

اعتبار محتوا، ارزیابی می‌کند تا چه میزان موارد یا سوالات موجود در یک ابزار اندازه‌گیری، به طور کافی، کل طیف محتوا یا سازه مورد اندازه‌گیری را نشان می‌دهند. در واقع ارزیابی می‌کند که آیا ابزار اندازه‌گیری به طور جامع دامنه مورد نظر را پوشش می‌دهد یا خیر. روایی محتوا مربوط به مرتبط بودن، نمایندگی و جامعیت موارد یا سوالات موجود در یک معیار است. اساساً، ارزیابی می‌کند که آیا محتوای ابزار اندازه‌گیری با سازه یا مفهومی که قصد اندازه‌گیری آن را دارد، همسو است یا خیر.

مثال‌هایی از اعتبار محتوا

1. آزمون تحصیلی: یک معلم، آزمونی را برای ارزیابی دانش دانش‌آموزان در یک موضوع خاص، مانند ریاضیات، تهیه می‌کند. برای ایجاد اعتبار محتوا، معلم اطمینان حاصل می‌کند که سوالات آزمون، تمام موضوعات مرتبط و اهداف یادگیری مشخص شده در برنامه درسی را پوشش می‌دهد.
2.  ارزیابی عملکرد کارکنان: یک شرکت، یک فرم ارزیابی عملکرد کارکنان را برای ارزیابی شایستگی‌های مختلف مرتبط با شغل، مانند مهارت‌های ارتباطی و توانایی‌های حل مسئله، ایجاد می‌کند. برای نشان دادن اعتبار محتوا، شرکت اطمینان حاصل می‌کند که معیارهای ارزیابی، تمام جنبه‌های اساسی عملکرد شغلی مربوط به موقعیت را در بر می‌گیرد.
3. پرسشنامه ارزیابی سلامت: یک ارائه‌دهنده خدمات درمانی، پرسشنامه‌ای را برای ارزیابی وضعیت کلی سلامت بیماران، از جمله سلامت جسمی، روانی و عاطفی، طراحی می‌کند. برای تعیین اعتبار محتوا، ارائه‌دهنده خدمات درمانی اطمینان حاصل می‌کند که موارد پرسشنامه طیف گسترده‌ای از حوزه‌های مرتبط با سلامت، مانند علائم، عوامل سبک زندگی و شاخص‌های کیفیت زندگی را پوشش می‌دهد.

نقاط قوت و ضعف روایی محتوا

روایی معیار

روایی یا اعتبار معیار به میزان همبستگی نمرات به دست آمده از یک ابزار اندازه‌گیری با نمرات به دست آمده از سایر معیارها یا ملاک‌های تثبیت‌شده که همان سازه را ارزیابی می‌کنند، اشاره دارد. این اعتبار ارزیابی می‌کند که آیا ابزار اندازه‌گیری به طور دقیق یک معیار خارجی را پیش‌بینی می‌کند یا با آن همبستگی دارد. اعتبار معیار به نشان دادن این موضوع مربوط می‌شود که نمرات به دست آمده از یک ابزار اندازه‌گیری جدید با نمرات به دست آمده از معیارها یا ملاک‌های تثبیت‌شده که همان سازه یا مفهوم را ارزیابی می‌کنند، سازگار است.

مثال‌هایی از اعتبار معیار

اعتبار پیش‌بینی‌کننده آزمون ورودی دانشگاه: یک دفتر پذیرش دانشگاه، یک آزمون ورودی استاندارد را برای دانشجویان آینده برگزار می‌کند. برای تعیین اعتبار پیش‌بینی‌کننده، دفتر پذیرش عملکرد تحصیلی دانشجویان پذیرفته‌شده را در طول سال اول دانشگاه پیگیری می‌کند و همبستگی بین نمرات آزمون ورودی آنها و نمرات بعدی آنها را بررسی می‌کند.

اعتبار همزمان یک مقیاس افسردگی: یک محقق مقیاس جدیدی را برای ارزیابی علائم افسردگی ایجاد می‌کند و آن را بر روی نمونه‌ای از افراد مبتلا به افسردگی اجرا می‌کند. برای نشان دادن روایی همزمان، محقق نمرات به‌دست‌آمده از مقیاس جدید را با نمرات به‌دست‌آمده از یک ابزار سنجش افسردگی معتبر، مانند پرسشنامه افسردگی بک، که به‌طور همزمان برای همان شرکت‌کنندگان اجرا شده است، مقایسه می‌کند.

نقاط قوت و ضعف روایی معیار

روایی/اعتبار صوری یا ظاهری

اعتبار صوری صرفاً این است که آیا آزمون (در ظاهر) به نظر می رسد که آنچه را که ادعا می‌کند اندازه گیری، واقعا اندازه می گیرد یا خیر. این معیار کمترین پیچیدگی را در اعتبار مرتبط با محتوا دارد و یک ارزیابی سطحی و ذهنی بر اساس ظاهر است.

گفته می‌شود آزمون‌هایی که هدف آن‌ها حتی برای پاسخ‌دهندگان ساده و عامی روشن است، اعتبار صوری بالایی دارند. بر این اساس، آزمون هایی که در آنها هدف نامشخص است، اعتبار صوری پایینی دارند (Nevo، 1985).

اندازه گیری مستقیم اعتبار صوری با درخواست از افراد برای ارزیابی اعتبار یک آزمون آنطور که به نظر می رسد به دست می آید. این ارزیاب می تواند از مقیاس لیکرت برای ارزیابی اعتبار صوری استفاده کند.

به عنوان مثال:

این آزمون برای یک هدف خاص بسیار مناسب است

آزمون برای این منظور بسیار مناسب است.

آزمون کافی است

آزمون ناکافی است

آزمون نامربوط و در نتیجه نامناسب است

انتخاب افراد مناسب برای امتیاز دادن به یک آزمون مهم است (به عنوان مثال، پرسشنامه، مصاحبه، تست هوش و غیره). به عنوان مثال، افرادی که واقعاً در این آزمون شرکت می کنند، در موقعیت مناسبی برای قضاوت در مورد اعتبار صوری آن هستند.

همچنین، افرادی که با این آزمون کار می کنند می توانند نظر خود را ارائه دهند (به عنوان مثال، کارفرمایان، مدیران دانشگاه، کارفرمایان). در نهایت، محقق می‌تواند از اعضای عموم علاقه‌مند به آزمون (مثلاً والدین آزمایش‌شدگان، سیاستمداران، معلمان و غیره) استفاده کند.

اعتبار صوری یک آزمون را تنها در صورتی می توان سازه قوی در نظر گرفت که سطح توافق معقولی بین ارزیاب ها وجود داشته باشد.

لازم به ذکر است که وقتی رتبه‌بندی توسط یک «متخصص» انجام می‌شود، باید از اصطلاح اعتبار صوری اجتناب شود، زیرا روایی محتوا مناسب‌تر است.

داشتن اعتبار صوری به این معنا نیست که یک آزمون واقعاً آنچه را که محقق قصد اندازه گیری آن را دارد اندازه گیری می کند، بلکه فقط در قضاوت ارزیاب هاست که به نظر می رسد این کار را انجام می دهد. در نتیجه، معیاری خام و بدوی از اعتبار است.

یک آیتم آزمایشی مانند “من اخیراً به خودکشی فکر کرده ام” دارای اعتبار صوری آشکار به عنوان آیتمی برای اندازه گیری شناخت خودکشی است و ممکن است هنگام اندازه گیری علائم افسردگی مفید باشد.

با این حال، مفهوم آیتم‌ها در آزمون‌هایی با اعتبار صوری واضح این است که آنها در برابر سوگیری مطلوبیت اجتماعی آسیب‌پذیرتر هستند. افراد ممکن است پاسخ های خود را دستکاری کنند تا مشکلات را انکار یا پنهان کنند یا در رفتارها اغراق کنند تا تصویری مثبت از خود ارائه دهند.

ممکن است یک آیتم آزمایشی فاقد اعتبار صوری باشد، اما همچنان اعتبار کلی داشته باشد و آنچه را که ادعا می کند اندازه گیری می کند، اندازه گیری کند. این نکته خوبی است زیرا ویژگی های خواسته شده (demand characteristics) را کاهش می دهد و دستکاری پاسخ ها را برای پاسخ دهندگان سخت تر می کند.

به عنوان مثال، آیتم آزمایشی “من به آمدن دوم مسیح اعتقاد دارم” فاقد اعتبار ظاهری به عنوان معیار افسردگی است (زیرا هدف مورد نامشخص است). این آیتم در اولین نسخه از پرسشنامه شخصیت چند فازی مینه سوتا (MMPI) ظاهر شد و در مقیاس افسردگی بارگذاری شد.

از آنجایی که بیشتر نمونه هنجاری اولیه MMPI مسیحیان خوبی بودند، فقط یک مسیحی افسرده فکر می‌کرد که مسیح برنمی‌گردد. بنابراین، برای این نمونه مذهبی خاص، آیتم دارای اعتبار کلی است اما اعتبار صوری ندارد.

نقاط قوت و ضعف روایی ظاهری

روایی پیش بین یا پیش بینی کننده

روایی پیش‌بین ارزیابی می‌کند که یک آزمون تا چه اندازه معیاری را که در آینده رخ خواهد داد، پیش‌بینی می‌کند. در واقع توانایی آزمون را برای پیش بینی عملکرد یک فرد بر اساس معیار مربوطه که در زمان بعدی اندازه گیری می شود، اندازه گیری می کند. این کارآیی آزمون را در پیش بینی نتایج یا نتایج واقعی بعدی می سنجد.

به عنوان مثال، ممکن است بر اساس یک تست هوش جدید پیش بینی شود که افراد با نمرات بالا در سن 12 سالگی به احتمال زیاد چندین سال بعد مدرک دانشگاهی را دریافت می کنند. اگر پیش‌بینی به وجود آمده باشد، آن‌گاه آزمون اعتبار پیش‌بینی دارد.

روایی همزمان (یعنی در یک زمان رخ می دهد)

روایی همزمان ارزیابی می کند که چگونه نتایج یک آزمون با نتایج یک معیار از قبل ایجاد شده و پذیرفته شده مرتبط است، زمانی که هر دو به طور همزمان اجرا می شوند. این نوع روایی به تعیین اینکه آیا یک معیار جدید بازتاب خوبی از یک معیار ثابت است بدون انتظار برای مشاهده نتایج در آینده کمک می کند.

اگر آزمون جدید با مقایسه با یک معیار موجود تأیید شود، اعتبار همزمان داریم.

اغلب، یک آزمون هوشی یا شخصیتی جدید ممکن است با یک آزمون قدیمی‌تر اما مشابه که قبلاً اعتبار خوبی دارد، مقایسه شود.

روایی پس بین (Postdictive)

اعتبار پس‌بینی نشانه‌ای از این است که یک آزمون چقدر می‌تواند برای پیش‌بینی ارزش نتیجه‌ای که قبل از آزمون گرفته شده است، استفاده شود (Gagnon & Barber, 2018). فرض کنید شرکت A به معدل دانشگاهی همه کارمندان خود دسترسی دارد و همچنین از کارمندان خود می‌خواهد که در اولین روز کاری‌شان در آزمون Brainy Bowl شرکت کنند. اگر بتوانید از Brainy Bowl برای پیش‌بینی معدل کارمندی که در دانشگاه کسب کرده است (نمره‌ای که قبلاً دریافت کرده‌اند) استفاده کنید، آزمون Brainy Bowl دارای اعتبار پس‌بینی در نظر گرفته می‌شود.

روایی سازه

روایی سازه ارزیابی می کند که یک آزمون یا اندازه گیری چقدر یک مفهوم نظری انتزاعی را که به عنوان سازه شناخته می شود، نشان می دهد و به تصویر می کشد. در واقع نشان‌دهنده درجه‌ای است که آزمون به‌طور دقیق ساختاری را که قصد اندازه‌گیری آن را دارد، منعکس می‌کند، که اغلب از طریق روابط با سایر متغیرها و معیارهایی که از لحاظ نظری به سازه مرتبط است، ارزیابی می‌شود.

روایی سازه توسط کرونباخ و میل (1955) ابداع شد. این نوع اعتبار مربوط به محتوا، یعنی تا چه میزان یک آزمون سازه یا ویژگی نظری خاصی را در بر می گیرد و با برخی از جنبه های دیگر اعتبار همپوشانی دارد.

اعتبار ساختاری به این سوال ساده و فکت-محور مربوط نمی شود که آیا آزمون یک ویژگی را اندازه می گیرد یا خیر. در عوض، دغدغه اش در مورد این سوال پیچیده است که آیا تفاسیر نمره آزمون با یک شبکه نام شناسی شامل اصطلاحات نظری و مشاهده ای سازگار است یا خیر (Cronbach & Meehl, 1955).

برای آزمایش اعتبار سازه، باید نشان داده شود که پدیده مورد سنجش واقعاً وجود دارد. بنابراین، برای مثال، اعتبار ساختاری یک آزمون برای هوش به یک مدل یا نظریه هوش بستگی دارد.

روایی سازه مستلزم نشان دادن قدرت چنین سازه ای برای توضیح شبکه ای از یافته های تحقیق و پیش بینی روابط بیشتر است.

هر چه محقق بتواند شواهد بیشتری برای اعتبار سازه آزمون نشان دهد، بهتر است. با این حال، هیچ روش واحدی برای تعیین اعتبار سازه یک آزمون وجود ندارد.

در عوض، روش‌ها و رویکردهای مختلف برای ارائه اعتبار ساختار کلی یک آزمون ترکیب می‌شوند. برای مثال می توان از روش های تحلیل عاملی و همبستگی استفاده کرد.

نقاط قوت و ضعف روایی سازه

روایی همگرا

روایی همگرا زیرشاخه ای از اعتبار سازه است. میزان ارتباط دو معیاری را که به لحاظ نظری باید مرتبط باشند، ارزیابی می کند.

در واقع نشان می دهد که معیارهای سازه های مشابه همبستگی بالایی دارند. این کار کمک می کند تا تأیید کنیم که یک آزمون با نشان دادن همسویی آن با سایر آزمون های طراحی شده برای اندازه گیری همان سازه ها یا سازه های مشابه ، ساختار مورد نظر را به دقت اندازه گیری می کند.

برای مثال، فرض کنید دو مقیاس مختلف برای سنجش عزت نفس استفاده می شود:

مقیاس A و مقیاس B. اگر هر دو مقیاس به طور موثر عزت نفس را می سنجند، در آن صورت افرادی که در مقیاس A نمره بالایی می گیرند باید در مقیاس B نیز امتیاز بالایی داشته باشند و افرادی که در مقیاس A نمره پایینی دارند باید به طور مشابه در مقیاس B نمره پایینی کسب کنند.

اگر نمرات این دو مقیاس همبستگی مثبت قوی را نشان دهند، آنگاه شواهدی را برای روایی همگرا فراهم می‌کند زیرا نشان می‌دهد که به نظر می‌رسد هر دو مقیاس ساختار زیربنایی عزت نفس را اندازه‌گیری می‌کنند.

روایی تمایز یا روایی واگرا

روایی تمایز، که به عنوان روایی واگرا نیز شناخته می‌شود، میزانی است که یک معیار با معیارهای سازه‌های مختلف و غیرمرتبط همبستگی قوی ندارد.

در اینجا، یک سازه یک رفتار، نگرش یا مفهوم است، به ویژه مفهومی که مستقیماً قابل مشاهده نیست.

• روایی تمایز یکی از انواع شواهد متعددی است که برای ارزیابی روایی سازه استفاده می‌شود.
• روایی تمایز برای اطمینان از اینکه یک معیار، سازه مورد نظر را ارزیابی می‌کند و از سایر سازه‌های مرتبط اما متفاوت متمایز است، بسیار مهم است.
• این امر به محققان کمک می‌کند تا با نشان دادن اینکه اثرات مشاهده شده مختص سازه مورد نظر هستند و نه به دلیل تأثیر سایر متغیرهای مخدوش‌کننده، از تفسیر نادرست نتایج جلوگیری کنند.

مطالب مرتبط مفید

روایی بیرونی

اعتبار یا روایی درونی در تحقیق

روایی معیار