روایی محتوا(Content Validity) چیست؟ |تعاریف و مثال ها

روایی محتوا(Content Validity) بررسی می کند که تا چه میزان ابزار (مثال تست) همه ی بخش های یک سازه(construct) که برای اندازه گیری آن در نظر گرفته شده است، پوشش می دهد. حالا، یک سازه(construct) همان یک مفهوم نظری(theoretical concept)، مقوله(theme) و یا ایده(idea) است که به ویژه می تواند به مقوله ای اشاره کند که نمی توان آن را به صورت مستقیم اندازه گیری کرد.

انواع روایی محتوا(Content Validity)

روایی محتوا(Content Validity) یکی از 4 نوع ابزارهای اندازه گیری روایی است. سه مورد دیگر عبارتند از:

1-روایی صوری(Face validity): این سوال را بررسی می کند که آیا محتوای آزمون برای اهدافی که درنظر گرفته شده است، مناسب است یا خیر؟

2-روایی شاخص(Criterion validity): به این سوال بررسی می کند که آیا نتایج به درستی متغیرهای برون داد(outcome) که برای آن ابزارها طراحی شده است را اندازه گیری می کند یا خیر؟

3- روایی شاخص (Construct validity): آیا آزمون انتخاب شده در پژوهش، مفهومی که برای اندازه گیری مدنظر پژوهشگر است را اندازه گیری می کند یا خیر؟

مثالی از روایی محتوا(Content Validity) در امتحانات

یک نویسنده آزمونی می خواهد بررسی کند که آیا افراد دانش نظری(theoretical knowledge) کافی برای دریافت گواهی نامه راهنمایی و رانندگی(driver’s license) دارد یا خیر. این آزمون باید دارای روایی محتوا(Content Validity)  باشد اگر سوالاتی که مطرح شده است دقیقا موضوعات محتمل در دوره های مرتبط به قوانین ترافیک(traffic rules) را پوشش می دهد. از طرفی دیگر، این آزمون باید همه سوالات متفرقه که مرتبط با دریافت گواهی نامه راهنمایی و رانندگی(driver’s license) نیستند را تفکیک نموده و کنار بگذارد.

مثال هایی از روایی محتوا(Content Validity)

تعدادی از سازه ها را می توان به طور مستقیم مشاهده کردو قابل لمس هستند. درنتیجه، به راحتی قابل اندازه گیری هستند. برای مثال، اندازه گیری ارتفاع(height) بر حسب اینچ(inches). سازه های دیگری نیز در پژوهش وجود دارند که به سختی قابل اندازه گیری هستند. برای مثال، افسردگی(Depression) شامل ابعاد متعددی بود و نمی توانیم به راحتی و مستقیم آن را ارزیابی و اندازه گیری کنیم.

مثالی از روایی محتوا(Content Validity) در رشته روانشناسی

پژوهش های روانشناسی(Psychological research) اغلب اوقات از ابزارهای غربالگری توسعه یافته(developing screening tools) برای شناسایی  و تشخیص های بالینی استفاده می کنند. تصور کنید که شما در ارائه یک شاخص برای اندازه گیری دلایل بالینی افسردگی می خواهید شاخصی را طراحی کنید.

زمانی که می خواهید یک شاخص افسردگی(depression scale) طراحی کنید، پژوهشگران باید مشخص کنند که آیا شاخص همه طیف های ابعاد مرتبط به سازه افسردگی اندازه گیری می کند یا اینکه تنها قسمت هایی از آن را در بر می گیرد. برای مثال، یک شاخص افسردگی پیشنهاد شده(a proposed depression scale) تنها ابعاد رفتاری افسردگی (behavioral aspects of depression) را شامل شده و از دیگر ابعاد مهم و تاثیرگذارش، غافل شده است. این یعنی روایی محتوا(Content Validity) و در پژوهش خطر افزایش سو گیری نتایج را افزایش می دهد. مضافا، برای دستیابی به روایی محتوا(Content Validity)، یک میزانی از توافق و اجماع کلی وجود ندارد. برای مثال، در میان کارشناسان در ارتباط با نحوه ارائه یک سازه بخصوصی توافقی جهان شمول وجود ندارد.

روایی محتوا(Content Validity) در آزمون های IQ

اگرچه آزمون های IQ برای شناسایی و ارزیابی میزان هوش و فراست(intelligence) افراد طراحی شده اند، اما اغلب اوقات به دلیل عدم موفقیت در شرایط ماهیت پیچیده انسانی و ابعاد مختلف آن مورد انتقاد قرار گرفته اند. پژوهش ها نشان می دهد که حداقل سه اجزای اصلی برای تشکیل میزان هوش و فراست(intelligence) افراد شناسایی شده است: 1- حافظه کوتاه مدت(short-term memory)، 2-منطق و استدلال (reasoning)، 3-اجزای تحت الالفضی(verbal component). این متن بدین معناست که آزمون های IQ طراحی شده کنونی نمی توانند همه ابعادی که در ارتباط با هوش بشریت(human intelligence) هستند را اندازه گیری نموده و پوشش دهند. درنتیجه، سه آزمون مجزا برای آزمون هریک از ابعاد ذکر شده طراحی شده است. بنابراین، این آزمون ها را می تواند در گروه آزمون های با روایی محتوا(Content Validity) سطح پایین قلمداد کرد.

تفاوت روایی محتوا(Content Validity) و روایی سازه(Construct validity) در یک مثال

شاید به راحتی شما در درک روایی محتوا(Content Validity) و روایی سازه(Construct validity) گیج شوید، اما از پایه و اساس این مفاهیم متفاوت از یکدیگر هستند. روایی سازه(Construct validity) میزان خوب و مطلوب بودن یک آزمون و اینکه چه چیزی را اندازه گیری می کند را ارزیابی می کند. اگر هریک از بخش های سازه دستخوش فراموشی قرار گیرد، و یا بخش های تامرتبط را شامل گردد، آنگاه روایی سازه(Construct validity) تامین نمی شود. بخاطر بسپارید که برای ایجاد یک روایی سازه(Construct validity)، شما باید هر دو روایی همگرا(convergent validity) و روایی واگرا(divergent validity) (که معروف به روایی افتراقی(discriminant) است) در نظر بگیرید.

روایی همگرا(convergent validity): این نوع روایی نشان می دهد که آیا یک آزمون به درستی برای یک سازه بخصوصی طراحی شده و به راحتی میزان همبستگی سازه ها با دیگر سازه های مشابه حاضر در پژوهش را بررسی می کند.

روایی واگرا(divergent- discriminant validity): این روایی نشان می دهد که آیا دو آزمونی که باید دارای عدم همبستگی با دیگر سازه های حاضر در مدل است، دارای عدم همبستگی بوده و واقعا به یکدیگر مرتبط نیستند. حتی نباید یک رابطه معنی دار کوچکی در امتیازات برای دو آزمون که دو بعد مختلف یک سازه را اندازه گیری می کنند، وجود داشته باشد. اگر شما در حال اجرای یک پژوهش تجربی(experimental research) هستید، شما هم باید روایی درونی(internal validity) یعنی سطحی از اطمینان مبنی بر اینکه روابط علی بین متغیرها (causal relationship) وجود دارد و هم روایی بیرونی(external validity) یعنی قابلیت تعمیم نتایج(generalizability of the results) را داشته باشند. از سوی دیگر، روایی محتوا(Content Validity) می تواند در هر حوزه ای که شما یک آزمون طراحی می کنید و یا یک پرسشنامه ای برای یک سازه بخصوصی طرح می کنید، قابل استفاده بود و می توانید در ارتباط با سوالاتی که می خواهید شامل آن باشد را اندازه گیری و تفکیک کنید.

انواع روایی محتوا(Content Validity) در پژوهش

فرض کنید که شما در حال اجرای یک پژوهش هستید که نیارهای سلامتی یک انجمنی را از طریق پرسشنامه طراحی شده اندازه گیری می کنید.

روایی محتوای قوی(High content validity): اگر سوالات پرسشنامه شما همه ابعاد نیازهای سلامتی از قبیل فیزیکی(physical)، ذهنی(mental)، اجتماعی(social) و محیطی(environmental) را پوشش می دهد، پرسشنامه شما دارای سطح بسیار بالایی از روایی محتوای قوی(High content validity) است.

روایی محتوای ضعیف(Low content validity): اگر برخی از ابعاد نیازهای سلامتی حذف گردند، نتایج ممکن نیست یک پیش بینی خوب و دقیقی را از انجمن های نیازهای سلامتی ارائه نمایند.

روایی همگرا قوی(High convergent validity): اگر پاسخ ها به سوالات پرسشنامه تحقیق شما با پاسخ های موجود به پرسشنامه های نیازهای سلامتی موجود بسیار همبستگی داشته و در ارتباط باشند، آنگاه چنین می توان برداشت کرد که ابزارهای اندازه گیری شما احتمالا از روایی همگرا(convergent validity) قوی برخوردار هستند. به هر حال، اطمینان حاصل کنید که برای نشان دادن روایی سازه(Construct validity)، شما باید هر دو روایی واگرا(divergent validity) و روایی همگرا(convergent validity) را گزارش کنید.

روایی افتراقی ضعیف(Low discriminant validity): در بعضی از مواقع پرسش های پرسشنامه شما قویا با شاخص های اندازه گیری در دسترس از نگرش های جامعه در راستای خدمات سلامتی دارای همبستگی بوده و با یکدیگر نزدیک هستند، آنگاه نتایج بدست را نمی توان از یک شاخص معتبر نیازهای سلامتی انجمن ها تلقی کرد. به عبارت دیگر، پرسشنامه شما این طور به نظر می رسد که برای اندازه گیری سازه دیگری(مثل نگرش افراد) تا برای نیازهای سلامتی(health needs) طراحی شده باشد. بنابراین، روایی افتراقی ضعیف(Low discriminant validity) مورد انتظار است.

در هر دو مورد ذکر شده، پرسشنامه دارای روایی افتراقی ضعیف(Low discriminant validity) است.

نحوه اندازه گیری روایی محتوا(Content Validity)

اندازه گیری روایی محتوا(Content Validity) بسیار مهم است- سطح بالایی از روایی محتوا(Content Validity) نشان دهنده ی این است که سازه به صورت دقیق اندازه گیری شده است. شما می توانید روایی محتوا(Content Validity) را در سه گام اصلی اندازه گیری کنید:

گام اول(Step 1): داده هایتان را از خبرگان و کارشناسان مربوطه گردآوری کنید(Collect data from experts).

اندازه گیری روایی محتوا(Content Validity) مستلزم ورودی و نهاده(input) از پنل قضاوتی کارشناسان خبره آن موضوع است. کارشناسان خبره موضوع که به طور خلاصه معروف به SMEs است، شامل افرادی بوده که در بهترین شرایط برای اندازه گیری محتوای یک آزمون قرار گرفته اند. برای مثال،  پنل کارشناس برای یک آزمون ریاضی دبیرستان می تواند شامل احراز صلاحیت معلم ریاضی باشد که موضوع مرتبط با این زمینه را تدریس می کند. برای هریک از سوالات مستقل، این پنل باید این مورد را بررسی کند که آیا اجزایی که از طریق این سوال اندازه گیری می شوند، برای اندازه گیری آن سازه ضروری(essential)، مفید(useful) بوده و یا اینکه نه لازم(not necessary) هستند نه ضروری (not essential). سطح بالایی از توافقات بین لیست های پنل که یک آیتم ویژه ای آن را شامل می شود بالا باشد، آنگاه به همان نسبت روایی محتوا(Content Validity) آن سازه نیز افزایش می یابد. به عنوان یک دانشجو، شاید شما به پنل کارشناسان(panel of experts) دسترسی نداشته باشد. یا شاید درحال نگارش پایان نامه(dissertation) تان هستید و پنل شما بعد از دفاع شما در اختیارتان قرار گیرد. در شرایطی شبیه این، بهتر است از پنل های گروهی(peers) استفاده کنید. مطمئن شوید که در این مرحله به خوبی نوت برداری می کنید.

گام دوم(Step 2): نسبت روایی محتوا(Content Validity) را محاسبه کنید(Calculate the content validity ratio).

در مرحله دوم، شما می توانید از فرمول زیر برای محاسبه نسبت/نرخ روایی محتوا(content validity ratio (CVR)) برای هر سوال استفاده کنید:

Content Validity Ratio = (ne − N/2) / (N/2)

که :

ne= تعداد کارشناسان خبره مرتبط با موضوع در فهرست پنل که به ضروری بودن(essential) دلالت دارد.

N=تعداد کل کارشناسان خبره مرتبط با موضوع در فهرست پنل.

مثالی برای نحوه محاسبه نرخ روایی همگرا(content validity ratio (CVR))

فرض کنید از یک پنل خبرگان 5 نفره برای بررسی وضعیت 7 سوال استفاده می کنید. اولین سوال دارای وضعیت ضروری(essential) بوده که از سوی 4 کارشناس یا خبره، امتیاز دهی شده است. نرخ روایی همگرا(content validity ratio) برای سوال اول از طریق فرمول زیر قابل محاسبه است:

Content Validity Ratio = (ne − N/2) / (N/2) = (4 − 5/2) / (5/2) = 0.6

با استفاده از فرمول مشابه،  شما می توانید نسبت به محاسبه CVR و CVI اقدام کنید.

توجه داشته باشید که این فرمول دو مقدار در بازه بین 1+ و 1- را تولید می کند. مقادیر بالای صفر(0) بیانگر این است که حداقل نصف افراد خبره در ارتباط با آن موضوع خاص بر این نظر اجماع دارند که سوال موردنظر ضروری(essential) است. هر چقدر به 1+ نزدیک شود، به همان نسبت نیز باید روایی محتوا(Content Validity) قوی تری را انتظار داشته باشیم.

به هرحال، توافقات بر اساس توافقات کلی خواهد بود. به منظور تایید بیشتر، می توانید از جدول مقادیر ملاک(critical values) در ادامه استفاده کنید. بسته به تعداد کارشناسان و خبرگان در پنل، نرخ روایی محتوا(content validity ratio (CVR)) برای هر یک از سوالات موردنظر باید به پایین تر از مقدار کمینه سقوط نکرده که معروف به مقدار ملاک قابل قبول(critical value) است.

گام سوم (Step 3): شاخص روایی محتوا(Content Validity) را محاسبه کنید(Calculate the content validity index).

برای ارزیابی روایی محتوا(Content Validity) یک آزمون جامع، شما باید مقدار شاخص روایی محتوا (content validity index) معروف به شاخص CVI محاسبه کنید. شاخص  CVI  همان میانگین امتیاز شاخص CVR برای همه سوالات در آزمون است. بخاطر داشته باشید که هرچقدر مقدار آن به 1 نزدیک تر باشد، بیانگر وجود روایی محتوا(Content Validity) قوی تری است.

اینجا، مثالی برای شما ارائه شده است:

CVI =  (0.6 + 0.2 − 0.2 + 0.2 − 0.2 + 0.6 + 1) / 7 = 0.31

در مقایسه شاخص CVI با مقادیر ملاک برای یک پنل 5 نفر از خبرگان و کارشناسان (0.99)، باید متوجه شده باشید که شاخص CVI بسیار کوچکتر خواهد بود. این بدان معناست که ازمون به درستی آن چیزی که در صدد اندازه گیری آن هستید را اندازه گیری نمی کند. شما باید تصمیم بگیرید تا سوالات با مقدار CVR کمتر را بهبود بخشیده تا قادر باشند مقدار CVI بیشتری را کسب کنند.

پرتکرارترین سوالات در ارتباط با روایی محتوا(Content Validity)