جمع بندي ارزشيابي از آموزش
اجرا ، نمره گذاری و تحلیل آزمونها
شرایط اجرای آزمون
اولین گام در اجرای آزمونهای پیشرفت تحصیلی آماده سازی آزمونها و شرایط اجرای آنهاست . تهیه پرسشنامهها و پاسخنامهها ، ترتیب پشت سر هم قرار گرفتن سوالهای مختلف ، و زمان و مکان آزمون، به دقت فراوان نیاز دارند . مجموعه این عوامل باید به گونه ای باشند که برای هر یک از آزمون شوندگان حداکثر امکانات را ، به منظور بهترین عملکرد فراهم آورند .
ترتیب سوالهای آزمون
ترتیب قرار دادن سوالهای مختلف یک آزمون به دنبال یکدیگر :
1- سوالهای صحیح – غلط
2- سوالهای جور کردنی
3- سوالهای چند گزینه ای
4- سوالهای کوته پاسخ
5- سوالهای تشریحی
علاوه بر گروه بندی سوالها بر حسب نوع ، لازم است سوالهای مختلف هر نوع را نیز بر حسب موارد زیر دسته بندی کنید:
1- سوالهای مربوط به هر طبقه از هدفهای آموزشی مانند : دانش ، کاربرد ، و ... به دنبال هم قرار دهید .
2- سوالها را از ساده به دشوار مرتب کنید .
3- در تنظیم سوالهاي یک آزمون سازمان اصلی مطالب را حفظ کنید .
نوشتن دستور العمل یا راهنمای آزمون :
راهنمای آزمون باید مختصر و مفید باشد و به طور آشکار به آزمون شوندگان بگوید که چه کاری را انجام دهد .
مهرنزولیهان ( 1984 ) گفته اند که راهنمای آزمون باید اطلاعات زیر را در اختیار آزمون شوندگان قرار دهد .
1- زمان لازم برای هر قسمت
2- ارزش هر سوال
3- مجاز یا غیر مجاز بودن حدس زدن
اجرای آزمون
شرایط اجرای آزمون های پیشرفت تحصیلی باید به گونه ای باشد که از هر لحاظ آسایش جسمی و فکری آزمون شوندگان را تأمین نماید علاوه بر شرایط فیزیکی، شرایط درونی آزمون شوندگان نیز بر عملکرد آنان تأثیر دارد مهمترین این عوامل استرس و اضطراب زیاد است . پژوهش ها نشان می دهد اندکی اضطراب سبب افزایش دقت و کوشش آزمون شونده می شود ، اما اضطراب زیاد بر عملکرد او تأثیر منفی دارد .
نمره گذاری :
در نمره گذاری آزمون های عینی دو روش عمده وجود دارد:
الف : احتساب کلیه پاسخهای درست بدون کسر نمره برای حدس زدن
ب : کسر مقداری از نمره برای جبران حدس زدن .
|
نمره اصلاح شده(خام) : R- |
|
W |
|
N-1 |
تعدا پاسخهای درست = R
تعداد پاسخهای غلط = W
تعداد گزینه های هر سوال = N
مثال : فرض کنید که در یک آزمون چهار گزینه ای ( 4=N ) که دارای 50 سؤال است ، دانش آموزی به 45 سؤال پاسخ داده است و از این تعداد 6 سؤال غلط ( 6=W ) و 39 سؤال درست است ( 39=R ) نمره اصلاح شده این دانش آموز برابر است با :
|
37= |
|
39- |
|
6 |
|
1-4 |
البته براي نشان دادن نتايج آزمونهاي چندگزينهاي به صورت درصدي نيز ميتوان از فرمول زير بهره گرفت:
|
نمره اصلاح شده(درصدي) |
تعداد کل سوال ها: T
تعداد پاسخ های غلط: W
تعداد پاسخ های درست: C
حذف پاسخ درست به ازاي پاسخ غلط كه در سوالات چهارگزينهاي 3(يك سوم) درنظر گرفتهميشود. : G
هدف از تحلیل سوالهای آزمون وارسی تك تك سوالها و تعیین میزان دقت و نارسایی های آنها است . در تحلیل سوالهای آزمون نقاط قوت و ضعف یک آزمون و کیفیت تک تک سوالهای آن تعیین می شود . تحلیل پاسخهای آزمون شوندگان اطلاعات تشخیصی لازم را برای بررسی کیفیت یادگیری دانش آموزان و مشکلات آموزشی معلمان فراهم می آورد .
مراحل تحلیل سؤال :
اطلاعات مورد نیاز برای تحلیل سوالهاي یک آزمون ، پاسخهایی هستند که آزمون شوندگان به هر سوال داده اند یعنی باید تعیین شود که در هر سوال چند نفر گزینه های درست را انتخاب کرده اند . هر یک از گزینه های انحرافی چند نفر را به خود جلب کرده است ، چند نفر آن را بی جواب گذاشته اند .
برای این منظور بهتر است از کارت تحلیل سوال استفاده نمود .
نمونه کارت تحلیل سوال :
چهل و هشت نمره از یک مجموعه 100 نمره ای پایین تر از 54 است . چهار نمره معادل 54 است . رتبه درصدی نمره 54 چند است ؟ ( اگر گزینه ب صحیح باشد )
الف : 48
ب : 50
ج : 52
د : 54
1- ضریب دشواری = 35 35=100 × 35/. = ضریب دشواری
2- ضریب تمیز = 3/0 3/0 = = = ضریب تمیز
تعیین گروه بالا و گروه پایین :
برخي متخصصان آزمون سازی[1] پیشنهاد کرده اند اگر تعداد کل برگه های آزمون بین 20 تا 40 نفر هستند 10 برگه بالا و 10 برگه پایین را انتخاب کنید . اگر تعداد کل برگه های شما 20 عدد باشد ، همه آنها به دو دسته بالا و پایین تقسیم خواهند شد . اگر تعداد کل برگه ها کمتر از 20 باشد به دو دسته بالا و پایین تقسیم کنید . در شرایطی که تعداد کل آزمون شوندگان بیش از 40 نفر است ، بهترین رقم برای گروه بالا و پایین 27% کل برگه هاست.
هر قدر ضریب تمیز بزرگتر باشد ، قوه تمیز آن سوال بیشتر و هر قدر این ضریب کوچکتر باشد قوه تمیز آن کمتر است . مثلاً قوه تمیز سوالي 90/0 باشد ، آن سوال آزمون شوندگان قوی و ضعیف را بهخوبی از هم جدا خواهد کرد . اما اگر ضریب تمیز سوالي 10/0 باشد آن سوال از عهده جداسازی دانش آموزان قوی و ضعیف بهخوبی برنخواهدآمد.
رابطه بین ضریب دشواری و ضریب تمیز
تحلیل گزینه های انحرافی
در تحلیل سوالهای آزمون ، علاوه بر تعیین ضریب دشواری و ضريب تمیز برای هر سوال ، بررسی نحوه پراکندگی پاسخهای مربوط به گزینه های انحرافی هر سوال نیز ضروری است . منظور از گزینه های انحرافی ، منحرف کردن آزمون شوندگانی است که جواب دست سوال را نمی دانند . در صورتی یک سوال به خوبی عمل می کند که افراد ضعیف بیشتر از افراد گروه قوی گزینه های انحرافی آن سوال را انتخاب نمایند .
تجدید نظر و اصلاح آزمون :
پس از تعیین ضرایب دشواری و تمیز همه سوالهاي یک آزمون و بررسی گزینه های هر سوال ، باید به اصلاح سوالها و بازنویسی آنهایی که نیاز به تغییر دارند اقدام کرد . سوالهايي که ضریب دشواری آنها بسیار بالا یا بسیار پایین است یا ضریب تمیز آنها خیلی کم است باید مورد تجدید نظر قرار گیرند . همچنین گزینه های انحرافی معیوب نیز باید اصلاح یا عوض شوند .
تحلیل آزمونهای ملاكي
کاربرد ضریبهای دشواری و تمیز به شرح فوق صرفا برای آزمونهای هنجاری یا وابسته به ملاک نسبی مناسب است . اما در آزمونهای ملاکی یا وابسته به ملاک مطلق، این ضریبها مورد استفاده ندارند. نتیجه آرمانی آزمونهای ملاکی این است که در آنها اکثر آزمون شوندگان اکثر سوالها را درست جواب دهند يا بهعبارت دیگر منحنی بهطرف کجی منفی متمايل شود.
ضریب دشواری و تمیز در یادگیری در حد تسلط
بعضی از متخصصان ارزشیابی از آموزش، پیشنهاد می کنند که آزمونهای ملاکی مورد استفاده در سنجش یادگیری در حد تسلط، تنها باید شامل سوالهايي باشند که پس از آموزش مطالب درسی آسان تر از پیش از آموزش آن مطالب باشند . برای تحقق این امر انجام مراحل زیر پیشنهاد شده است :
1- اجرای آزمون پیش از آموزش و پس از آن .
2- محاسبه ضریب دشواری هر سوال برای پیش آزمون و پس آزمون .
3- محاسبه تفاوت ضرایب دشواری سوالهايي پیش آزمون و پس آزمون .
طبق این پیشنهاد :
بهترین سوال آن است که تفاوت ضرایب دشواری قبل و بعد آن 1+ باشد ، یعنی ضریب دشواری سوال پس آزمون 1+ و ضریب دشواری پیش آزمون صفر باشد . بنابراین ، برای مصارف بعدی سوالهايي که دارای تفاوت ضرابی دشواری قبلی و بعدی نزدیک به رقم 1+ هستند انتخاب می شوند.
هنجارها و نیمرخها[2]
هنجارها و نیمرخها روشهایی هستند که به ما کمک می کنند تا سطح موفقیت دانش آموزان را در درسهای مختلف با هم مقایسه کنیم و میزان توفیق آنان را نسبت به یکدیگر بسنجیم.
تعریف هنجار :
اگر برای تفسیر نمره یک دانش آموز نمره او را با نمره یک گروه مرجع مقایسه کنیم، گروه مرجع گروه هنجار است. گروه مرجع از کسانی تشکیل می یابد که به گونه ای شبیه به مخاطب مورد نظر هستند.
نمرات هنجار که به نمرات مشتق هم مشهورند ، دارای انواع مختلفی هستند که معروفترین آنها عبارتند از هنجارهای سنی یا معادل های سنی ، هنجارهای کلاسی یا معادل های کلاسی ،هنجارهای درصدی و نمرات معیار ( استاندارد ).
هنجارهای سنی
هنجارهای سنی بر میانگین یا میانه نمراتی مبتنی هستند که دانش آموزان در سنین مختلف کسب می کنند و به صورت معادلهای سنی نشان داده می شوند . برای مثال اگر دانش آموزانی که 10 سال و ده ماه سن دارند ، در یک آزمون نمره 18 بگیرند ، به این نمره معادل سن 2-10 متعلق می گیرد .
بسیاری از آزمون های نرم شده پیشرفت تحصیلی دارای هنجارهای سنی هستند . در این آزمونها معادل های سنی با عنوان موضوعهای درسی نامگذاری میشوند.مثل؛ سن خواندن ، سن نوشتن، سن حسابكردن و ... .
استفاده از هنجارهای سنی دارای محدودیت هایی است، با اين حال در سطح دبستان بهترین مرحله کاربرد این نوع هنجارها است.
هنجارهای کلاسی :
هنجارهای کلاسی شبیه هنجارهای سنی هستند ، اما در هنجارهای کلاسی از گروههای کلاسی به عنوان گروههای مرجع استفاده می کنند . برای مثال : اگر دانش آموزان گروه نمونهای که کلاس پنجم را شروع کرده اند ، در یک آزمون، ميانگين نمره خام 19 بگیرند ، به این نمره خام معادل کلاسی 50% داده می شود .
هنجارهای سنی نمایی :
برای به دست آوردن شاخص درست تری از نمره متوسط دانش آموزان در یک کلاس معین ، نمرات دانش آموزان خیلی بزرگ یا خیلی کوچک را کنار می گذارند ، و نمره هنجار را تنها برای دانش آموزان سن مورد نظر برای آن کلاس محاسبه می کنند . این نوع هنجار کلاسی محدود شده را هنجار سنی نمایی می نامند .
هنجار سن ذهنی :
هنجار سن ذهنی که اولین بار بوسیله آلفرد بینه معرفی شد نوعی هنجار سنی است که در آزمونهای هوشی به کار می رود . زوش محاسبه سن ذهنی یک دانش آموز شبیه به محاسبه معادلهای کلاسی است . بنابراین ، اگر نمره خام یک دانش آموز در یک آزمون هوشی برابر با میانه نمرات خام کودکان 9 ساله باشد . سن ذهنی او 9 خواهد بود .
هوشبهر ( بهره هوشی ) IQ[3]
در هنجارهای درصدی ، با گروه سنی یا کلاسی خودش یعنی گروهی که منطق می توان او را عضوی از آن دانست مقایسه می شود . در هنجارهای درصدی از رتبه درصدی یا صدکها استفاده می شود .
رتبه درصدي و صدكها
رتیة درصدی و صدک دو اصطلاح مکمل یکدیگرند. رتبه های درصدی عملکرد نسبی آزمون شوندگان را نشان می دهند، در حالی که صدکها به نقاطی برروی توزیع نمرات اشاره می کنند. صدک را معمولاً با علامت P و رتبة درصدی یا رتبة صدکی را با PR نشان می دهد. صدک 50یا P50 همان میانه است که عملکرد متوسط دانش آموز را نشان می دهد. موارد استفاده رتبه درصدی نمره های خام را به نمره هایی تبدیل می کنند که به آسانی تفسیر و به سرعت درک می شوند . رتبه های درصدی اندازه هایی هستند که وضعیت نسبی هر نمره را تعیین میکنند . رتبه درصدی وضعیت فرد را فقط در درون یک جامعه معین مشخص می کند و وقتی دارای معنی است که ماهیت مقایسه گروهی معلوم باشد.
نمره های خام غالباً به طور یکنواخت توزیع نمی شوند به همین دلیل ، رتبههای درصدی نشان دهنده واحدهای مساوی در مقیاس اندازه گیری نیستند . رتبه درصدی بر اساس تعداد نمرههایی که این نمره از آنها بزرگتر است ، محاسبه می شود . چنانچه در نزدیکی نمره ای که قصد محاسبه آن را داریم ، اعداد زیادی وجود داشته باشند یک تغییر جزيی در نمره های خام موجب افزایش چشمگیری در رتبه درصدی می شود . معایب رتبه درصدی شاخص ترتیبی است ، وضعیت نسبی عدد یا فرد را در توزیع تعیین میکند. با استفاده از رتبه درصدی نمی توان مشخص کرد که نمره یک فرد تا چه اندازه از نمره افراد دیگر بهتر است . تغییر جزيی در نمره های درصدی خیلی بالا یا پایین ، موجب اختلاف در نمره های خام می شود . این اختلاف در مقایسه با تغییر در رتبه های دیگر ، بیشتر است ، به عنوان مثال در صورتی که رتبه درصدی 96 به 98 تغییر کند اختلاف ایجاد شده در نمره های خام بیشتر از اختلاف به وجود آمده در اثر تغییر از رتبه 62 به 64 است.
همانطور كه مشخص شد، رتبه درصدی یا رتبه های درصدی نامساوی هستند ، و این عدم تساوی مقایسه افراد مختلف از لحاظ عملکرد با یکدیگر را با دشواری مواجه می سازد . برای رفع مشکل ، متخصصان روانسنجی از روش نمرات معیار که عیب روشهای دیگر را ندارد استفاده می کنند .
معروف ترین نمرات معيار عبارتند از :
1- نمرات Z
2- نمرات T
3- هوشبهر انحرافی
4- نمرات 9 بخشی
نمره Z
آن دسته از نمرات معیار که دارای میانگین صفر و انحراف معیار واحد (1) هستند به نمرات Z شهرت دارند.
برای تبدیل نمرات خام به نمرات Z از فرمول زیر استفاده می شود:
نمره Z به ما نشان می دهند که یک نمره خام به اندازه چه تعداد از واحدهای انحراف معیار بالاتر یا پایین تر از میانگین است .
نمره T[4]
نمرات معیار دیگری که به نمرات T شهرت دارند برای رفع مشکلات نمرات Z ابداع شده اند . مقیاس نمرات T با ضرب نمرات Z در 10 و جمع کردن نمرات خاصل با 500 به دست می آید . بنابراین می توان فرمول محاسبه نمرات T را به صورت زیر نوشت :
50+ ( Z)10= T
مثال : اگر نمرات دو دانش آموز در مقیاس Z برابر 5/0 و 5/1- باشند نمرات آنها در مقیاس T به شرخ زیر خواهد بود .
50+(5/1-)10= T 50+(5/0)10= T
35=50+15- = 55=50+5=
از آنجا که همه نمرات T دارای میانگین 50 و انحراف معیار 10 هستند ، هر نمره T به تنهایی و به طور مستقیم قابل تغییر و استفاده است . برای مثال ، نمره 55 = T حاکی از این است که آن نمره به اندازه نصف انحراف معیار بالای میانگین است ، و نمره 35= T نشان می دهد که آن نمره به اندازه یک و نیم انحراف معیار پایین میانگین قرار دارد.
هوشبهر انحرافي
هوشبهر انحرافی یک هنجار مربوط به نمرات معیار است که دارای میانگین 100 و انحراف معیار 15 یا 16 است . بنابراین ، اگر انحراف معیار 15 باشد معدل هوشبهر انحرافی به قرار زیر است :
100+Z15 = D IQ
هوشبهر انحرافی را مانند نمرات Z و T تغییر می کند . برای مثال : اگر هوشبهر انحرافی دانش آموزی 130 باشد ، این دانش آموز دو انحراف معیار بالاتر از میانگین قرار دارد ( 2=Z و 700=T ) ، یا اگر هوشبهر انحرافی دانش آموزی 855 باشد ، یک انحراف معیار پایین تر از میانگین است ( 1- = Z و 40= T )
نمرات 9 بخشی
نوع دیگری از نمرات هنجار به نام نمرات 9 بخشی (Standard Nine)وجود دارد که به صورت نمرات معیار یک رقمی نشان داده میشود. علت نام گذاری این مقیاس نمرات به 9 بخشی آن است که توزیع این نمرات به 9 بخش محدود میشود.این مقیاس دارای میانگین5 و انحراف معیار 2 است. نیکتو (1983) نمرات 9 بخشی را برای نمرهگذاری آزمونهای آزمونهای تشریحی که ارزشیابی آنها جنبۀ کیفی دارد، به ویژه آزمونهای خواندن و فهمیدن، به شرح زیر پیشنهاد داده است:
9. بسیار عالی ( 4% بالا)
8. عالی(7% بعدی)
7. خیلی خوب(12% بعدی)
6. خوب (17% بعدی)
5. متوسط(20%)
4. نسبتاً ضعیف(17% بعدی)
3. ضعیف(12% بعدی)
2. خیلی ضعیف(7% بعدی)
1. بیش از حد ضعیف(4% آخر)
توزيع نرمال يا بهنجار
توزیع بهنجار نوعی توزیع است که بر منحنی بهنجار منطبق است . منحنی بهنجار یک منحنی زنگوله شکل است که ویژگیهای زیر را داراست :
1- دو قسمت منحنی بهنجار و نسبت به خط وسط منحنی قرینه هستند .
2- در توزیعی که این منحنی معرف آن است اکثر نمره ها در وسط توزیع انباشته شده اند .
3- دو امتداد منحنی بهنجار در بینهایت محور افقی را قطع می کنند .
4- در منحنی بهنجار ، میانگین ، میانه ، و نمابر بر روی هم قرار دارند.
5- در روی این منحنی دو نقطه وجود دارند که در آنها جهت منحنی تغییر می کند . این دو نقطه در فواصل 1 ± انحراف معیار از میانگین قرار دارند .
6- در منحنی بهنجار ، بین انحراف معیارها و نسبت افراد یک رابطه دقیق ریاضی وجود دارد و در هر واحد انحراف معیار ، همیشه یک نسبت ثابت از افراد موجود است .
نیمرخ وسیله ای است که به کمک آن می توان نمرات یک دانش آموز ( یا گروهی دانش آموز ) در دو یا چند درس را با هم مقایسه کرد . این مقایسه به کمک اعداد خام درست نخواهد بود . هدف از ترسیم نیمرخ این است که نتایج را به صورت تصویر یا نمودار نشان دهیم .
نیمرخ یعنی بیان تصویری یا نموداری نتایج ، نیمرخ نقاط قوت و ضعف عملکرد یک فرد را نشان می دهد ، درست همانطور که تصویر یک فرد وضع ظاهری او را نشان می دهد ، نیمرخ نمرات وضع تحصیلی و روانی او را نشان می دهد .
مثال :
برای مقایسه نمره یک دانش آموز در آزمون درس علوم که تنها به 10 سؤال آن جواب داده است با نمره همین دانش آموز در آزمون درسی ریاضی که به 16 سؤال آن پاسخ گفته است ، باید این دو نمره را به نوعی هنجار کلاسی ، سنی یا درصدی تبدیل کنیم تا مقایسه آنها امکان پذیر شود .
بنابراین ، هرگاه تعدادی نمره حاصل از آزمونهای مختلف با آزمونهای فرعی یک آزمون کلی را برای یک دانش آموز به یکی از هنجارها تبدیل کنیم . و این نمرات را در یک نمودار قرار دهیم نیمرخ عملکرد آن دانش آموز را بدست داده ایم .
باید توجه داشت :
تفاوت نمره های یک دانش آموز در آزمونهای مختلف ممکن است ناشی از خطای اندازه گیری آزمونها باشد نه یک تفاوت واقعی . بنابراین تفاوت میان نمرات آزمونها را با احتیاط تفسیر کنیم .
روش دیگر ترسیم نیمرخ نمرات که برای رفع مشکل خطای اندازه گیری پیشنهاد شده است این است که ، به عوض نشان دادن نمرات آزمون به صورت نقطه هایی در روی نیمرخ نمرات ، عملکرد دانش آموز به صورت نوارهایی ترسیم شود که هر نوار به اندازه یک خطای معیار اندازه گیری بالای نمره دانش آموز و یک خطای اندازه گیری پایین آن نمره را شامل شود .
فصل دهم
روایی آزمون
روایی آزمون
متخصصان اندازه گیری و ارزشیابی برای آزمونهای مختلف ویژگیهای زیادی را برشمرده اند ، از جمله می توان عینیت ، سهولت اجرا ، سهولت نمره گذاری ، عملی بودن ، سهولت تعبیر و تفسیر ، روایی و پایایی را نام برد . از میان این ویژگیها آنچه از بقیه مهمترند دو ویژگی روایی و پایایی هستند .
تعریف روایی
سه هدف عمده از آزمونهای مورد استفاده در آموزش و پرورش
1- آیا سئوالهای آزمون از محتوای درس یا موضوع موردنظر یک نمونه خوب ارائه می دهند ؟
2- آیا نمرات آزمون عملکرد فعلی یا آتی دانش آموزان را پیش بینی می کنند ؟
3- آیا نمرات با مفاهیم نظری یا سازه های که آزمون برای سنجش آن درست شده است مربوط می شوند ؟
سه مورد بالا به ترتیب سه نوع روایی محتوا ، پیش بینی و سازه را نشان می دهند .
روایی محتوایی
روایی محتوایی به این مطلب اشاره می کند که نمونه سئوالهای مورد استفاده در یک آزمون تا چه حد معرف کل جامعه سئوالهای ممکن است که می توان از محتوا یا موضوع موردنظر تهیه کرد . هرچه آزمون از این لحاظ بهتر باشد ، دارای روایی بیشتر است . بنابراین ، اگر معلم فیزیک بخواهد برای درس خود یک آزمون پیشرفت تحصیلی روا بسازد ، آزمون او باید در برگیرنده نمونه ای درست و دقیق از مطالب درس فیزیک باشد .
روایی صوری
روایی همزمان
روایی همزمان ، نوعی روایی پیش بینی است که در آن به جای تعیین رابطه بین دو آزمون در یک فاصله زمانی ، رابطه دو آزمون به طور همزمان تعیین می شود . هدف از تعیین روایی همزمان بین دو آزمون این است که معلوم سازیم آیا می توان یک آزمون را به جای آزمون دیگری استفاده قرار داد یا نه ؛ در تعیین روایی همزمان ، هنگام اندازه گیری متغییر پیش بینی ، علاوه بر این متغییر ، متغییر ملاک نیز موجود است .
متخصصان روانسنجی دو نوع روایی پیش بینی و همزمان را با اصطلاح روایی ملاکی معرفی می کنند و بین این دو نوع روایی تمایز چندانی قائل نمی شوند . اما با وجود شباهت زیاد بین این دو نوع روایی ، می توان بین آن دو نوعی تمایز منطقی قائل شد .
روایی پیش بینی ، نمرات آزمون واقعاً برای انجام نوعی پیش بینی بکار می روند ، اما چون در روایی همزمان داده های پیش بینی کننده و پیش بینی شونده همزمان جمع اوری می شوند ، هدف آزمون پیش بینی ، پیش بینی ملاک نیست ، بلکه هدف آن جانشین ساختن آزمون پیش بینی با آزمون ملاک است .
ویژگیهای مطلوب ملاک
شرندایک وهیگن برای داده های ملاکی چهار ویژگی مطلوب ذکر کرده اند :
این ویژگیها به ترتیب اهمیت عبارتند از :
1- ربط داشتن
2- بی طرفی
3- پایایی
4- در دسترس بودن
ربط داشتن
ربط داشتن داده های یک آزمون ملاکی ، با توجه به قابلیت انطباق آن با موفقیت واقعی شخص مورد قضاوت قرار می گیرد . برای اینکار هیچ گونه شواهد تجربی وجود ندارد و باید بر اساس ملاک منطقی تصمیم گرفت .
بی طرفی
منظور از بی طرفی این است که آزمون باید به گونه ای باشد که همه افراد در کسب نمره خوب فرصت مساوی داشته باشند . مثالهای مربوط به عدم بی طرفی ، تفاوت بین تجهیزات و شرایط کار برای کارگران یک کارخانه یا تفاوت بین کیفیت آموش داده شده به دانش آموزان مختلف است .
پایایی
یک آزمون یا یک اندازه پایایی مربوط به موفقت شناسی باید با ثبات و قابل تکرار باشد . اگر این نمره از روزی به روز دیگر تغییر کند ، به طوری که کارگر از روزی به روز دیگر یا از هفته ای به هفته دیگر نمرات متفاوتی بگیرد . در این صورت هیچ آزمونی وجود نخواهد داشت که نمره ملاک را پیش بینی کند .
در دسترس بودن
در دسترس بودن به این معنی است که دستیابی به اندازه ملاک عملی و میسر باشد . این ویژگی را با توجه به زمان ، هزینه و امکانات مورد نیاز مورد قضاوت قرار می دهند . بنابراین ملاکی که به سهولت بیشتر در چهار چوب امکانات سهل تر قابل دسترس باشد ملاک بهتری است .
روایی سازه
یک آزمون در صورتی دارای روایی سازه که نمرات حاصل از اجرای شان به مفاهیم سازه های نظریه مورد نظر مربوط باشند . برای مثال ، یک آزمون یا پرسشنامه اضطراب در صورتی دارای روایی سازه است که نمرات حاصل از آن به سازه هایی که در نظریه های اضطراب آمده اند ارتباط داشته باشد .
تعریف سازه
معنی سازه به معنی مفهوم بسیار نزدیک است . کرلینجر سازه را اینگونه تعریف کرده است :
در سازه یک مفهوم است ، اما سازه یک معنی اضافی بر مفهوم دارد و آن این است که سازه برای مقاصد ویژه ی علمی بطور عمد و از روی آگاهی ابداع می شود . مثالهای سازه : هوش – انگیزش – اضطراب – برون گرایی – درون گرایی
بار علمی + مفهوم = سازه
روشهای تعیین روایی سازه
1- روش تعیین همبستگی آزمون با سایر آزمونهای روا
2- روش تمایز سنی
3- روش تحلیل عوامل
4- روش همسانی درونی
پایایی آزمون
تعریف پایایی
پایایی یک وسیله اندازه گیری به دقت آن اشاره می کند . یک آزمون در صورتی دارای پایایی است که اگر آن را در یک فاصله زمانی کوتاه چندین بار به گروه واحدی از افراد بدهیم نمرات حاصل از این چندین بار اجرا نزدیک به هم باشند .
رابطه بین پایایی و روایی
رابطه بین روایی و پایایی از این قرار است که یک آزمون باید پایا باشد تا بتواند روا باشد . اگر آزمونی در هر بار اجرا در مورد تعدادی دانش آموز نتایج مختلفی بدست بدهد آن آزمون یک آزمون پایا نخواهد بود . پس برای اینکه یک آزمون روا باشد باید پایا باشد ، یعنی پایایی شرط روایی است ، اما روایی بر پایایی ضروری نیست .
برای مقایسه پایایی و روایی در شکل 10-1 نتایج تیراندازی با سه تفنگ مختلف نشان داده است . چنانکه مشاهده می نمایند نتایج تیر اندازی با تفنگ الف هم پایاست و هم روا ، زیرا همه تیرها به هدف خورده اند . نتایج تیر اندازی با تفنگ ب پایا است اما روا نیست ، زیرا تیرها همه تقریباً به یک نقطه اثابت کرده اند اما آن نقطه مورد نظر تیر انداز نیست . نتایج تیراندازی با تفنگ پ نه پایا است و نه روا .
روشهای تعیین پایایی
ایبل پنچ روش تعیین پایایی را معرفی کرده است . این روشها عبارتند از :
1- روش پایایی مصحح
2- روش باز آزمایی
3- روش فرمهای موازی یا هم ارز
4- روش دو نیم کردن آزمون
5- روش کودر - ریچاردسون
روش پایایی مصحح
برای تعیین پایایی آزمونهای تشریحی یا انشایی که نمرات آنها تحت تأثیر قضاوت محصصان برگه های آزمون قرار می گیرد باید از دو یا چند مصحح که مستقلاًً برگه های امتحان را تصحیح می کنند استفاده کرد . همبستگی بین نمرات این مصححان شاخص پایایی به حساب می آید .
روش بازآزمايي
ساده ترین روش تعیین پایایی یک آزمون باز آزمایی است در این روش ، آزمون را در دو نوبت به گروه واحدی از آزمون شوندگان می دهند و نمرات حاصل را با هم مقاسه می کنند . ضریب همبستگی بین نمرات حاصل از دوبار اجرای آزمون ضریب پایایی آزمون است . به این نوع پایایی ، پایایی باز آزمایی می گویند .
روش فرمهای موازی یا هم ارز
روش دیگری که بای رفع مشکلات روش باز آزمایی به کار می رود . روش فرمهای هم ارز است . در این روش دو آزمون معادل یا همارز برای یک مطلب یا موضوع تهیه می کنند و آنها را در فاصله زمانی کوتاهی به یک گروه واحد از آزمون شوندگان می دهند . ضریب همبستگی بین نمرات این دو فرم آزمون ، ضریب پایانی آن آزمون به حساب می آید .
روش دو نیمه کردن
در روش دو نیمه کردن آزمون یک آزمون واحد یک بار به یک گروه از آزمون شوندگان داده می شود و پس از اجرا ، آن را به دو نیمه مساوی تقسیم می کنند . در این روش ، بهترین راه دو نیم کردن آزمون ، این است که همه سئوالهای فرد را یک آزمون به حساب آوریم ، و سئوالهای زوج را نیز آزمون دیگری بدانیم ضریب همبستگی حاصل از نمرات دو نیمه آزمون ضریب پایایی هر یک از دو نیمه خواهد بود .
نحوه محاسبه ضریب پایایی به روش دو نیمه کردن (براي مطالعه)
برای محاسبه ضریب پایایی کل آزمون ، ضریب همبستگی بین نیمه ها را در فرمول زیر که به فرمول الپیرمن براون شهرت دارد قرار می دهند .
ضریب پایایی آزمون = r tt
ضریب همبستگی بین نیمه های آزمون = R
روش کودر ریچاردسون (براي مطالعه)
در روش کودر ریچاردسون نیز آزمون تنها یک بار اجرا می شود . در این روش همسانی درونی کل آزمون بررسی میشود و برای این منظور همه ماده های آزمون تحلیل می شوند برای بررسی همسانی درونی آزمون و پایایی آن دو فرمول معرف به کار برده اند که kr20 و kr21 مشهورند . ما در اینجا این دو فرمول و نحوه استفاده از آنها را به ترتب توضیح می دهیم .
فرمول kr20 :
ضریب پایانی آزمون = rtt
تعداد سئوالهای آزمون = k
واریانس یا مربع انحراف معیار آزمون = σt
نسبت دانش آموزانی که به سئوال پاسخ داده اند = Pi
نسبت دانش آموزانی که به سئوال پاسخ غلط داده اند = gi=1-p
مجموع g × p ها برای تمام سئوال = Zpigi
عوامل مؤثر بر پایایی آزمون
1- با افزودن تعداد سئوالات یک آزمون ، پایایی آن نیز افزایش می یابد
2- با متناجس تر و همگون تر کردن سئوالات یک آزمون ، پایایی آزمون افزایش می یابد .
3- افزودنتعدادی سئوال دارای ضریب دشواری متوسط ، پایایی آزمون افزایش می یابد .
4- آزمونهای سرعت معمولاً از آزمونهای دارای سرعت کمتر ضریب پایایی بیشتری نشان می دهند
محاسبه نمره تراز
مقیاس نمرات (نمره تراز) T با ضرب نمرات (نمره معیار) Z در عدد ثابت a و جمع کردن نمرات حاصل با عدد ثابت b بدست می آید. بنابراین، آن دسته از نمرات معیار که دارای توزیعی با میانگین b و انحراف معیار a است، توزیع نمرات T نام دارد.
|
|
a = ضریب تراز = انحراف معیار |
b = میانگین = ثابت تراز |
|
ضرایب دانشگاه سراسری |
2000 |
5000 |
|
ضرایب دانشگاه آزاد |
2500 |
5000 |
|
ضرایب هماهنگ مدارس |
1000 |
5000 |
|
ضرایب حدی 1 |
900 |
5000 |
|
ضرایب حدی 2 |
800 |
5000 |
|
ضرایب حدی 3 |
700 |
5000 |
|
ضرایب حدی 4 |
500 |
5000 |
· نمودار (توزیع) نرمال
توزیع نرمال ، یکی از مهمترین توزیعهای احتمالی پیوسته در نظریه احتمالات است. علت نامگذاری و همچنین اهمیت این توزیع، همخوانی بسیاری از مقادیر حاصل شده، هنگام نوسانهای طبیعی و فیزیکی پیرامون یک مقدار ثابت با مقادیر حاصل از این توزیع است (در این جا میانگین آزمون می باشد). دلیل اصلی این پدیده، نقش توزیع نرمال در قضیه حد مرکزی است. به زبان ساده، در قضیه حد مرکزی نشان داده میشود که تحت شرایطی، مجموع مقادیر حاصل از متغیرهای مختلف که هرکدام میانگین و پراکندگی متناهی دارند، با افزایش تعداد متغیرها، دارای توزیعی بسیار نزدیک به توزیع نرمال است. این قانون که تحت شرایط و مفروضات طبیعی نیز برقرار است، سبب شده که برآیند نوسانهای مختلفِ تعداد زیادی از متغیرهای ناشناخته، در طبیعت به صورت توزیع نرمال آشکار شود. بعنوان مثال، با اینکه متغیرهای زیادی بر میزان خطای اندازهگیریِ یک کمیت اثر میگذارند، (مانند خطای دید، خطای وسیله اندازهگیری، شرایط محیط و ...) اما با اندازهگیری های متعدد، برآیند این خطاها همواره دارای توزیع نرمال است که حول مقدار ثابتی پراکنده شده است.مثالهای دیگری از این نوسانهای طبیعی، طول قد، وزن یا بهره هوشی افراد است
این توزیع گاهی به دلیل استفاده کارل فردریک گاوس از آن در کارهای خود با نام توزیع یا تابع گوسی (گاوسی) نامیده میشود؛ همچنین به دلیل شکل تابع احتمال این توزیع، با نام انحنای زنگولهای (زنگدیس) نیز معروف است
قسمت آبی تیره در فاصله یک برابر انحراف معیار از میانگین توزیع قرار دارد و قسمت آبی روشن و آبی تیره به طور توام، در فاصله دو برابر انحراف معیار از میانگین توزیع قرار دارند. در توزیع نرمال، اولی برابر با ۶۸٪ سطح زیر نمودار و دومی برابر با ۹۵٪ سطح زیر نمودار است
خصوصیات نمودار نرمال
- دو قسمت منحنی نرمال نسبت به خط وسط آن قرینه هستند.
- در توزیعی که این منحنی مُعرف آن است، اکثر نمره ها در وسط توزیع متمرکز شده اند.
- هرچه از وسط منحنی به دو طرف آن پیش برویم، از ارتفاع منحنی (حجم نمرات) کاسته می شود و در انتهای منحنی دنباله های طویلی به وجود می آیند.
- دو امتداد منحنی در بی نهایت محور افقی را قطع می کنند، زیرا تعداد مواردی که لازم است تا یک منحنی نرمال واقعی درست شود، از لحاظ نظری بی نهایت است.
- در منحنی نرمال، میانگین، میانه و نما بر روی هم قرار دارند.
- در روی این منحنی دو نقطه وجود دارد که در آن جهت منحنی تغییر می کند(نقطه عطف). این دو نقطه در فواصل ±1 انحراف معیار (σ) از میانگین قرار دارند.
· محاسبه تراز کلی هر شرکت کننده
در صورتیکه نمرات تراز دروس عمومی و نمرات تراز دروس اختصاصی، وj تعداد دروس عمومی، و k تعداد دروس اختصاصی، و ضرایب دروس عمومی، و ضرایب دروس اختصاصی و c ضریب دروس عمومی و d ضریب دروس اختصاصی باشد، نمره تراز کلی هر شرکت کننده از رابطه زیر محاسبه می شود:
در برنامه پیش فرض ضریب دروس عمومی 1 و ضریب اختصاصی 3 می باشد که می توانید آن را برای هر آزمون تغییر دهید.
· ضریب دشواری
در این روش ابتدا شرکت کنندگان را با توجه به نمره کل هر درس در آن آزمونرا به دو گروه قوی(بالا) و ضعیف (پایین) تقسیم می کنیم.
A : انتخاب های درست گروه قوی
B : انتخاب های درست گروه ضعیف
M : تعداد شرکت کنندگان گروه قوی
N : تعداد شرکت کنندگان گروه ضعیف
ضریب دشواری هر چه به سمت صفر میل کند به معنی دشواری زیاد سوال می باشد و هر چه به سمت 100 پیش برود به معنی آسانی سوال می باشد. به طور کلی، ضریب دشواری بین 30 تا 70 حداکثر اطلاع را درباره تفاوت بین آزمون شوندگان به دست می دهند.
تفسیر ضریب دشواری سوال
در آزمون های هنجاری مثل آزمون هوش یا کنکور دانشگاه ، می توان واریانس سوال را مشخص کنیم . واریانس یک شاخص جهت نمایش پراکندگی نمرات در یک پیوستار ، به دست می دهد که در یک آزمون یا وضعیت هنجاری ، هرچه مقدار آن بیشتر باشد ، آزمودنی ها و افراد نمونه ، عملکرد مناسب تری داشته اند . در مورد پرسش های آزمون نیز ، هر چه واریانس بیشتر باشد ، سوال عملکرد بهتری داشته است .
· ضریب تمییز
در این روش ابتدا شرکت کنندگان را با توجه به نمره کل هر درس در آن آزمون را به دو گروه قوی(بالا) و ضعیف (پایین) تقسیم می کنیم.
A : انتخاب های درست گروه قوی
B : انتخاب های درست گروه ضعیف
M : تعداد شرکت کنندگان گروه قوی
N : تعداد شرکت کنندگان گروه ضعیف
هر قدر ضریب تمییز بزرگتر باشد، قوه تشخیص آن سوال بیشتر و هر قدر این ضریب کوچک تر باشد، قوه تمییز آن کمتر است. به طور مثال اگر ضریب 91 باشد، آن سوال شرکت کنندگان قوی و ضعیف را خیلی خوب از هم جدا خواهد کرد. اما اگر ضریب تمییز 10 باشد، آن سوال از عهده جدا سازی شرکت کنندگان ضعیف و قوی به خوبی بر نخواهد آمد. این مشکل به طور معمول، به ایراد خود سوال مربوط بوده وباید اصلاح شود وچنانچه سوال دارای اشکال فنی نباشد، افراد گروه بالا یا آن سوال را به طورکامل یاد نگرفته اند یا آن را به غلط آموخته اند. بنابراین تمامی ضرایب تمییزآزمون باید مثبت باشد.