کاربرد مدل درخت های راش در آشکارسازی کنش افتراقی سؤال (موردمطالعه: آزمون‌های استخدامی نیروی انتظامی ج.ا. ایران)

نوع مقاله : مقاله پژوهشی

نویسندگان

1 گروه مبارزه با مواد مخدر

2 گروه آموزشی برنامه ریزی درسی

3 گروه سنجش و اندازه‌گیری

چکیده

زمینه و هدف: این مطالعه قصد دارد تا در آزمون بزرگی چون آزمون استخدامی نیروی انتظامی، سؤالاتی که شامل کنش افتراقی سنی و گروه آزمایشی باشند را با استفاده از مدل درخت‌های راش پیدا کند. روش: پژوهش حاضر ازنظر هدف کاربردی و ازنظر روش، توصیفی موسوم به تحقیقات روان‌سنجی است. همچنین با توجه به اینکه این پژوهش آزمون‌های استخدامی را موردبررسی قرار می‌‌دهد از حیث روش، از نوع ارزشیابی است. جامعه آماری آزمون استخدامی ورودی سال 1398 به تعداد 2414 نفر به‌صورت تمام شمار مورد تحلیل قرارگرفته است. جهت تشخیص نرخ آشکارسازی کنش افتراقی سؤال با استفاده از مدل درخت‌های راش از بسته DIFtree در نرم‌افزار R استفاده شد. یافته‌ها: نتایج حاصل از مدل درخت‌های راش نشان داد که تعداد 9 سؤال دارای کنش افتراقی سؤال هستند که در مهم‌ترین آن، تعداد 7 سؤال در گروه ریاضی با 18 سال سن (رسته دوم) و 6 سؤال در گروه ریاضی با 19 سال سن (رسته اول) دارای سوگیری نسبت به گروه علوم تجربی (رسته سوم) بوده و جهت‌گیری سوگیری به نفع رسته اول و دوم و به ضرر رسته سوم بوده است. نتایج: مدل درخت‌های راش به‌خوبی توانسته است سوگیری سؤالات آزمون استخدامی را مشخص نماید.

تازه های تحقیق

مدل درخت‌های راش؛ کنش افتراقی سؤال؛ سوگیری؛ نیروی انتظامی.

کلیدواژه‌ها


چکیده:

زمینه و هدف: این مطالعه قصد دارد تا در آزمون بزرگی چون آزمون استخدامی نیروی انتظامی، سؤالاتی که شامل کنش افتراقی سنی و گروه آزمایشی باشند را با استفاده از مدل درخت‌های راش پیدا کند. روش: پژوهش حاضر ازنظر هدف کاربردی و ازنظر روش، توصیفی موسوم به تحقیقات روان‌سنجی است. همچنین با توجه به اینکه این پژوهش آزمون‌های استخدامی را موردبررسی قرار می‌­دهد از حیث روش، از نوع ارزشیابی است. جامعه آماری آزمون استخدامی ورودی سال 1398  به تعداد 2414 نفر به‌صورت تمام شمار مورد تحلیل قرارگرفته است. جهت تشخیص نرخ آشکارسازی کنش افتراقی سؤال با استفاده از مدل درخت‌های راش از بسته DIFtree در نرم‌افزار R استفاده شد. یافته‌ها: نتایج حاصل از مدل درخت‌های راش نشان داد که تعداد 9 سؤال دارای کنش افتراقی سؤال هستند که در مهم‌ترین آن، تعداد 7 سؤال در گروه ریاضی با 18 سال سن (رسته دوم) و 6 سؤال در گروه ریاضی با 19 سال سن (رسته اول) دارای سوگیری نسبت به گروه علوم تجربی (رسته سوم) بوده و جهت­گیری سوگیری به نفع رسته اول و دوم و به ضرر رسته سوم بوده است. نتایج: مدل درخت‌های راش به‌خوبی توانسته است سوگیری سؤالات آزمون استخدامی را مشخص نماید.

مقدمه

در جمهوری اسلامی ایران، جوانانی که علاقه‌مند به استخدام در نیروی انتظامی هستند از طریق شرکت در آزمون ورودی و کسب نمره رتبه قبولی موردنیاز پذیرفته‌شده و در مقاطع درجه­داری یا افسری مشغول به آموزش می‌شوند که به این قبیل افراد، فراگیر اطلاق می‌شود؛ اما علاوه بر شیوه جذب دانشجو از طریق یادشده، تعداد زیادی از افرادی که جذب نیروی انتظامی می‌شوند، شامل فارغ‌التحصیلان سایر دانشگاه‌های کشور و مراکز آموزش عالی کشور در مقاطع مختلف (حداقل فوق‌دیپلم) هستند که پس از طی مراحل جذب و گزینش، برای طی دوره آموزش‌های عمومی و تخصصی رشته شغلی خود پرداخته و به خدمت پلیس کشور درمی‌آیند و یا پس از اتمام آموزش‌های اولیه برای تکمیل آموزش‌های تخصصی به سایر دانشکده‌های دانشگاه علوم انتظامی امین ناجا معرفی‌شده و دوره تخصصی را طی می‌نمایند؛ این قبیل افراد را دانش‌آموخته (فراگیر) می‌نامند.

آزمون‌های بزرگ‌مقیاسی مانند آزمون‌های استخدامی نیروی انتظامی جمهوری اسلامی ایران که مرکز گزینش و استخدام ناجا برگزار می‌کند، نقش کلیدی در آینده جوانان دارند. داوطلبان بسیار زیادی بعد از گذراندن دوره متوسطه برای ورود به دانشگاه باید با یکدیگر در کنکور دیگری رقابت کنند. رقابت در چنین آزمونی مشکل بوده و شاید بتوان گفت مهم‌ترین آزمون پس از آزمون سراسری در ایران است که به‌صورت سالیانه به‌صورت سراسری برگزار می­شود. داوطلبان و متقاضیان زیادی در سراسر کشور وجود دارد که علاقه‌مند به خدمت در نیروی انتظامی بوده و نگران پذیرفته نشدن در ناجا در همان مرحله اول (آزمون) می‌باشند.

موفقیت افراد در سؤالات آزمون می­تواند تحت تأثیر عوامل ثانویه باشد. در دهه 1960، نه‌تنها مراکز آموزشی بلکه مردم عادی نیز به دنبال عادلانه بودن آزمون‌ها بودند (همبلتون[1]، سوامیناتان و راجرز[2]، 1991). هم‌اکنون آزمون‌ها و حرفه آزمونگری موردتوجه دقیق مردم قرارگرفته و اکنون منتشرکنندگان و مجریان آزمون‌ها باید نشان دهند که آزمون‌هایشان در برابر اقلیت‌ها، عاری از سوگیری هستند (همبلتون، سوامیناتان و راجرز، 1991؛ ترجمه فلسفی نژاد، 1389). ازاین‌رو عادلانه بودن برای آزمون‌های سرنوشت‌ساز به‌عنوان آزمون‌هایی که جهت تصمیم‌گیری برای آینده آزمودنی‌ها به کار می‌روند از اهمیت بیشتری برخوردار است (پاپهام[3]، 2005).

یکی از مهم‌ترین تهدیدها برای اعتبار آزمون، سوگیری سؤال است که از آن تحت عنوان کنش افتراقی سؤال[4] نیز یاد می‌شود. وجود کنش افتراقی گواهی علیه عادلانه بودن آزمون است، اگر پاسخ به سؤال‌های آزمون با کنترل توانایی آزمودنی­ها تابعی از ویژگی­های گروهی که آزمودنی‌ها به آن تعلق دارند، مانند (جنسیت، پایگاه اجتماعی و اقتصادی و زبان و ...) باشند، سؤال‌های آزمون نسبت به آن‌ها کنش افتراقی دارند. در آزمون‌های روان­سنجی معمولاً فرض می­شود که ویژگی‌های اندازه‌گیری برای تمامی افراد، پایدار است. این ویژگی تحت عنوان تغییرناپذیری اندازه‌گیری[5] شناخته‌شده است (میلسپ، 2012). زمبو[6] (2007) استدلال کرد که تجزیه‌وتحلیل کنش افتراقی ممکن است لزوماً نشان­دهنده بی‌انصافی یا سوگیری در آزمون نباشد بلکه به دلیل اختلافات مشاهده­شده در طبیعت جمعیت موردمطالعه باشد. بااین‌حال ممکن است که گروه‌های مختلف افراد به همان آزمایش، به‌طور متفاوتی واکنش نشان دهند که در این صورت اعتبار اندازه‌گیری مورد تهدید قرار می‌گیرد. همچنین اگر آزمون‌ها نتایج مختلفی برای گروه‌های متجانس (متمایز) از افراد ارائه دهد، عادلانه بودن آزمون نقض می‌شود.

سوگیری اندازه­گیری در سالیان اخیر موردتوجه زیادی قرارگرفته است و روان سنج­ها تحت‌فشار افکار عمومی و نظام­های حقوقی مجبور به ارائه شواهدی هستند که نشان دهند آزمون­هایشان قابل‌اتکا و اعتماد بوده و فاقد سوگیری باشد (کامیلی[7]، 2006). تلاش­ها در جهت مقابله با این چالش منجر به پیدایش مدل­ها و روش‌های مختلفی شده است. مدل­های مختلف بر اساس نیاز آزمونگران و تأثیر مؤلفه‌های مختلف به‌مرور بهبودیافته‌اند اما بااین‌وجود هنوز توافق قابل قبولی در بین روان سنج‌ها و آزمون سازان در استفاده از رویکرد مناسب در شرایط تغیر پذیر بافتی تحقیق وجود ندارد.

روش‌های مختلف برای تشخیص کنش افتراقی را می‌توان با استفاده از روش‌های مبتنی بر نظریه کلاسیک[8] و روش‌های مبتنی بر نظریه پاسخ سؤال[9] طبقه‌بندی نمود. الیس و راجو[10] (2003) اظهار داشتند که روش­های منتل-هنسل[11]، منتل هنزل تعمیم‌یافته[12]؛ رگرسیون لجستیک[13] و نمودار دلتا[14] تحت روش­های نظریه کلاسیک قرار دارند، درحالی‌که روش­های مجذور کای-دو لرد[15]، راجو و روش­های آزمون نسبت درستنمایی[16] تحت مدل­های نظریه پاسخ سؤال انجام‌شده است.

به‌طورکلی روش­های موجود از چهار رویکرد، نمره مورد انتظار سؤال، روش­های نظریه پاسخ سؤال، روش­های نا پارامتریک و مدل خطی تعمیم‌یافته گسترش‌یافته‌اند. بااین‌وجود هر یک از رویکردها مفروضات و خلأهایی دارند. مطالعه ادبیات تحقیق نشان می­دهد، در 60 سال اخیر روش­های متفاوتی معرفی‌شده است که این امر نشان‌دهنده اهمیت مسئله است. درباره هیچ‌یک از روش­ها و رویکردها توافق و دانش کلی برقرار نیست و محقق باید دست به انتخاب بزند.

 همه روش‌های تشخیص کنش افتراقی سؤال، می‌توانند تنها با یک متغیر گروهی رسته­ای سروکار داشته باشند. اگرچه علوم جدید کنش افتراقی سؤال که پدیدار شده‌اند، هم‌زمان می‌توانند بر روی تأثیر بیش از یک متغیر گروهی تحقیق کنند. به‌علاوه به متغیرهای پی‌درپی این اجازه داده می‌شود که به‌عنوان یک منبع کنش افتراقی سؤال مورد تحلیل قرار بگیرند. البته درجایی که هیچ زیرگروه از پیش تعیین‌شده‌ای نیاز نباشد. این‌ها همان روش‌های درخت‌های سؤال متمرکز[17] هستند که ممکن است در تحلیل مدل راش یا رگرسیون لجستیک به‌کاربرده شوند (تاتز و برگر[18]، 2016).

بنابراین با توجه به مطالب فوق بیان گردید که روش­های مختلفی جدیدی برای تشخیص کنش افتراقی پدید آمده است. ازجمله می­توان به روش رگرسیون لجستیک ترتیبی هیبریدی[19] و درخت‌های راش اشاره نمود. درحالی‌که روش رگرسیون لجستیک ترتیبی هیبریدی بر اساس خواص نظریه پاسخ سؤال عمل می­کند. لیکن از مدل درخت‌های راش که در این تحقیق از آن استفاده می­شود، به دلیل اینکه چندین متغیر باهم در نظر گرفته می­شوند برای تعیین کنش افتراقی استفاده می­شود. مزیت دیگر درخت­های راش این است که در مقایسه با اکثر روش­های تعیین کنش افتراقی نیازی به مشخص کردن گروه­های کانونی و مرجع به‌عنوان پیش­نیاز نیست. درروش درخت­های راش هنگام تعیین گروه­ها، پارامترهای سؤال را در کلیه متغیرهای کمکی سؤال موردبررسی قرار می­دهند. گروه­ها طبق متغیرهای کمکی که دارای قوی­ترین بی‌ثباتی (عدم تناسب پارامترهای سؤال در گروه­ها) باشند؛ مشخص می­شوند. به‌عنوان‌مثال، اگر بخواهیم مشخص کنیم که آیا کنش افتراقی ازنظر جنسیت و انگیزه ذاتی وجود دارد؟ می­توان آن را با توجه به جنسیت تفکیک و سپس بر اساس نمره انگیزه ذاتی تمایز داد. درحالی‌که متغیر کمکی که قوی­ترین بی‌ثباتی را به خود اختصاص می­دهد جنسیت است و نمره انگیزه ذاتی دومین متغیر است.

علاوه بر این؛ روش درخت­های راش نسبت به سایر روش­ها در تعیین امتیاز (نمره) برش به‌عنوان یک ویژگی برتر، برخوردار است. در روش­هایی که از گروه­های از پیش تعریف‌شده با متغیرهای پیوسته استفاده می­کنند، میانگین حسابی یا میانه به‌عنوان نقاط برش مورداستفاده قرار می­گیرد. درروش درخت­های راش درحالی‌که متغیرهای پیوسته را گروه­بندی می­شوند، مقداری که بیشترین اختلاف پارامتر را دارد به‌عنوان نقطه برش در نظر گرفته می­شود. به‌عنوان‌مثال برخی سؤالات کنش افتراقی را با نمرات انگیزه ذاتی دانشجویان نشان می­دهند. هنگام تعیین گروه کانونی و مرجع به‌جای استفاده از میانگین حسابی یا میانه، میانگین نمرات انگیزه ذاتی افراد که اختلاف پارامتر درروش درخت­های راش بالاترین است به‌عنوان نقطه برش در نظر گرفته می­شود. این انتخاب یک انتخاب دلخواه است و ممکن است با پارامتر واقعی متفاوت باشد که نشان­دهنده قوی‌ترین تغییر پارامتر است. این عمل ممکن است باعث شود اختلاف پارامتر واقعی توسط یک نقطه برش دیگر پنهان شود (استرویبل، کوپف و زالایس[20]، 2015).

گرامی پور[21] (2020) در مقاله­ای با عنوان «رویکرد درخت های سوال-متمرکز در تحلیل کنش افتراقی سؤال موردمطالعه: آزمون درک مطلب EFL» آزمون درک مطلب بخش سؤالات عمومی انگلیسی شامل تعداد 20 سؤال را مورد تحلیل قرار داد. وی متغیر کمکی و پیوسته را جنسیت و سوابق تحصیلی به‌صورت هم‌زمان برای تحلیل درخت‌های سؤال متمرکز در نظر گرفت. همچنین ایشان برای تشخیص کنش افتراقی سؤال از رگرسیون لجستیک از بسته DIFtree از نرم‌افزار R برای تشخیص کنش افتراقی یکنواخت استفاده نمود. نتایج پژوهش وی نشان داد که از تعداد 20 سؤال بخش درک مطلب، تعداد 10 سؤال دارای DIF یکنواخت که در آن تعداد 2 تقسیم (2 متغیر پیش­بین مشترک) و 8 سؤال فقط یک تقسیم داشته­اند. علاوه بر این 6 تقسیم و 5 سؤال از کنش افتراقی غیریکنواخت، در تحلیل کنش افتراقی سؤال غیریکنواخت یافت شده­اند که تنها 1 سؤال از آن‌ها دارای دو منبع متغیر دارای کنش افتراقی حاصل از شبیه­سازی بوده است. گرامی پور؛ رمضانی صدر؛ رضایی؛ نوروزی و مختاریان (1396) در مقاله­ای با عنوان « کنش افتراقی سوال (DIF) و ازمون (DIF) مرتبط با جنسیت در آزمون­های کنکور سراسری سازمان سنجش آموزش کشور» به بررسی کنش افتراقی سوال بر حسب جنسیت پرداختند در این تحقیق که با استفاده از رگرسیون لجستیک انجام شده است به این نتیجه رسیدند که حدود 14% آزمون­های کنکور سراسری از سال 1387 تا 1390 دارای کنش افتراقی جنسیتی هستند و سوالات این آزمون­ها به جنس مونث سوگیری دارند. آریا دوست[22] (2018) در مقاله‌ای با عنوان «استفاده از درخت‌های راش پارتیشن‌بندی بازگشتی برای بررسی کنش افتراقی سؤال در آزمون خواندن زبان دوم» یا استفاده از روش افراز بازگشتی درخت‌های راش برای شناسایی منابع کنش افتراقی درخت‌های راش نمونه را به پراکندگی غیرخطی برگشت‌پذیر و برآورد دشواری سؤال در هر پارتیشن تقسیم نمود. داده‌های او عبارت‌اند بود از واژگان و دانش گرامر و جنسیت تست شوندگان، وی نشان داد که آزمون دهندگان دارای نمرات گرامری بالا بوده و وجود کنش افتراقی ناشی از متغیرهای آشکار تنها بر زیرگروه‌های خاصی از آزمون گیرندگان با مشخصات خاص توانایی تأثیر می‌گذارد. لیو[23] و همکاران (2019) در مقاله­ای با عنوان «مقایسه روش­های مختلف تشخیص کنش افتراقی سؤال در مدل­های تشخیصی شناختی» با استفاده از یک مطالعه مونت‌کارلو به بررسی عملکرد روش­های منتل- هنسزل، رگرسیون لجستیک و آزمون­های والد مبتنی بر اطلاعات سؤال، اطلاعات مشاهده‌شده و ماتریس کوواریانس در خصوص تشخیص کنش افتراقی سؤال پرداختند. یوکسل[24] و همکاران (2019) در مقاله­ای با عنوان «کنش افتراقی سؤال شاخص­های بهداشتی ناتینگهام با استفاده از مدل راش آمیخته» با استفاده یک متغیر پاسخ اسمی، بهترین مدل را برای متغیرهای تحرک بدنی، خواب و انزوای اجتماعی معرفی نمودند. نتایج آنان نشان داد که برای بعد انزوای اجتماعی در برخی سؤالات کنش افتراقی ازلحاظ جنسیت وجود دارد. همچنین سؤالات ازنظر خواب به لحاظ سن، جنسیت و مدت‌زمان درد قابل توجیه نبودند. در سایر سؤالات نیز به لحاظ جنسیت، سن و مدت درد کنش افتراقی وجود نداشت.

در این تحقیق برای تشخیص کنش افتراقی سؤال از مدل درخت های راش با استفاده از داده­های واقعی استفاده می­شود. ازاین‌رو، در پژوهش حاضر سعی بر آن است که اعتبار آزمون‌های استخدامی از منظر کنش افتراقی سؤال‌های آزمون در دروس مصوب آزمون، موردبررسی و تحلیل قرار گیرد. لذا هدف اصلی پژوهش نرخ آشکارسازی کنش افتراقی سؤال با استفاده از مدل درخت­های راش برای آزمون‌های سرنوشت‌ساز ناجا است.

- گرامی پور، مسعود؛ رمضانی صدر، اعظم؛ رضایی، احمد؛ نوروزی، لیلا و مختاریان، فرانک (1396). کنش افتراقی سؤال (DIF) و آزمون (DIF) مرتبط با جنسیت در آزمون­های کنکور سراسری سازمان سنجش آموزش کشور، فصلنامه مطالعات اندازه­گیری و ارزشیابی آموزشی، سال هفتم، شماره 19، 63-35.
- همبلتون، رونالد ک؛ سؤامیناتان، اچ؛ راجرز، اچ. جین (1991). مبانی نظریه پرسش- پاسخ. ترجمه محمدرضا فلسفی نژاد (1389). تهران: دانشگاه علامه طباطبایی.