کنفرانس بین المللی یادگیری و یاددهی الکترونیکی ایران

صفحه اصلی / نوزدهمین کنفرانس ملی و سیزدهمین کنفرانس بین المللی یادگیری و یاددهی الکترونیکی ایران

گمراه کردن مدل های زبانی بزرگ در سیستم های نمره دهی خودکار

نویسندگان :

سجاد نوریان¹ آزاده سلطانی²

1- دانشگاه بجنورد 2- دانشگاه بجنورد

کلمات کلیدی :

مدل های زبانی بزرگ،هوش مصنوعی،فریب دادن،نمره دهی خودکار

چکیده :

سامانه‌های نمره‌دهی خودکار در سال‌های اخیر به ابزارهایی مهم برای تسریع و استانداردسازی ارزیابی تبدیل شده‌اند. این سامانه‌ها با تکیه بر مدل‌های زبانی بزرگ دقت بالایی در تصحیح پاسخ‌های دانشجویان به دست آورده‌اند، اما همچنان مسئله اعتمادپذیری و عدالت در نمره‌دهی از چالش‌های اصلی آن‌هاست. حساسیت این مدل‌ها به تغییرات ظاهری یا محتوای غیرمرتبط می‌تواند موجب نمره‌دهی نادرست شود و بررسی مقاومت آنها در برابر این نوع حملات ضروری است. این پژوهش مقاومت چهار مدل GPT-OSS 120B, GPT-OSS 20B, DeepSeek V3.1, Qwen3vl-235B-A22B-thinkingرا در برابر دو نوع حمله متنی شامل تغییر زمینه مسئله و جملات عاطفی ارزیابی می‌کند. برای هر نوع حمله ده اجرای مستقل انجام شد و حافظه مدل‌ها پس از هر بار اجرا پاک‌سازی گردید تا نتایج تحت تأثیر اجراهای قبلی قرار نگیرد. یافته‌ها نشان می‌دهد حملات مبتنی بر بازتعریف مسئله بیشترین میزان اثرگذاری را ایجاد می‌کنند و می‌توانند روند استدلال مدل را تغییردهند. در نتیجه نهایی، مدل Qwen3 بیشترین آسیب‌پذیری را نشان داد، در حالی کهDeepSeek V3.1 پایدارترین عملکرد را ارائه کرد. این نتایج تأکید می‌کند که استفاده از مدل‌های زبانی به عنوان مصحح، بدون نظارت انسانی همچنان با چالش نمره‌دهی ناعادلانه همراه است.