این مطالعه با عنوان «ما مؤدبانه اصرار می‌کنیم: مدل زبان بزرگ شما باید هنر ایرانی تعارف را بیاموزد» به بررسی عملکرد مدل‌های زبانی مانند GPT-۴o، Claude ۳.۵، Llama ۳ و نسخه فارسی‌محور «درنا» در موقعیت‌های اجتماعی پرداخت.

یافته‌ها نشان می‌دهد که این مدل‌ها در درک تعارف‌های ظریف ایرانی، جایی که «نه» ممکن است به معنای «بله» باشد، عملکردی بسیار ضعیف دارند و دقت آن‌ها تنها بین ۳۴ تا ۴۲ درصد است، در حالی که فارسی‌زبانان بومی در ۸۲ درصد مواقع پاسخ درست می‌دهند.

تعارف ایرانی، بخشی از آداب روزمره است که در تعاملات روزانه، از تاکسی و بازار گرفته تا مهمانی‌ها و گفتگوهای دوستانه دیده می‌شود. یک مثال ساده آن، موقعیت تاکسی است؛ وقتی راننده می‌گوید «مهمان ما باشید»، یک غیرایرانی ممکن است تصور کند که باید تشکر کند و کرایه را پرداخت نکند، اما ایرانی‌ها می‌دانند که پاسخ درست، مؤدبانه اصرار کردن برای پرداخت است. این رقص کلامی و فرهنگی، نشان‌دهنده فاصله میان گفتار و مقصود است و در زبان‌شناسی به «کاربردشناسی بین‌فرهنگی» معروف است.

نتایج این پژوهش نشان داد که حتی مدل‌هایی که از نظر مؤدب بودن بالاترین رتبه‌ها را کسب کردند، در موقعیت‌های تعارف به‌طور نظام‌مند ناکام ماندند. برای مثال، Llama 3 با ابزار Polite Guard، در حالی که ۸۴٫۵ درصد پاسخ‌هایش مؤدب تشخیص داده شد، تنها ۴۱٫۷ درصد آن‌ها انتظارات فرهنگی ایرانیان را برآورده کرد. پژوهشگران این شکاف را ناشی از تمایل مدل‌ها به پاسخ‌های صریح و مستقیم می‌دانند، در حالی که فرهنگ ایرانی بر توازن میان امتناع و اصرار، فروتنی و ادب تأکید دارد.

این مطالعه هشدار می‌دهد که خطاهای فرهنگی در هوش مصنوعی، به ویژه در موقعیت‌های حساس و میان‌فرهنگی، می‌تواند منجر به سوءتفاهم، خدشه‌دار شدن روابط و تقویت کلیشه‌ها شود. پژوهشگران بر این باورند که برای هوش مصنوعی‌ای که در سطح جهانی به‌کار گرفته می‌شود، توانایی درک ظرایف فرهنگی از جمله تعارف ایرانی، ضرورت و چالش جدی است.

این تحقیق، نخستین معیار سنجش «بنچمارک تعارف» را معرفی می‌کند و مسیر تازه‌ای برای آموزش هوش مصنوعی در تعاملات فرهنگی و اجتماعی باز کرده است.