چارچوبی یکپارچه برای تنظیم وزن واگرایی‌ها در تقطیر دانش

پژوهشگران در پیش‌چاپی تازه، روشی برای تعیین وزن هر توکن در ترکیب زیان‌های واگرایی KL رو به جلو و معکوس در تقطیر دانش حین اجرا (OPD) پیشنهاد کرده‌اند. به‌گفتهٔ نویسندگان، روش‌هایی مانند EOPD و ToDi هرکدام از یک سیگنال و یک جهت ثابت برای این وزن‌دهی استفاده می‌کنند و تاکنون مستقیماً با یکدیگر مقایسه نشده‌اند.

چارچوب پیشنهادی وزن هر توکن را با تابعی از چهار مؤلفه تعریف می‌کند: دو سیگنال، یک مقدار ثابت و یک ضریب بایاس. نویسندگان می‌گویند نسخه‌های هم‌راستا با جهتِ EOPD و ToDi را می‌توان حالت‌های محدودشدهٔ یک‌بعدی این خانواده دانست؛ درحالی‌که مدل کامل امکان ترکیب چند سیگنال را هم فراهم می‌کند.

ارزیابی روی وظایف تشخیص احساس و نفرت در مجموعه‌دادهٔ TweetEval انجام شده است؛ در این آزمایش‌ها Qwen3-32B نقش معلم و Qwen3-4B نقش دانش‌آموز را داشته‌اند. چکیدهٔ در دسترس پیش‌چاپ در میانهٔ گزارش نتایج قطع می‌شود، بنابراین جزئیات عملکرد مدل‌ها از آن روشن نیست.