پژوهش arXiv می‌سنجد حلقه‌کردن لایه‌های مدل آموزش‌دیده چه زمانی می‌ارزد

در روش «حلقه‌کردن»، بخشی از لایه‌های مدل چند بار اجرا می‌شود تا هر توکن بیش از یک‌بار از آن‌ها عبور کند. این کار تعداد پارامترها، حجم فایل مدل، نیاز حافظه و هزینهٔ آموزش را ثابت نگه می‌دارد؛ اما هزینهٔ تولید هر توکن را بالا می‌برد. اگر از میان N لایه، m لایه دوباره اجرا شوند، هزینهٔ هر توکن تقریباً به نسبت (N+m)/N افزایش می‌یابد.

نویسندگان می‌گویند حلقه‌هایی که مدل در جریان پیش‌آموزش گسترده یاد می‌گیرد، می‌توانند این هزینه را توجیه کنند؛ اما روشن نیست افزودن حلقه پس از پیش‌آموزش هم به‌صرفه باشد. آن‌ها مدل حلقه‌دار را با دو مبنا مقایسه می‌کنند: همان مدل که بدون حلقه و با شرایط آموزشی یکسان آموزش دیده، و بهترین شیوهٔ استفادهٔ بدون حلقه از مدل. چکیدهٔ در دسترس نتیجهٔ این مقایسه‌ها را بیان نمی‌کند.