مدلی تحلیلی برای برآورد انرژی استنتاج LLM معرفی شد

پژوهشگران در پیش‌چاپی با عنوان «قانون SIMPLE برای هزینهٔ انرژی استنتاج LLM» می‌گویند تولید توکن‌ها هزینهٔ یکسانی ندارد: هر توکن وارد KV-cache می‌شود و هزینهٔ پردازش توکن‌های بعدی را افزایش می‌دهد. در نتیجه، مصرف انرژی در طول یک دنبالهٔ متنی به‌صورت خطی رشد نمی‌کند.

این پژوهش عبارت‌های بسته‌ای برای پیچیدگی محاسباتی و دسترسی به حافظه در استنتاج LLM استخراج می‌کند و معماری‌های MHA و GQA را در بر می‌گیرد. نویسندگان سپس چند مدل تحلیلی با جزئیات متفاوت را مقایسه و از میان آن‌ها SIMPLE را ارائه می‌کنند؛ مدلی چهارضریب برای پیش‌بینی انرژی که، بنا بر چکیده، هزینهٔ محاسبات را از هزینهٔ دسترسی به حافظه جدا می‌کند.

نویسندگان مدل‌های پیشرفتهٔ موجود را برازش‌شده به داده‌ها توصیف می‌کنند؛ مدل‌هایی که ضرایبشان معماری را در خود جذب می‌کند و به برازش جداگانه برای هر LLM نیاز دارد. متن منبع در دسترس دربارهٔ SIMPLE در همین‌جا ناتمام است و جزئیات بیشتری از چهار پارامتر یا دقت مدل ارائه نمی‌کند. این مقاله نسخهٔ نخست پیش‌چاپی در arXiv است.