پژوهش arXiv شرطی برای سنجش صرفهٔ اقتصادیِ استنتاج چندمرحله‌ای مدل‌های زبانی ارائه می‌کند

پیش‌چاپی در arXiv چارچوبی ریاضی برای بررسی امکان‌پذیری استنتاج چندمرحله‌ای (tiered inference) در مدل‌های زبانی بزرگ ارائه می‌کند؛ روشی که محاسبات را میان دستگاه کاربر، سخت‌افزار لبه و مرکز داده تقسیم می‌کند. در بسیاری از این سامانه‌ها، یک مدل مستقر در مرحلهٔ نخست با تکیه بر سیگنال اطمینان تصمیم می‌گیرد پاسخ را همان‌جا ارائه کند یا پرسش را به مدل پشتیبان ارجاع دهد.

پژوهشگران با مدل‌کردن این تصمیم به‌صورت یک آزمون دودویی و تفکیک هزینهٔ پردازش محلی از هزینهٔ ارجاع، شرطی بسته‌فرم به دست آورده‌اند که مشخص می‌کند آیا انتخاب آستانه‌ای برای سیگنال اطمینان می‌تواند این زنجیره را در مقایسه با فرستادن همهٔ پرسش‌ها به مدل پشتیبان مقرون‌به‌صرفه کند یا نه. بنا بر چکیدهٔ مقاله، این شرط میان دو مرز قرار دارد: پایین‌تر از یک کفِ مستقل از کیفیت سیگنال، زنجیره با هر کیفیت سیگنالی امکان‌پذیر است؛ بالاتر از سقفی متناظر با سیگنال کامل، هیچ آستانه‌ای آن را امکان‌پذیر نمی‌کند.

نتیجه به نسبت هزینهٔ معماری، یعنی هزینهٔ محاسبات محلی در قیاس با ارجاع، نیز وابسته است. وقتی هزینهٔ محاسبهٔ محلی در سامانه منظور می‌شود، هزینه می‌تواند مانع اصلی باشد؛ اما اگر این محاسبه روی سخت‌افزار غیرمتمرکزی انجام شود که هزینه‌اش از پیش پرداخت شده، امکان‌پذیری زنجیره بدون توجه به کیفیت سیگنال برقرار می‌شود و کیفیت سیگنال فقط بر عملکرد آن اثر می‌گذارد.

مقاله سه الزام طراحی را مطرح می‌کند و می‌گوید اجزای آموزش‌دیدهٔ موجود هرکدام فقط بخشی از این الزامات را برآورده می‌کنند. نویسندگان طراحی مشترک معماری و پروتکلی برای آزمودن آن را به‌عنوان کار آینده پیشنهاد می‌کنند؛ در عین حال، شرط و وارونگی رابطهٔ هزینه و امکان‌پذیری را مستقل از آن معماری، دستاورد اصلی مقاله می‌دانند.