NutriVisRAG با نمونه‌های تصویری مشابه، برآورد مواد مغذی غذا را بهبود می‌دهد

پژوهشگران در پیش‌چاپی در arXiv از NutriVisRAG رونمایی کرده‌اند؛ چارچوبی برای برآورد مواد مغذی از تصویر غذا که به‌جای تکیه بر توصیف متنی خوراکی‌ها، وعده‌های تصویری مشابه با اطلاعات تغذیه‌ایِ معلوم را پیدا می‌کند و آن‌ها را هنگام پاسخ‌گویی در اختیار مدل بینایی‌ـ‌زبانی (VLM) می‌گذارد. این روش به تنظیم اختصاصی مدل برای وظیفهٔ برآورد مواد مغذی نیاز ندارد.

ارزیابی پژوهش چهار مجموعه‌داده، چهار VLM، سه رمزگذار بازیابی و دو روش پرامپت‌دهی را دربر گرفت. در مجموعِ ۹۶ ترکیب آزمایش‌شده، NutriVisRAG در ۵۶ مورد خطای اصلی برآورد را کاهش داد. بهبود با پرامپت‌دهی برای کل وعده بیشتر از روش ارزیابی جداگانهٔ هر قلم غذایی بود: به‌ترتیب در ۳۵ مورد از ۴۸ و ۲۱ مورد از ۴۸ ترکیب.

در ۱۳ مورد از ۱۶ زوجِ مدل و مجموعه‌داده، بهترین نتیجهٔ NutriVisRAG خطایی کمتر از بهترین نتیجهٔ همان مدل بدون بازیابی داشت. برای GPT-5.4-mini، با پرامپت‌دهی کل وعده و انتخاب بهترین رمزگذار بازیابی برای هر مجموعه‌داده، خطای اصلی در هر چهار مجموعه نسبت به حالت پایه کاهش یافت؛ میزان کاهش از ۱٫۷ تا ۳۵٫۷ درصد بود. یکی از مجموعه‌ها شامل تصاویر وعده‌های روزمرهٔ بزرگسالان مبتلا به دیابتِ تحت درمان با انسولین بود که برآورد کربوهیدرات در آن با حاشیه‌نویسی دو متخصص تغذیه مقایسه شد. نویسندگان تأکید می‌کنند که سود این رویکرد به پیکربندی آزمایش وابسته است.