هوش مصنوعی

FlyHash در بازیابی حافظهٔ عامل‌های زبانی، کیفیت جست‌وجو را بالا می‌برد؛ اما نه لزوماً سرعت را

پیش‌چاپی در arXiv می‌گوید مزیت کیفی FlyHash در چهار مجموعه‌داده و با برچسب‌های مرتبط‌بودنِ واقعی دیده می‌شود، ولی در اندازه‌های معمول، HNSW از هر دو روش هش بهتر عمل می‌کند.

۲ دقیقه مطالعه
Figure 2: FlyHash mAP@100 across the sparsity × \times pool-size grid, at k = 16 , 64 , 256 k=16,64,256 . Each panel’s SimHash baseline is given in its title; every cell in every panel is above that baseline. The rightwa
تصویر درج‌شده در مقالهٔ اصلی؛ حقوق بازنشر مستقل تأیید نشده است. — arXiv · AI (پیش‌چاپ) · پرونده اصلی · منبع تصویر: ناشر خبر

عامل‌های مبتنی بر مدل‌های زبانی بزرگ برای نگه‌داشتن اطلاعات میان گفت‌وگوها معمولاً به حافظهٔ بیرونی متکی‌اند؛ حافظه‌ای که اغلب با embeddingهای برداری متراکم و جست‌وجوی تقریبی نزدیک‌ترین همسایه‌ها کار می‌کند. پژوهشگران در پیش‌چاپی تازه، FlyHash را برای بازیابی حافظهٔ عامل‌های زبانی به کار گرفته‌اند؛ روشی الهام‌گرفته از مدار بویایی مگس میوه که با تصویرسازی تصادفیِ تنک و سپس رقابت «برنده همه‌چیز را می‌برد»، ورودی را به کدی هش‌شده تبدیل می‌کند.

پژوهشگران گزارش می‌کنند که در مقایسه‌ای با تعداد بیت‌های همسان، FlyHash ساختار همسایگی را بهتر از SimHash حفظ کرده است. این برتری در چهار مجموعه‌داده از دو گونهٔ داده و طی ۱۰ اجرای مستقل دیده شد. آن‌ها همچنین می‌گویند مزیت روش با برچسب‌های مرتبط‌بودنِ واقعی برای حافظهٔ عامل باقی می‌ماند؛ برچسب‌هایی که به گفتهٔ پژوهشگران، برخلاف رویکرد رایج در این حوزه، صرفاً از شباهت embeddingها به دست نیامده‌اند.

اما برتری کیفی به صرفه‌جویی عملی در حافظه و زمان تبدیل نشد. در تعداد بیت برابر، کدهای FlyHash بزرگ‌تر از کدهای SimHash بودند و مقایسه‌شان نیز کندتر انجام شد؛ در مقیاس‌های معمول، HNSW هم از هر دو روش هش بهتر بود. مقایسهٔ مجموعه‌های تنک، بخش زیادی از فاصلهٔ زمانیِ مشاهده‌شده در مقایسهٔ ساده را جبران کرد، اما نه همهٔ آن را. بنابراین، نتیجهٔ مقاله دامنهٔ کاربرد عملی هش‌گذاری را محدودتر از چیزی می‌داند که برتری کیفیت به‌تنهایی القا می‌کند.

نویسندگان می‌گویند در جریان کار یک دام مقایسه‌ایِ پیش‌تر گزارش‌نشده را شناسایی و اصلاح کرده‌اند. آن‌ها کد، داده‌ها، یک نمونهٔ عملی از حافظهٔ عامل و شرح کامل خطاهای روش‌شناختی را نیز منتشر کرده‌اند.

این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.

منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗

پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست