پژوهش

BrainBind، چارچوبی برای سنجش بازیابی ویدئو از داده‌های هم‌زمان EEG و fMRI

پژوهشگران، EEG و fMRI ثبت‌شده هنگام تماشای ویدئوهای بلند را به فضاهای تعبیهٔ ویدئویی نگاشتند؛ نتایج نشان می‌دهد نوع مدل و شاخص ارزیابی بر رتبه‌بندی گزینه‌ها اثر می‌گذارد.

۲ دقیقه مطالعه
Figure 1: Overview of BrainBind. Synchronized EEG and fMRI responses are mapped into a frozen long-form video proxy space, which provides a shared visual-semantic geometry for comparing modality-specific and fused neural
تصویر درج‌شده در مقالهٔ اصلی؛ حقوق بازنشر مستقل تأیید نشده است. — arXiv · AI (پیش‌چاپ) · پرونده اصلی · منبع تصویر: ناشر خبر

پیش‌چاپ BrainBind به مسئلهٔ تحلیل هم‌زمان EEG و fMRI هنگام تماشای ویدئوهای بلند و روایی می‌پردازد. این دو روش فعالیت مغز را در مقیاس‌های زمانی و مکانی متفاوت ثبت می‌کنند و در این مطالعه، چون هنگام تماشای یک محرک مشترک ثبت شده‌اند، زمینهٔ روایی و تکرار صحنه‌ها نیز در داده‌ها حضور دارد. چارچوب پژوهش این سیگنال‌ها را به فضاهای تعبیهٔ ویدئوییِ ازپیش‌آموزش‌دیده نگاشت می‌کند و آن فضاها را مرجع‌های معنایی بصری می‌گیرد، نه بازنمایی لفظیِ کدهای عصبی.

در ارزیابی روی مجموعه‌دادهٔ CineBrain، پنج اجرای مستقل با دو مرجع ویدئویی و چهار پیکربندی سامانه بررسی شد. با Omni، داده‌های fMRI فهرست گزینه‌ها را بهتر از پیکربندی‌های دیگر مرتب کردند؛ امتیاز MRR برابر ۲۳٫۸۲ و nDCG@10 برابر ۲۵٫۳۱ بود. در مقابل، Joint-Dual بالاترین میانگین label-aware R@1 را ثبت کرد: ۱۳٫۵۲ درصد. نویسندگان همچنین ارزیابی‌ای با جداسازی اپیزودها انجام دادند تا سهم هویت محرک‌های تکراری و زمینهٔ روایی را در تقسیم‌بندی تصادفی بسنجند. به‌گفتهٔ مقاله، انتخاب مرجع و پیکربندی سامانه به الگوهای متفاوتی در رتبه‌های نخست و کل فهرست بازیابی می‌انجامد؛ نتایج به همین مجموعه‌دادهٔ هم‌زمان محدود است. مقاله در BMVC 2026 پذیرفته شده است.

این گزارش به کمک هوش مصنوعی تهیه شده است. مطالب براساس منابع درج‌شده تنظیم شده‌اند؛ صحت مستقل همه ادعاها تضمین نمی‌شود.

منبع: arXiv · AI (پیش‌چاپ) — مشاهده منبع اصلی ↗

پیش‌چاپ پژوهشی در arXiv؛ انتشار در این مخزن به معنی داوری همتا نیست