پژوهشگران نشانه‌های ساختاریِ اثبات‌های ریاضیِ تولیدشده با هوش مصنوعی را بررسی کردند

پژوهشی تازه در arXiv می‌پرسد آیا می‌توان مشارکت هوش مصنوعی در خودِ اثبات‌های ریاضی را از کمک این ابزارها به نگارش متن جدا کرد و تشخیص داد. پژوهشگران برای بررسی این مسئله پنج مجموعه شامل ۸٬۲۸۱ مقاله گردآوری کرده‌اند؛ این مجموعه‌ها مقاله‌های تاریخی arXiv، آثاری با استفادهٔ قابل‌توجه از هوش مصنوعی که این مشارکت را اعلام کرده‌اند، دست‌نوشته‌های منتشرشده از سوی OpenAI و نمونه‌هایی را که پژوهشگران با هوش مصنوعی تولید کرده‌اند دربر می‌گیرد. مجموعه‌ها همچنین شامل جفت‌مقاله‌هایی هستند که به مسئله‌های پژوهشی یکسان می‌پردازند.

پژوهشگران چارچوبی به نام ProofTrace معرفی کرده‌اند که هر مقاله را به شکل گرافِ پشتیبانی فوریِ اثبات (GIPS) نمایش می‌دهد و ویژگی‌های قابل‌تفسیرِ سازمان‌دهی ریاضی را استخراج می‌کند. به گفتهٔ مقاله، این روش نشانه‌هایی تکرارشونده در اثبات‌های تولیدشده با هوش مصنوعی یافته است: ارجاع کمتر به نتایج بیرونی، اتکای بیشتر به نتیجه‌گیری‌های میانی و تفاوت در اتصال‌های گراف. بسیاری از این نشانه‌ها پس از کنترل حوزهٔ پژوهش، طول دست‌نوشته یا اندازهٔ گراف نیز باقی مانده‌اند.

در نمایش‌های مبتنی بر مؤلفه‌های اصلی، مقاله‌های بازنویسی‌شده با هوش مصنوعی به نمونه‌های انسانی نزدیک می‌مانند؛ دو گروهِ مقاله‌های تولیدشده با هوش مصنوعی در جهت‌هایی کمابیش مشترک از آن‌ها فاصله می‌گیرند و مقاله‌هایی که استفادهٔ قابل‌توجه از هوش مصنوعی را اعلام کرده‌اند، میان این گروه‌ها قرار می‌گیرند. جایگاه گروه اخیر در گذر زمان به نمونه‌های تولیدشده با هوش مصنوعی نزدیک‌تر می‌شود.

در یک آزمایش جداگانه، ProofTrace توانست مقاله‌های نوشته‌شده به دست انسان را از مقاله‌های اعلام‌کنندهٔ مشارکت قابل‌توجه هوش مصنوعی متمایز کند. عملکرد آن پس از بازنویسی با هوش مصنوعی پایدار ماند، درحالی‌که عملکرد آشکارسازهای متنیِ پیشرفته به‌شدت افت کرد. پژوهشگران در عین حال به محدودیت‌هایی مانند نبود جفت‌های موردی و کنترلیِ همسان، احتمال ناقص‌بودن افشاگری‌ها و کمبود ویژگی‌های آماده برای سنجش مشارکت هوش مصنوعی در اثبات‌ها اشاره می‌کنند. این مقاله پیش‌چاپ است.