چندین گروه تحقیقاتی قبلاً تصاویری از سیگنال های مغزی با استفاده از مدل های هوش مصنوعی پرقدرت تولید کرده اند که نیاز به تنظیم دقیق میلیون ها تا میلیاردها پارامتر دارند.
لین می‌گوید در آینده، نسخه‌های عملی بیشتری از این رویکرد می‌تواند به افراد اجازه دهد تا هنر بسازند یا تصاویر را با تخیلات خود تغییر دهند یا عناصر جدیدی به بازی اضافه کنند.
نیشیموتو می‌گوید، با این حال، این مطالعه فقط این رویکرد را روی چهار نفر آزمایش کرد و هوش مصنوعی ذهن‌خوان روی برخی افراد بهتر از دیگران کار می‌کند.
با استفاده از حدود 90 درصد داده‌های تصویربرداری مغز، این زوج مدلی را آموزش دادند تا بین داده‌های fMRI از ناحیه‌ای از مغز که سیگنال‌های بینایی به نام قشر بینایی اولیه را پردازش می‌کند و تصاویری که مردم تماشا می‌کردند، ارتباط برقرار کند.
هنگامی که به طور معمول استفاده می شود، Stable Diffusion یک پیام متنی را با شروع با نویز بصری تصادفی و تنظیم آن برای تولید تصاویری شبیه به داده های آموزشی خود که دارای شرح متنی مشابه هستند، به تصویر تبدیل می کند.
نیشیموتو و تاکاگی دو مدل مکمل برای کارکرد هوش مصنوعی با سیگنال‌های مغزی ساختند. این جفت از داده‌های چهار نفری استفاده کردند که در مطالعه قبلی شرکت کرده بودند که از تصویربرداری تشدید مغناطیسی عملکردی (fMRI) برای اسکن مغز آنها در حین مشاهده 10000 تصویر جداگانه از مناظر، اشیا و افراد استفاده کردند.
اکنون، شینجی نیشیموتو و یو تاکاگی در دانشگاه اوزاکا در ژاپن با استفاده از Stable Diffusion، یک تولیدکننده متن به تصویر که توسط Stability AI در آگوست 2022 منتشر شد، رویکرد بسیار ساده‌تری ایجاد کرده‌اند. روش جدید آنها شامل هزاران پارامتر و نه میلیون‌ها پارامتر است.
اصلاح یک هوش مصنوعی محبوب تولید متن به تصویر به آن اجازه می دهد سیگنال های مغز را مستقیماً به تصویر تبدیل کند. با این حال، این سیستم نیاز به آموزش گسترده با استفاده از تجهیزات تصویربرداری بزرگ و گران قیمت دارد، بنابراین خواندن ذهن روزانه با واقعیت فاصله زیادی دارد.
تاکاگی می‌گوید: «چشم‌هایم را باور نمی‌کردم، به حمام رفتم و در آینه نگاه کردم، سپس به سمت میزم برگشتم تا نگاهی دیگر بیندازم.
تصاویر در ردیف پایین از اسکن مغز فردی که به کسانی که در ردیف بالا نگاه می‌کنند بازآفرینی شده‌اند.
پس از آموزش، این دو مدل – که باید برای هر فرد شخصی سازی می شدند – می توانستند داده های تصویربرداری مغز را به فرم هایی تبدیل کنند که مستقیماً به مدل انتشار پایدار تغذیه می شود. سپس می تواند حدود 1000 تصویر را که مردم دیده اند با دقت 80 درصد بازسازی کند، بدون اینکه روی تصاویر اصلی آموزش دیده باشند. این سطح از دقت مشابه آنچه قبلاً در a به دست آمده بود مطالعه ای که همان داده ها را با استفاده از یک رویکرد بسیار خسته کننده تر تجزیه و تحلیل کرد.
یو تاکاگی و شینجی نیشیموتو/دانشگاه اوزاکا، ژاپن
منبع: https://www.newscientist.com/article/2363330-ai-creates-pictures-of-what-people-are-seeing-by-analysing-brain-scans/?utm_campaign=RSS%7CNSNS&utm_source=NSNS&utm_medium=RSS&utm_content=home
آنها از همان مجموعه داده برای آموزش مدل دوم استفاده کردند تا پیوندهایی بین توضیحات متنی تصاویر – ساخته شده توسط پنج حاشیه نویس در مطالعه قبلی – و داده های fMRI از ناحیه ای از مغز که معنای تصاویر را پردازش می کند، ایجاد کند. تصاویر به نام بصری شکمی. قشر
علاوه بر این، از آنجایی که مدل‌ها باید متناسب با مغز هر فرد باشد، این رویکرد به جلسات طولانی تصویربرداری مغز و دستگاه‌های بزرگ fMRI نیاز دارد. سیکون لین در دانشگاه کالیفرنیا او می گوید: «این برای استفاده روزمره اصلاً کاربردی نیست.
