اما فولکر استراسن ریاضیدان در سال 1969 ثابت کرد که ضرب یک ماتریس از دو ردیف از دو عدد در دیگری هم اندازه لزوماً به معنای هشت ضرب نیست و با یک ترفند هوشمندانه می توان آن را به هفت کاهش داد. الگوریتم مسیربه چند جمع بیشتر نیاز دارد، اما این قابل قبول است زیرا جمع در رایانه زمان بسیار کمتری نسبت به ضرب می برد.
این الگوریتم برای بیش از 50 سال کارآمدترین رویکرد در اکثر اندازه‌های ماتریس بوده است، اگرچه پیشرفت‌های جزئی که به راحتی با کد رایانه سازگار نمی‌شوند، یافت شده‌اند. اما هوش مصنوعی DeepMind اکنون تکنیک سریع تری را کشف کرده است که روی سخت افزار فعلی عالی عمل می کند. هوش مصنوعی جدید این شرکت، AlphaTensor، بدون اطلاع از راه حل ها شروع به کار کرد و با مشکل ایجاد یک الگوریتم کاری که کار را با حداقل تعداد مراحل تکمیل می کرد، مواجه شد.
برای قرن‌ها، اعتقاد بر این بود که کارآمدترین راه برای ضرب ماتریس‌ها متناسب با تعداد عناصر در حال ضرب است، به این معنی که کار برای ماتریس‌های بزرگ‌تر و بزرگ‌تر به نسبت دشوارتر می‌شود.
توسط متیو اسپارکس
“به هر طریقی، شبکه های عصبی شهودی دارند که چه چیزی خوب و چه چیزی بد به نظر می رسد. صادقانه بگویم، نمی توانم دقیقاً به شما بگویم که چگونه کار می کند. من فکر می کنم باید کار نظری در آنجا انجام شود که دقیقاً چگونه یادگیری عمیق انجام می شود. فوزی می گوید: از این قبیل چیزها.
اما پیشرفت DeepMind لزوماً به این معنی نیست که کدگذاران انسانی بیکار هستند. «آیا برنامه نویسان باید نگران باشند؟ شاید در آینده ای دور. بهینه‌سازی خودکار برای دهه‌ها در صنعت طراحی ریزتراشه انجام شده است و ابزار مهم دیگری در زرادخانه کدگذار است.» لاچیش می‌گوید.
ضرب ماتریس – که در آن دو شبکه اعداد با هم ضرب می شوند – اساس بسیاری از کارهای محاسباتی را تشکیل می دهد و یک تکنیک بهبود یافته کشف شده توسط هوش مصنوعی می تواند سرعت محاسبات را تا 20٪ افزایش دهد.
ریاضی
5 اکتبر 2022
ضرب ماتریس – که در آن دو شبکه اعداد با هم ضرب می شوند – یک کار محاسباتی اساسی است که تقریباً در همه نرم افزارها تا حدی استفاده می شود، اما به ویژه در گرافیک، هوش مصنوعی و شبیه سازی های علمی. حتی یک بهبود کوچک در کارایی این الگوریتم ها می تواند دستاوردهای قابل توجهی در عملکرد یا صرفه جویی قابل توجهی در مصرف انرژی داشته باشد.
ژاک نایت در دانشگاه ساسکس، انگلستان، ادعا می‌کند که طیف وسیعی از نرم‌افزارهایی که بر روی ابررایانه‌ها و سخت‌افزار قدرتمند اجرا می‌شوند، مانند تحقیقات هوش مصنوعی و شبیه‌سازی آب و هوا، در واقع ضرب ماتریس در مقیاس بزرگ هستند.
DeepMind دریافته است که الگوریتم‌ها می‌توانند سرعت محاسبات را 10 تا 20 درصد بر روی سخت‌افزارهای خاصی مانند واحد پردازش گرافیکی Nvidia V100 (GPU) و واحد پردازش تانسور Google (TPU) نسخه 2 افزایش دهند، اما هیچ تضمینی وجود ندارد که این دستاوردها نیز انجام شوند. در دستگاه های معمولی مانند تلفن هوشمند یا لپ تاپ دیده می شود.
او الگوریتمی برای ضرب دو ماتریس از چهار ردیف چهار عددی با استفاده از تنها 47 ضرب پیدا کرد که از ضرب 49 استراسن پیشی گرفت. او همچنین تکنیک‌های بهبودیافته‌ای را برای ضرب ماتریس‌های اندازه‌های دیگر، در مجموع ۷۰ عدد، توسعه داد.
اودید لاچیش در Birkbeck، دانشگاه لندن، استدلال می‌کند که الگوریتم‌های جدید می‌توانند کارایی طیف گسترده‌ای از نرم‌افزارها را افزایش دهند، زیرا ضرب ماتریس یک مشکل رایج است – و احتمالاً الگوریتم‌های دیگری نیز به دنبال خواهند داشت.
دیمیترو ویکارچوک/شاتراستوک
یک هوش مصنوعی که توسط شرکت DeepMind ایجاد شده است، روش جدیدی را برای ضرب اعداد کشف کرده است که اولین پیشرفت در نوع خود در بیش از 50 سال گذشته است. این کشف می تواند برخی از سرعت های محاسباتی را تا 20 درصد افزایش دهد، زیرا طیف وسیعی از نرم افزارها بر انجام کار در مقیاس تکیه دارند.
او می‌گوید: «اگر این نوع رویکرد واقعاً در آنجا اجرا می‌شد، می‌توانست نوعی شتاب جهانی باشد. اگر انویدیا این را در کتابخانه CUDA خود پیاده سازی کند [a tool that allows GPUs to work together]من می گویم درصد معینی از بارهای کاری یادگیری عمیق را کاهش می دهد.
AlphaTensor هزاران الگوریتم کاربردی را برای هر اندازه ماتریس کشف کرد، از جمله 14000 برای ماتریس‌های 4×4، اما تنها تعداد کمی از آنها بهتر از وضعیت موجود بودند. این تحقیق بر اساس AlphaZero، مدل بازی DeepMind انجام شده است و تکمیل آن دو سال به طول انجامید.
حسین فوزی در Deepmind می‌گوید که نتایج از نظر ریاضی منطقی هستند، اما به دور از شهودی برای انسان هستند. او می‌گوید: «ما واقعاً نمی‌دانیم چرا سیستم این را ایجاد کرده است. “چرا این بهترین راه برای ضرب ماتریس است؟” معلوم نیست.”
“من فکر می کنم ما شاهد نتایج ایجاد شده توسط هوش مصنوعی برای مشکلات دیگر با ماهیت مشابه خواهیم بود، اگرچه به ندرت چیزی به اندازه ضرب ماتریس مرکزی است. انگیزه قابل توجهی برای چنین فناوری وجود دارد، زیرا عملیات کمتر در یک الگوریتم فقط به معنای نتایج سریعتر نیست. این همچنین به معنای مصرف انرژی کمتر است.” او می گوید. اگر یک کار را بتوان کمی کارآمدتر انجام داد، می توان آن را روی سخت افزار کم قدرت و انرژی کمتری اجرا کرد. در انرژی، یا روی همان ماده در زمان کمتر، با استفاده کمتر. انرژی.
