این استارتاپ هوش مصنوعی هندی فقط با GPU جنگ اعلام کرد

آینده اجرای LLMS ممکن است دیگر به زیرساخت های گران قیمت یا GPU متکی نباشد. در حالی که هند در زمینه توسعه الگوی بنیادی خود تحت مأموریت هندوایی کار می کند ، یک استارتاپ با بررسی نحوه اجرای کارآمد LLMS در CPU ، رویکرد متفاوتی را در پیش گرفته است.

Ziroh Labs که بر اساس اصل در دسترس بودن AI در دسترس همه قرار گرفته است ، سکویی به نام Kompact AI ایجاد کرده است که اجرای LLM های پیشرفته را بر روی CPU های گسترده در دسترس امکان پذیر می کند و نیاز به GPU های گران قیمت و اغلب کمیاب را برای استنتاج از بین می برد و به زودی برای مدل های تنظیم دقیق تا ۵۰ میلیارد پارامتر.

Hrishikesh Dewan ، بنیانگذار آزمایشگاه های Ziroh ، در مصاحبه اختصاصی با مصاحبه منحصر به فرد گفت: “با یک مدل ۵۰ میلیارد پارامتر ، در هنگام تنظیم دقیق یا استنباط ، هیچ پردازنده گرافیکی لازم نخواهد بود.” هدف. وی در ادامه افزود: کار روی قابلیت های تنظیم دقیق در حال حاضر در حال انجام است و در سه ماه آینده منتشر خواهد شد و ادعا می کند که دیگر هیچ کس به GPU برای آموزش مدل های خود احتیاج نخواهد داشت.

آزمایشگاه های Ziroh همچنین با IIT Madras و بنیاد IITM Pravartak Technologies برای راه اندازی مرکز تحقیقات AI (COAIR) برای حل چالش های دسترسی محاسباتی هند با استفاده از مدل های AI بهینه سازی شده برای دستگاه های CPU و Edge همکاری کرده است.

آزمایشگاه های زیرو در کالیفرنیا ، ایالات متحده و بنگالورو هند مستقر است. دیوان اظهار داشت که کومپکت هوش مصنوعی کاملاً در دفتر بنگالورو – از علم و مهندسی اصلی گرفته تا هر جنبه ای از طراحی و اجرای آن – توسعه یافته است.

این شرکت قبلاً ۱۷ مدل هوش مصنوعی از جمله Deepseek ، Qwen و Llama را بهینه کرده است تا به طور کارآمد بر روی CPU ها اجرا شود. این مدل ها با IIT Madras معیار بوده اند و هم عملکرد کمی و هم دقت کیفی را ارزیابی می کنند.

فناوری kompact ai

دیوان توضیح داد که LLM ها چیزی نیستند جز معادلات ریاضی که می توانند در هر دو GPU و CPU اجرا شوند. وی گفت که آنها از تکنیک تقطیر و کمیت سازی استفاده نمی کنند ، که امروزه کاملاً متداول است. در عوض ، آزمایشگاه های ZIROH مبانی ریاضی (جبر خطی و معادلات احتمال) LLMS را تجزیه و تحلیل می کند و این موارد را در یک سطح نظری بهینه می کند بدون اینکه ساختار مدل را تغییر دهد یا اندازه پارامتر آن را کاهش دهد.

پس از بهینه سازی نظری ، این مدل به طور خاص برای پردازنده ای که در آن اجرا می شود ، با در نظر گرفتن پردازنده ، مادربرد ، معماری حافظه (مانند ذخیره های L1/L2/L3) و اتصال دهنده ها تنظیم می شود.

دیوان استدلال کرد که اجرای LLM بر روی CPU جدید نیست – چالش واقعی حفظ کیفیت و دستیابی به سرعت قابل استفاده (توان) است. وی توضیح داد که هر چیزی که قابل محاسبه باشد می تواند روی هر رایانه ای اجرا شود ، اما عملی این است که چقدر سریع و با دقت اجرا می شود. آنها توانسته اند هر دو جنبه را بدون فشرده سازی مدل ها حل کنند.

Dewan گفت: “بنابراین آنچه ضروری است که باید حل شود ، دو برابر است. یکی این است که سطح نتیجه مورد نظر را تولید کنید ، یعنی کیفیت. و دو این است که چقدر سریع تولید را تولید می کند. بنابراین این دو مشکلی است که باید حل شود. اگر بتوانید این موارد را با هم حل کنید ، سیستم قابل استفاده می شود.”

همکاری با IIT Madras

دیوان اظهار داشت که مشارکت با IIT Madras از طریق استاد S Sadagopan ، مدیر سابق IIIT-Bangalore ، که وی را با استاد V Kamakoti ، مدیر فعلی IIT Madras معرفی کرد ، به وجود آمد.

در این رویداد پرتاب ، سادگوپان گفت: “هند نیز در حال توسعه GPU است ، اما زمان لازم خواهد بود. آزمایشگاه های Ziroh نشان می دهد که راه حل های AI می توانند با استفاده از CPU هایی که در مقدار زیادی در دسترس هستند ، بدون نیاز اجباری به GPU ، با کسری از هزینه ، توسعه یابد.”

Dewan افزود: همکاری آنها با IIT Madras دارای یک هدف دوگانه است-اعتبار سنجی مدل و توسعه موارد استفاده در دنیای واقعی. وی گفت: “ایده این است که این LLM ها را در دسترس استارتاپ ها قرار دهیم تا یک اکوسیستم ساخته شود.”

کاماکوتی گفت که این ابتکار نشان دهنده یک رویکرد با الهام از طبیعت است. “طبیعت به ما آموخته است که فرد می تواند به طور مؤثر دانش را بدست آورد و متعاقباً فقط در مجموعه محدودی از دامنه ها استنباط می شود. تلاش برای به دست آوردن همه چیز در زیر جهان پایدار نیست و در طی یک دوره زمانی ناکام است.”

وی افزود: “این تلاش مطمئناً گامی اساسی در دستگیری تقسیم احتمالی هوش مصنوعی بین کسی است که می تواند سیستم های مدرن hyperscalar را تحمل کند و کسی که نمی تواند.”

Dewan در مورد طیف متنوعی از موارد استفاده که از زمان راه اندازی Kompact AI پدید آمده است ، بحث کرد. “ما بیش از ۲۰۰ درخواست در بخش های مختلف ، از جمله مراقبت های بهداشتی ، تله متری از راه دور و حتی راه حل ها دریافت کرده ایم کایرانا فروشگاه ها ، “او گفت.

دیوان افزود: “مردم همچنین در حال ایجاد ابزارهای نرم افزاری آموزش و سیستم های اتوماسیون هستند. بسیاری از موارد استفاده نوآورانه از صنایع مختلف حاصل می شوند.”

سرمایه گذاری های بزرگی را در هوش مصنوعی انجام دهید

مایکروسافت اعلام کرده است که قصد دارد ۸۰ میلیارد دلار برای ساخت مراکز داده هوش مصنوعی هزینه کند ، در حالی که متا و گوگل به ترتیب ۶۵ میلیارد دلار و ۷۵ میلیارد دلار مرتکب شده اند. دیوان وقتی از وی سؤال شد که آیا چنین سرمایه گذاری های گسترده ای توجیه شده است ، به مقیاس مدل هایی که این شرکت ها در حال توسعه هستند اشاره کرد.

وی گفت: “آنها در حال طراحی مدل های عظیم هستند … پایان نامه آنها این است که مدل های بزرگ کارهای زیادی را انجام می دهند.” در حالی که ۵۰ میلیارد دلار ممکن است به عنوان مبلغ گسترده ای به نظر برسد ، دیوان خاطرنشان کرد: در دنیای مدل های بزرگ زبان ، نسبتاً متوسط ​​است ، با استناد به Grok ، که بیش از یک تریلیون پارامتر دارد ، به عنوان نمونه. وی افزود: “آنها پول دارند ، بنابراین آنها این کار را می کنند. و ما فناوری را داریم و ما می توانیم مشکلات خود را حل کنیم. بنابراین همه همزیستی خواهند کرد.”

آزمایشگاه های Ziroh در حال حاضر تیمی از یازده نفر را دارد و از آن استفاده می کند. این شرکت در سال ۲۰۱۶ برای پرداختن به مشکل مهم حریم خصوصی و امنیت داده ها ، به طور خاص با تمرکز بر توسعه سیستم های رمزنگاری حفظ حریم خصوصی که می توانند در مقیاس استفاده شوند ، تأسیس شد. دیوان گفت که آنها هنوز در این زمینه کار می کنند. “ما در سال ۲۰۲۶ حریم شخصی را به هوش مصنوعی خواهیم آورد ، زیرا در نهایت ، هوش مصنوعی باید حریم خصوصی داشته باشد.”