PrismML: მცირე ზომის LLM-ები, რომლებიც AI-ის გამოყენების წესს ცვლიან

თუ ხელოვნური ინტელექტის სტარტაპი PrismML ჯერ არ გსმენიათ, დროა ყურადღება მიაქციოთ. კომპანიამ 22.25 მილიონი დოლარის საწყისი დაფინანსება მოიზიდა და ავითარებს ტექნოლოგიას, რომელსაც ინდუსტრიის შეცვლა შეუძლია. PrismML-ის მთავარი ფსონი იმაზეა, რომ მაღალი წარმადობის მქონე, მსჯელობის უნარის მქონე დიდი ენობრივი მოდელები (LLM) სულაც არ უნდა იყვნენ „დიდი“ ზომის.

სტარტაპი ქმნის მოდელებს, რომლებიც იმდენად კომპაქტურია, რომ პერსონალურ კომპიუტერებსა და სმარტფონებზე მუშაობენ. კომპანიამ ახლახან გამოუშვა Bonsai 2 27B, რომელიც Alibaba-ს ცნობილ მოდელს, Qwen3.8 27B-ს, 5.9 გიგაბაიტამდე კუმშავს. ეს არის მეხსიერების 9-10-ჯერადი შემცირება, რაც მოდელს მოწყობილობაზე ლოკალურად გაშვების საშუალებას აძლევს.

PrismML დაფუძნებულია Caltech-ის მკვლევრების მიერ, კომპანიას ხელმძღვანელობს პროფესორი ბაბაკ ჰასიბი, ხოლო მრჩეველთა საბჭოში Databricks-ის თანადამფუძნებელი იონ სტოიკა შედის. ტექნოლოგიის უნიკალურობა იმაშია, რომ კუმშვის მიუხედავად, მოდელები თითქმის არ კარგავენ წარმადობას — Bonsai 2 ორიგინალი მოდელის შედეგების 98%-ს ინარჩუნებს.

როგორ მუშაობს ეს? PrismML ამცირებს „წონებს“ (weights), რომლებიც მოდელის ცოდნას ინახავს. ჩვეულებრივ, თითოეული წონა 16 ბიტს მოითხოვს, ხოლო PrismML-ის „ტერნარული“ მიდგომა მას სამ მნიშვნელობამდე (+1, -1, 0) ამცირებს. შედეგად, მოდელი გაცილებით ნაკლებ სივრცეს იკავებს.

იონ სტოიკას თქმით, ეს ტექნოლოგია ხელოვნურ ინტელექტს მომხმარებლის ხელის გულზე ათავსებს: „ეს იქნება უფასო, რადგან მუშაობს თქვენს მოწყობილობაზე და კონფიდენციალური, რადგან მონაცემები არ იგზავნება ღრუბლოვან სერვერებზე.“ უახლოეს თვეებში PrismML გეგმავს ასობით მილიარდი პარამეტრის მქონე მოდელების ოპტიმიზაციას, რაც, ჰასიბის თქმით, კიდევ უფრო გაამარტივებს 100%-იანი წარმადობის მიღწევას.

წყარო: techcrunch.com