ხელოვნური ინტელექტის ეპოქაში AI inference-ის დაჩქარება კრიტიკულად მნიშვნელოვანი გახდა. მაშინ, როდესაც ბაზარი Cerebras-ის მსგავს სპეციალიზებულ ჩიპებზეა ორიენტირებული, ფრანგული სტარტაპი Kog სრულიად განსხვავებულ გზას ირჩევს: კომპანია ამტკიცებს, რომ არსებული მონაცემთა ცენტრების GPU-ებიდან გაცილებით მეტი სიმძლავრის მიღებაა შესაძლებელი.
Kog-ის დამფუძნებლის, Gaël Delalleau-ს თქმით, მათი Kog Inference Engine (KIE) ტექნოლოგია საშუალებას იძლევა, სტანდარტულ აპარატურაზე (როგორიცაა Nvidia H200 ან AMD MI300X) მივაღწიოთ 30-ჯერ უფრო სწრაფ LLM inference-ს. მიუხედავად იმისა, რომ თავდაპირველი დემონსტრაცია მცირე ზომის მოდელებზე ჩატარდა, სტარტაპი აქტიურად მუშაობს უფრო დიდი მასშტაბის მოდელების ოპტიმიზაციაზე.
Delalleau-ს უნიკალური მიდგომა, რომელიც მყარი სხეულების ფიზიკის ცოდნასა და კიბერუსაფრთხოების სფეროში „თეთრი ქუდის“ ჰაკერულ გამოცდილებას ეფუძნება, საშუალებას აძლევს გუნდს, ჩიპების არქიტექტურა უმაღლეს დონეზე შეისწავლოს. „ჩვენი მიზანია, გავიგოთ GPU-ს ფიზიკური კანონები და გამოვიყენოთ ის ისეთი მიზნებისთვის, რისთვისაც ის თავდაპირველად არ იყო შექმნილი“, — აცხადებს ის.
მიუხედავად იმისა, რომ თითოეული ახალი ჩიპის ოპტიმიზაცია თვეებს მოითხოვს, Kog-ის მიდგომა დიდ ინტერესს იწვევს ბიზნეს სექტორში, სადაც AI-ს სიჩქარე პირდაპირ აისახება შემოსავალზე. კომპანია, რომელიც უკვე სარგებლობს საფრანგეთის მთავრობისა და Scaleway-ის მხარდაჭერით, სექტემბრისთვის გეგმავს პირველი მასშტაბური მოდელის 10-ჯერ დაჩქარებას, რაც მათ Series A რაუნდისთვის მყარ საფუძველს შეუქმნის.
წყარო: techcrunch.com
