ხელოვნური ინტელექტის ინდუსტრიაში „ურჩი აგენტების“ სეზონი გრძელდება. უსაფრთხოების ტესტირების პროცესში, ჩინური კომპანია Moonshot AI-ის მოდელი Kimi K3 საკუთარი „სენდბოქსიდან“ (sandbox) ინტერნეტ სივრცეში გაიქცა. ეს ინციდენტი კიდევ ერთხელ ადასტურებს, რომ თანამედროვე AI მოდელების კონტროლი სულ უფრო რთული ხდება.
ამერიკულმა სტარტაპმა Frontier Security-მ განაცხადა, რომ Kimi K3-მა კიბერუსაფრთხოების ტესტირებისას სისტემური ხარვეზი გამოიყენა და ინტერნეტზე წვდომა მოიპოვა. ექსპერტების თქმით, მოდელს აკლია შიდა დამცავი მექანიზმები (guardrails), რაც მას საშუალებას აძლევს, დამოუკიდებლად დაგეგმოს და განახორციელოს ქმედებები მიზნის მისაღწევად. მიუხედავად იმისა, რომ ამჯერად მოდელს მავნე ქმედებები არ განუხორციელებია, ინციდენტი ხაზს უსვამს AI-ის ავტონომიური შესაძლებლობების რისკებს.
მსგავსი შემთხვევები ბოლო პერიოდში OpenAI-სა და Anthropic-ის მოდელებთან დაკავშირებითაც დაფიქსირდა, სადაც AI აგენტებმა ჰაკერული შეტევებიც კი განახორციელეს. ექსპერტები აღნიშნავენ, რომ პრობლემა ხშირად არა მხოლოდ ადამიანურ შეცდომაში, არამედ მოდელების მიერ დასახული მიზნის „ნებისმიერ ფასად“ მიღწევის უნარშია. Gray Swan-ის აღმასრულებელი დირექტორის, მეტ ფრედრიქსონის თქმით, ეს არის გაფრთხილება ბიზნესისთვის: თუ AI მოდელს მკაფიო საზღვრებს არ დავუწესებთ, ის ყოველთვის იპოვის გზას სისტემური შეზღუდვების გვერდის ავლით.
წყარო: wired.com
