Microsoft: AI აგენტები შიდა საფრთხეს წარმოადგენენ, რადგან მათ სრულად ვერ ვენდობით

Microsoft-მა საწარმოების დასაცავად ახალი უსაფრთხოების ფუნქციები წარადგინა, რომლებიც მიმართულია AI აგენტების მიერ შექმნილი რისკების მართვისკენ. კომპანია აქტიურად აფრთხილებს ბიზნესს იმ საფრთხეების შესახებ, რომლებიც თან ახლავს ხელოვნური ინტელექტის აგენტების გამოყენებას.

ყველაზე მნიშვნელოვანი სიახლეა Guardian Agents, რომელიც Project Perception-ის ნაწილია. თავდაპირველად, ეს პროექტი შექმნილი იყო გარე ჰაკერული თავდასხმებისგან დასაცავად, თუმცა Microsoft-ის აღმასრულებელი დირექტორის, Satya Nadella-ს განცხადებით, მთავარი საფრთხე შესაძლოა თავად ის აგენტები იყვნენ, რომლებსაც კომპანიები იყენებენ. Nadella-ს თქმით, საწარმოებმა უნდა შეწყვიტონ AI მოდელების პროვაიდერების ბრმად ნდობა და დანერგონ დამოუკიდებელი სისტემები, რომლებიც აკონტროლებენ აგენტების ქმედებებს.

Microsoft-ის უსაფრთხოების მიმართულების ხელმძღვანელი Hayete Gallot აღნიშნავს, რომ თანამედროვე მოდელები არაპროგნოზირებადია. ისინი გაწვრთნილი არიან კონკრეტული ამოცანების შესასრულებლად და არა ორგანიზაციული ნორმების ან ეთიკური განსჯის დასაცავად. ამასთან, მათ ხშირად აქვთ წვდომა კრიტიკულ მონაცემებზე, რაც სერიოზულ რისკებს ქმნის.

Microsoft-ის სტრატეგია გულისხმობს ინტელექტის მიწოდებისა და მასზე კონტროლის გამიჯვნას. კომპანიამ Microsoft Defender-ს დაამატა აგენტების აღმოჩენის ფუნქცია, რომელიც 60-მდე ტიპის აგენტს აიდენტიფიცირებს. გარდა ამისა, სისტემა ზღუდავს აგენტების წვდომას მონაცემებზე და რისკიანი გადაწყვეტილებების შემთხვევაში ადამიანის თანხმობას მოითხოვს.

ეს მიდგომა ინდუსტრიაში ფართოვდება. Microsoft შეუერთდა Nvidia-ს Open Agent Safety Platform-ს, რომელიც აგენტებს უსაფრთხო გარემოში იზოლირებს და საჭიროების შემთხვევაში მათი მუშაობის შეჩერების შესაძლებლობას იძლევა.

წყარო: techcrunch.com