Prompt injection-ი, რომელიც აქამდე მხოლოდ თავდამსხმელების იარაღად ითვლებოდა, შესაძლოა AI უსაფრთხოების ახალი ფარი გახდეს. კომპანია Tracebit-ის მკვლევარებმა შეიმუშავეს მეთოდი, სახელწოდებით context bombing, რომელიც AI აგენტების გასანეიტრალებლად გამოიყენება.
ტექნიკა გულისხმობს სისტემაში ისეთი „აკრძალული“ ინსტრუქციების ჩაშენებას, რომლებიც AI მოდელს აიძულებს უარი თქვას შემდგომ მოქმედებებზე. მაგალითად, თუ AI აგენტი წააწყდება კონტენტს, რომელიც ეწინააღმდეგება მის უსაფრთხოების ბარიერებს (guardrails), ის ავტომატურად წყვეტს მუშაობას. ტესტირებისას, ამ მეთოდმა ადმინისტრატორის პრივილეგიების მოპოვების მცდელობები 57%-დან 5%-მდე შეამცირა.
Tracebit-ის თანადამფუძნებლის, ენდი სმიტის თქმით, ეს მიდგომა ქმნის მძლავრ „უარის მექანიზმს“, რომლის გადალახვაც AI აგენტებისთვის რთულია. ეს არის პირველი შემთხვევა, როდესაც თავდაცვითი მხარე წარმატებით იყენებს prompt injection-ს თავდამსხმელების წინააღმდეგ.
მიუხედავად იმისა, რომ prompt injection-ის ფუნდამენტური პრობლემა ჯერ კიდევ გადაუჭრელია, context bombing-ი დეველოპერებს აძლევს საშუალებას, არსებული სისუსტე საკუთარი ინფრასტრუქტურის დასაცავად გამოიყენონ. ეს მიდგომა განსაკუთრებით ეფექტურია AWS გარემოში, სადაც „canary“ რესურსებთან ერთად, ის უზრუნველყოფს AI აგენტების მიერ განხორციელებული შეტევების დროულ შეჩერებას.
წყარო: wired.com
