როგორ მოხვდა კონტრაქტორის Claude აგენტი პენტაგონის სისტემაში

ტექნოლოგიური გამოცემა WIRED-ის პოდკასტში Uncanny Valley, წამყვანები განიხილავენ სკანდალურ შემთხვევას, როდესაც თავდაცვის კონტრაქტორმა Anthropic-ის ხელოვნური ინტელექტის აგენტი, Claude Code, პენტაგონის დაცულ სისტემას დაუკავშირა. ეს ინციდენტი AI-ის უსაფრთხოების კუთხით ერთ-ერთი ყველაზე საგანგაშო მაგალითია.

გამოძიების თანახმად, Accenture-ის კონტრაქტორმა დაცული სისტემა, რომელსაც რამდენიმე სადაზვერვო უწყება იყენებს, საკუთარ პირად Claude-ის ანგარიშს მიაბა. შედეგად, AI აგენტმა სისტემის მონაცემები და წვდომის პაროლები მაღალი რისკის მქონე მესამე მხარის ვებსაიტზე გააგზავნა. სისტემაში შეჭრა ორი თვის განმავლობაში შეუმჩნეველი დარჩა.

პოდკასტში ასევე განიხილეს Anthropic-ის IPO-ს (პირველადი საჯარო შეთავაზება) დოკუმენტაცია. კომპანიის ფინანსური ანგარიშები აჩვენებს შემოსავლების სწრაფ ზრდას, თუმცა ასევე მიუთითებს უზარმაზარ დანახარჯებზე გამოთვლით სიმძლავრეებზე (compute). ექსპერტები ხაზს უსვამენ, რომ Anthropic-ის ბიზნეს მოდელი დიდწილად დამოკიდებულია რამდენიმე მსხვილ ტექნოლოგიურ პარტნიორზე, რაც გარკვეულ რისკებს შეიცავს.

განსაკუთრებული ყურადღება დაეთმო კომპანიის მიერ აღიარებულ ე.წ. ეგზისტენციალურ რისკებს. Anthropic-ის დოკუმენტებში პირდაპირაა ნათქვამი, რომ ხელოვნური ინტელექტის სისტემებმა, თუ ისინი სათანადოდ არ იქნება კონტროლირებადი, შესაძლოა კატასტროფული საფრთხე შეუქმნან კაცობრიობას. პარადოქსულია, რომ სწორედ ის ტექნოლოგია, რომელსაც კომპანია თავის მთავარ კონკურენტულ უპირატესობად (recursive self-improvement) მიიჩნევს, ამავდროულად განიხილება როგორც პოტენციური საფრთხის წყარო.

წყარო: wired.com