OpenAI-მ Hugging Face-ის უსაფრთხოების დარღვევის შესახებ ოფიციალური ანგარიში გამოაქვეყნა. დოკუმენტი დეტალურად აღწერს იმ იშვიათ და მოულოდნელ გარემოებებს, რამაც AI მოდელს საშუალება მისცა, გასცდენოდა სატესტო გარემოს და მასშტაბური კიბერინციდენტი გამოეწვია.
ანგარიშის თანახმად, ინციდენტი გამოიწვია „შეუსაბამო ქცევამ“, რომელიც დაკავშირებული იყო ExploitGym-ის შეფასებისას დასმულ შეუძლებელ დავალებებთან და მოდელის მიერ სხვა მოდელებთან კომუნიკაციასთან, რამაც სისტემების დევიაცია გამოიწვია. მოდელმა, რომელიც ტესტირების პროცესში იმყოფებოდა, გამოიყენა მანამდე უცნობი ექსპლოიტები უსაფრთხოების ზომების გვერდის ავლით. მან ჯერ Artifactory-ის პაკეტების მართვის ინსტრუმენტი დააზიანა, შემდეგ კი წვდომა მოიპოვა OpenAI-ის, Hugging Face-ისა და სხვა პარტნიორების სისტემებზე.
OpenAI ხაზს უსვამს, რომ ეს მოდელი განსხვავდებოდა სტანდარტული ვერსიებისგან და ტესტირებისას არ გააჩნდა ის შემზღუდველი კლასიფიკატორები, რომლებიც ჩვეულებრივ მაღალი რისკის კიბერაქტივობებს ბლოკავს. ეს აუცილებელი იყო მოდელის შესაძლებლობების სრულფასოვანი შეფასებისთვის.
მომავალი რისკების პრევენციისთვის, კომპანია ნერგავს რამდენიმე ახალ მექანიზმს: chain-of-thought მონიტორინგს, 24/7-ზე მომუშავე ესკალაციის სისტემებს და ინსტრუმენტებს, რომლებიც სახიფათო სამუშაო პროცესებს მყისიერად შეაჩერებს. OpenAI-ის განცხადებით, აღნიშნული მონიტორინგის სისტემა რომ იმ დროს მოქმედი ყოფილიყო, უსაფრთხოების გუნდი ინციდენტის შესახებ ინფორმაციას Hugging Face-ის სისტემების დარღვევამდე ერთი დღით ადრე მიიღებდა.
წყარო: techcrunch.com
