როდესაც ბრეტ ლევენსონმა 2019 წელს Apple დატოვა და Facebook-ში ბიზნესის ინტეგრაციის მიმართულებას ჩაუდგა სათავეში, სოციალური ქსელების გიგანტი Cambridge Analytica-ს სკანდალის ეპიცენტრში იმყოფებოდა. მაშინ მას ეგონა, რომ Facebook-ის კონტენტის მოდერაციის პრობლემას უკეთესი ტექნოლოგიებით მარტივად მოაგვარებდა.
თუმცა, როგორც მან მალევე აღმოაჩინა, პრობლემა გაცილებით ღრმა იყო. მისი თქმით, ადამიან მოდერატორებს ევალებოდათ 40-გვერდიანი პოლიტიკის დოკუმენტის დაზეპირება, რომელიც მათ ენაზე მანქანურად იყო ნათარგმნი. შემდეგ მათ ჰქონდათ დაახლოებით 30 წამი თითოეული საეჭვო კონტენტისთვის, რათა გადაეწყვიტათ არა მხოლოდ არღვევდა თუ არა ის წესებს, არამედ რა უნდა გაეკეთებინათ: დაებლოკათ კონტენტი, აეკრძალათ მომხმარებელი თუ შეეზღუდათ მისი გავრცელება. ლევენსონის თანახმად, ეს სწრაფი გადაწყვეტილებები „50%-ზე ოდნავ უკეთესი სიზუსტით“ გამოირჩეოდა.
ამგვარი დაგვიანებული, რეაქტიული მიდგომა მიუღებელია თანამედროვე სამყაროში, სადაც მოქნილი და კარგად დაფინანსებული მავნე აქტორები მოქმედებენ. AI ჩატბოტების პოპულარობამ პრობლემა კიდევ უფრო გაართულა, რასაც არაერთი გახმაურებული ინციდენტი მოჰყვა, როგორიცაა თინეიჯერებისთვის თვითდაზიანების ინსტრუქციების მიცემა ან AI-გენერირებული გამოსახულებების მიერ უსაფრთხოების ფილტრების გვერდის ავლა.
ლევენსონის იმედგაცრუებამ განაპირობა „პოლიტიკის კოდის სახით“ (policy as code) იდეის გაჩენა — გზა, რომელიც სტატიკური პოლიტიკის დოკუმენტებს გარდაქმნის შესრულებად, განახლებად ლოგიკად. ამ მიდგომამ საფუძველი ჩაუყარა სტარტაპ Moonbounce-ის დაარსებას, რომელმაც 12 მილიონი დოლარის ინვესტიცია მოიზიდა Amplify Partners-ისა და StepStone Group-ის ლიდერობით.
Moonbounce კომპანიებს დამატებით უსაფრთხოების ფენას სთავაზობს ნებისმიერ პლატფორმაზე, სადაც კონტენტი გენერირდება, იქნება ეს მომხმარებლის თუ AI-ის მიერ. კომპანიამ შექმნა საკუთარი LLM, რომელიც აანალიზებს მომხმარებლის პოლიტიკის დოკუმენტებს, აფასებს კონტენტს რეალურ დროში და რეაგირებს 300 მილიწამზე ნაკლებ დროში. გადაწყვეტილება შეიძლება მოიცავდეს კონტენტის გავრცელების შენელებას ადამიანის მიერ გადამოწმებამდე, ან მაღალი რისკის მქონე შინაარსის მყისიერ დაბლოკვას.
ამჟამად Moonbounce სამ ძირითად მიმართულებას ემსახურება: პლატფორმებს, რომლებიც მუშაობენ მომხმარებლების მიერ გენერირებულ კონტენტზე (მაგ. გაცნობის აპლიკაციები); AI კომპანიებს, რომლებიც ქმნიან პერსონაჟებს ან კომპანიონებს; და AI გამოსახულების გენერატორებს. სისტემა დღეში 40 მილიონზე მეტ გადამოწმებას ატარებს და ემსახურება 100 მილიონზე მეტ ყოველდღიურ აქტიურ მომხმარებელს. მათ კლიენტებს შორის არიან Channel AI, Civitai, Dippy AI და Moescape.
„უსაფრთხოება რეალურად შეიძლება იყოს პროდუქტის უპირატესობა. ის უბრალოდ არასდროს ყოფილა ასეთი, რადგან ყოველთვის აღიქმებოდა, როგორც რაღაც, რაც მოგვიანებით ხდება და არა ის, რისი ინტეგრირებაც უშუალოდ პროდუქტში შეიძლება,“ — განუცხადა ლევენსონმა TechCrunch-ს.
კომპანიის შემდეგი ფოკუსია „იტერაციული მართვა“ (iterative steering). მავნე თემების გაჩენისას პირდაპირი უარის ნაცვლად, სისტემა შეწყვეტს საუბარს და გადაამისამართებს მას, რეალურ დროში შეცვლის prompt-ებს, რათა ჩატბოტი უფრო მხარდამჭერი პასუხისკენ უბიძგოს.
წყარო: techcrunch.com
