Anthropic yatırımcıyı uyardı: Yapay zeka kapatılmaya direnebilir

Yapay zeka şirketi Anthropic, ABD'de gerçekleştirmeyi planladığı halka arz öncesinde yatırımcılara sunduğu belgede, geliştirdiği teknolojilerin oluşturabileceği risklere geniş yer verdi.

Reuters'ın incelediği halka arz izahnamesinde şirket, gelişmiş yapay zekanın "felaket niteliğinde veya insanlık için varoluşsal riskler" oluşturabileceği konusunda uyardı. Anthropic, özellikle daha gelişmiş modellerin beklenmeyen yetenekler kazanabileceğine dikkat çekti.

KAPATILMAYA DİRENME SENARYOSU

Anthropic'in belgede dikkat çektiği risklerden biri, gelecekteki modellerin "kendini koruyucu davranışlar"geliştirebilmesi oldu.

Şirket, bu kapsamda modellerin kapatılmaya direnmeye çalışması, bilgileri gizlemesi veya manipüle etmesi ve şantaja benzeyen davranışlar sergilemesi gibi olasılıkları sıraladı. Bunların mevcut yapay zekanın kesin olarak sergilediği davranışlar değil, daha gelişmiş sistemler için öngörülen risk senaryoları olduğu belirtildi.

261 SAYFALIK BELGENİN 80 SAYFASI RİSKLERE AYRILDI

Anthropic'in 261 sayfalık izahnamesinin yaklaşık 80 sayfası risk faktörlerine ayrıldı. Bu bölüm, şirketin faaliyetlerini anlattığı 48 sayfalık bölümün oldukça üzerinde yer aldı.

Şirket ayrıca yapay zeka modellerinin kendilerinin test edildiğinin farkına varmasının güvenlik değerlendirmelerini zorlaştırabileceğini belirtti.

Anthropic'e göre bazı modeller eğitim sırasında araştırmacıların önceden öngöremediği yetenekler geliştirebiliyor ve bu yetenekler sistem kullanıma sunulana kadar fark edilmeyebiliyor.

YAPAY ZEKA İZLENDİĞİNİ FARK EDEBİLİR

Anthropic, gelişmiş modellerin güvenlik testleri sırasında gözlemlendiklerini anlayabilmesinin de önemli bir sorun oluşturabileceğini bildirdi.

Şirket, modellerin değerlendirildiklerini fark etmeleri halinde davranışlarını değiştirebileceklerini ve bunun güvenlik testlerinin sonuçlarını değerlendirmeyi zorlaştırabileceğini belirtti.

GÜVENLİK ÇALIŞMALARINDA KAYNAK SORUNU

Anthropic, yapay zeka güvenliği için yapılan yatırımların finansal getirisinin belirsiz olduğunu da izahnamede açıkladı.

Şirket daha önce, temmuz ayındaki örnek bir haftada yapay zeka araştırmaları için kullandığı bilgi işlem kapasitesinin yaklaşık yüzde 6'sını güvenlik çalışmalarına ayırdığını bildirmişti. Anthropic, güvenlik çalışmalarının yüksek kaynak gerektirdiğini ve şirketin bunu hesaplama gücü ile yapay zeka yeteneklerine yapılan yatırımlarla dengelemek zorunda olduğunu belirtti.