Kaspersky'den "Blenderbot’un açıklamaları beklenmedik ve bazen radikal görünüyor" tespiti

İSTANBUL (AA) - Ağustos 2022'nin başlarında piyasaya sürülmesinden bu yana, Meta'nın yapay zeka (AI) odaklı araştırma projesi Blenderbot’un insanlar, şirketler ve siyaset hakkındaki açıklamaları beklenmedik ve bazen radikal görünüyor.

Kaspersky açıklamasına göre, diğer benzer projeler daha önce Blenderbot’un yaşadığına benzer problemle karşı karşıya kaldı. Örneğin Microsoft'un Twitter için hazırladığı sohbet botu Tay ırkçı açıklamalarıyla dikkat çekmişti.

Bu, internetten gelen metinler ve görüntüler üzerinde eğitilen makine öğrenimi modellerinin zayıf noktasını yansıtıyor. Çıktılarını inandırıcı kılmak için çok büyük ham veri kümeleri kullanıyorlar, ancak bu tür modeller web üzerinde eğitildikleri takdirde yakaladığı önyargıları davranışlarına yansıtıyorlar.

Şimdiye kadar bu projeler çoğunlukla araştırma ve bilim amacıyla ortaya koyuluyordu. Bununla birlikte kuruluşlar artık dil modellerini müşteri desteği, çeviri, pazarlama metni yazma, metin düzeltme ve benzeri alanlarda kullanıyorlar. Bu modelleri daha az önyargılı hale getirmek için geliştiriciler, eğitim için kullanılan veri kümelerini düzenleyebilirler.

Ancak web üzerindeki veri kümeleri söz konusu olduğunda bu çok zor görülüyor. Yüz kızartıcı hataları önlemek için ilgili belgeleri kaldırmak, modelin bunları öğrenmesini önlemek için belirli kelimeleri veya ifadeleri verinin dışında tutmak adına önyargılara karşı veriyi filtrelemek gerekiyor. Diğer bir yaklaşım, modelin şüpheli metin oluşturması durumunda uygun olmayan çıktıları kullanıcılara ulaşmadan filtrelemek olarak öne çıkıyor.

Daha geniş açıdan bakıldığında koruma mekanizmaları önyargıların ötesinde herhangi bir makine öğrenmesi (ML) modeli için gerekli görülüyor.

Geliştiriciler modeli eğitmek için açık verileri kullanırsa, özel hazırlanmış, hatalı biçimlendirilmiş verilerin saldırganlar tarafından veri kümesine eklendiği "veri zehirlenmesi" adı verilen tekniğin kurbanı olabilir. Sonuç olarak model bazı olayları tanımlayamayabilir, onları başkalarıyla karıştırıp ve yanlış kararlar verebilir.

Kuruluşlar, makine öğrenimi sistemlerine yönelik tehditler hakkında özel bir bilgi kaynağı olan MITRE ATLAS'a da başvurabilirler. ATLAS ayrıca ML saldırılarında kullanılan bir taktik ve teknik matrisi sağlıyor.

Kaspersky, olası güvenlik açıklarını ortaya çıkarmak, hasarı görmek ve bu tür bir saldırı riskinin nasıl azaltılacağını anlamak için siber saldırıları taklit ederek istenmeyen posta önleme ve kötü amaçlı yazılım algılama sistemleri üzerinde belirli testler gerçekleştirdi.

Makine öğrenimi, Kaspersky ürün ve hizmetlerinde tehditlerin tespiti, Kaspersky SOC'de uyarı analizi veya üretim süreci korumasında anormallik tespiti amacıyla yaygın olarak kullanılıyor.

Açıklamada görüşlerine yer verilen Kaspersky Baş Veri Bilimcisi Vladislav Tushkanov, çok fazla çaba ve uzmanlık gerektirmesi nedeniyle gerçekte bu tür tehditlerin nadir olsa da, şirketlerin hala önleyici tedbirler alması gerektiğini ve bunun aynı zamanda eğitim modelleri sürecindeki hataları en aza indirmeye yardımcı olacağını ifade etti.

Tushkanov, "Öncelikle kuruluşların eğitim için hangi verilerin kullanıldığını ve nereden geldiğini bilmeleri gerekiyor. Ayrıca çeşitlendirilmiş verilerin kullanılması zehirlenmeyi daha da zorlaştırır. Son olarak, modeli devreye almadan önce kapsamlı bir şekilde test etmek ve performansını sürekli olarak izlemek önemlidir." değerlendirmesinde bulundu.