VaultGemma: Google-un gizlilik dil modeli

Google’dan gizlilik yönümlü ilk böyük dil modeli: VaultGemma

Google, süni intellekt sahəsində mühüm addım ataraq gizlilik yönümlü ilk böyük dil modeli – VaultGemma-nı təqdim etdi. Bu model, diferensial gizlilik texnologiyası ilə istifadəçi məlumatlarını qorumağı hədəfləyir və öyrənilən məlumatların “yadda saxlanılması” riskini minimuma endirir.

AI və gizlilik problemi

Böyük dil modellərinin (LLM) inkişafında ən böyük çətinliklərdən biri yüksək keyfiyyətli məlumat tapmaqdır. İnternetdən toplanan məlumatlar arasında həssas istifadəçi informasiyalarının təsadüfən modellərə daxil olması mümkündür. Bu isə ciddi gizlilik pozuntuları yarada bilər.

Üstəlik, bəzi hallarda LLM-lər öyrənilmiş məlumatları eyni formada təkrar edə bilər. Bu həm şəxsi məlumatların açıqlanması, həm də telif hüquqlarının pozulması riskini artırır.

Diferensial gizlilik necə işləyir?

Diferensial gizlilik metodunda modelin təlim prosesinə əlavə kalibrlənmiş təsadüfi səs-küy daxil edilir. Bu yanaşma modelin məlumatı “yadda saxlamasının” qarşısını alır. Lakin metod eyni zamanda modelin dəqiqliyinə və hesablama gücünə təsir edə bilir.

Google Research komandası apardığı testlərdə göstərdi ki, düzgün balanslaşdırılmış “səs-küy” və məlumat miqdarı modelin performansını qorumağa imkan yaradır. Bu tədqiqatların nəticəsi kimi VaultGemma hazırlanıb.

VaultGemma necə quruldu?

Yeni model, Gemma 2 bazasında yaradılıb və təxminən 1 milyard parametrə sahibdir. Hərçənd ki, ölçüsü çox böyük deyil, amma eyni ölçüdəki gizlilik tətbiq olunmamış modellərlə müqayisədə yüksək nəticələr göstərir.

Araşdırmaçılar vurğulayır ki, diferensial gizlilik xüsusilə kiçik və xüsusi məqsədli LLM-lərdə daha səmərəli işləyir.

İstifadəyə açıq model

Google, VaultGemma-nı açıq şəkildə təqdim edib. İstifadəçilər modeli endirmək və dəyişdirmək imkanına sahibdir, lakin qadağan olunmuş istifadələr və Gemma lisenziyası ilə bağlı qaydalara əməl etmək tələb olunur.

Hazırda modelə Hugging Face və Kaggle üzərindən çıxış mümkündür.