NilaMind: Cihaz Üzerinde Çalışan 1.5B Parametreli Ruh Sağlığı LLM'i
NilaMind, Qwen2.5-1.5B modelini llama.cpp ile Android'de tamamen çevrimdışı çalıştırıyor; kriz güvenliği model dışı deterministik bir katmanda.
NilaMind, bulut tabanlı ruh sağlığı asistanlarının aksine hiçbir veriyi internete göndermeyen açık kaynaklı bir Android uygulaması. Qwen2.5-1.5B-Instruct modelini Q4_K_M kuantizasyonuyla, llama.cpp'nin ARM64 için native derlenmiş halini JNI köprüsüyle React/Capacitor arayüzüne bağlayarak telefonda çalıştırıyor. Model bir kez indirilip SHA-256 ile doğrulandıktan sonra uygulama tamamen çevrimdışı işliyor.
Asıl mühendislik kararı modelde değil, güvenlik katmanında: kriz tespiti LLM'e bırakılmıyor. Deterministik bir regex/anahtar kelime tarayıcısı ve MiniLM tabanlı ONNX sınıflandırıcıdan oluşan iki katmanlı bir kapı, her girdi ve çıktıyı denetliyor; ayrıca manik büyüklenmeci veya dürtüsel ifadeleri onaylamayı engelleyen ayrı bir 'yağcılık karşıtı' kural var. Herhangi bir kural tetiklendiğinde yanıt, modelin ürettiğinden bağımsız olarak güvenli bir yönlendirmeyle değiştiriliyor.
Ses girişi Vosk WASM ile tamamen cihaz üzerinde metne çevriliyor, veriler AES-256-GCM ile şifrelenip IndexedDB'de saklanıyor, kimlik doğrulama ise hesap gerektirmeyen BIP39 kurtarma cümlesiyle yapılıyor. Apache 2.0 lisanslı proje 230'dan fazla dosyada ~2.550 testle destekleniyor.
Mühendisler için önemi: gizlilik-kritik yapay zeka uygulamalarında güvenlik mantığının modelden tamamen ayrıştırılıp deterministik, denetlenebilir bir katmana taşınmasının somut ve açık kaynaklı bir örneği.