Akana. Türkçenin yapısını, uygulamanızın bir parçası yapın.
Akana Türkçe metni işler: sözcüklere ayırır, kök ve eklerini bulur, dilbilgisi ve yazım hatalarını düzeltir, kişisel verileri ve gizli anahtarları maskeler, yapay zekâyla yazılmış metni tespit edip insansılaştırır ve anlamına göre arar. Python’dan, komut satırından ya da Rust’tan kullanılır.
- kitabıma: Kök sözlükteki biçimine döner: kitab, kitap olur.
- okullarımızdakilerden: Tek sözcükte yedi parça: bir kök ve altı ek.
- çalıştırılamayacakmış: Beş ek almış bir fiil; her ek anlamı değiştirir.
Akana üç Türkçe sözcüğü kök ve eklerine ayırır. kitabıma: kitap (kök, isim) + ım (iyelik, benim) + a (yönelme hâli); b harfi sözlükteki kök “kitap”a döner. okullarımızdakilerden: okul + lar + ımız + da + ki + ler + den. çalıştırılamayacakmış: çalış + tır + ıl + ama + yacak + mış. Ayrıştırma Akana 0.6.0 çıktısıdır.
Türkçe metin için sekiz araç.
Akana, Rust ile yazılmış, Python’dan da kullanılabilen ve donanım SIMD hızlandırması kullanan bir Türkçe NLP kütüphanesi. Her araç tek başına ya da aynı akışta diğerleriyle birlikte çalışır.
Tokenizer
Kesme işaretli özel adları (İstanbul’da), kısaltmaları, adresleri, tarihleri ve para birimlerini doğru ayıran kurala dayalı sözcük ve cümle ayırıcı. Saniyede yaklaşık 950.000 token.
Morfolojik analiz
93.167 köklük sözlükle kök ve ek analizi, birleşik sözcük ayrıştırma ve analizden sözcük üretme. Zeyrek’ten yaklaşık 56 kat hızlı.
Dilbilgisi denetimi ve düzeltme
GECTurk’ün 25 kategorisinin tamamında (de/da, ki, mi, kesme işareti, birleşik yazım) kurala dayalı tespit ve düzeltme, açıklamalarıyla. Tek CPU çekirdeğinde saniyede 1.471 cümle.
Yazım denetimi
SIMD hızlandırmalı yazım denetimi, Türkçe karakter düzeltme ve gündelik yazımı düzeltme (yapcam → yapacağım, çooook → çok).
Kişisel veri ve gizli anahtar maskeleme
Kimlik numarası, IBAN ve telefondan API anahtarlarına ve şifrelere kadar KVKK uyumlu 50’den fazla kategori; doğrulama algoritmaları ve kayıpsız geri yükleme. Saniyede yaklaşık 3.570 belge.
Yapay zekâ metni tespiti
LLM’le yazılmış Türkçe metnin izlerini bulur: noktalama tuhaflıkları, tekrarlanan -mektedir yapısı, tekdüze ritim, bürokratik bağlaçlar ve çeviri kokan ifadeler.
Türkçe humanizer
Bu bulguları hukuki-idari yazıdan edebi yazıya beş üslupta somut yeniden yazım önerilerine çevirir.
Anlamsal ve hibrit arama
2,5 MB’lık yerleşik Türkçe embedding modeli (saniyede 20.000 cümle) ve ALTAI’nin kendi geliştirdiği hibrit arama yöntemi: 1-bit vektörler morfolojik BM25 ile birleşir; Türkçe RAG testlerinde yalnız CPU ile %96,7–100 Recall@10.
Girdiden çıktıya.
- Girdi: Ekli sözcükler ve kısaltmalar içeren Türkçe bir metin.
- İşlem: Sözcük ve cümle ayrıştırma; ardından gerekene göre kök-ek analizi, dilbilgisi ve yazım düzeltme, kişisel veri maskeleme veya arama.
- Çıktı: Arama ya da metin analizi için kullanılabilecek parçalar ve dil bilgisi.
Müşteri projelerinde.
Akana’yı Türkçe belge arama uygulamalarında kullanıyoruz. Kurumunuzun metinlerini işliyor, arama için parçaları hazırlıyor ve sonuçları kendi örneklerinizle test ediyoruz.
İlk örneği çalıştırın.
Akana 0.6.0 ile çalıştırıldı.
pip install akana==0.6.0
python - <<'PY'
import akana
print(akana.tokenize_words("Kitabıma yeni notlar ekledim."))
print(akana.Morphology().analyze("kitabıma"))
PY
Künye
- Ortam: Rust + Python
- Arayüz: Python / CLI / Rust
- Lisans: MIT / Apache-2.0
- Kaynak: GitHub, Dokümantasyon
- Kapsam: Her araç ayrı bir iştir. Hız ve doğruluk değerleri projenin kendi testlerinden (README).