Türkçe metin. Farklı temsiller.
İki açık model, Türkçe cümleleri anlamına göre aranabilen ve karşılaştırılabilen sayılara çevirir. Modeli, çalışacağı işe göre seçin.
- Bir cümle: Modelin okuduğu parçalara ayrılır.
- BGE-M3 Distill 4L: Dört Transformer katmanı; bir özet token 1024 sayıya dönüşür.
- TurboQuant 2-bit: Katman yok: her parça 2 bitte saklı 256 sayıyı tablodan alır; ortalamaları cümleyi temsil eder.
“Türkçe belgeler içinde arama.” cümlesi beş parçaya ayrılır. BGE-M3 Distill 4L parçaları dört Transformer katmanından geçirir; özet token 1024 sayıya dönüşür (modelin gerçek çıktısı). Model2Vec TurboQuant 2-bit’te katman yoktur: her parça 2 bitte saklı 256 sayısını tablodan alır; ortalamaları cümleyi temsil eder (örnek değerler).
Türkçe arama için embedding modelleri.
BGE-M3’ten türettiğimiz küçük embedding modelleri, Türkçe metinleri anlamsal arama için vektörlere dönüştürür. Farklı model boyutları ve sıkıştırma seçenekleri bulunur. Yayımlanan sonuçların nasıl ölçüldüğü model kartlarında açıklanır.
Türkçe metin temsili
Sorguları ve belge parçalarını benzerlik karşılaştırmasında kullanılacak vektörlere dönüştürür.
Model seçenekleri
Model kartlarında mimari, boyut, kullanım amacı ve test sonuçları bulunur.
Kendi verinizle test
Modelleri kurumunuzun sorguları ve belgeleriyle karşılaştırarak aramaya uygunluğunu ölçebilirsiniz.
Girdiden çıktıya.
- Girdi: Türkçe bir arama sorgusu ve belge parçaları.
- İşlem: Sorgu ve belgeler vektörlere dönüştürülür, benzerliklerine göre sıralanır.
- Çıktı: Sorguyla ilgili olabilecek belge parçalarının sıralı listesi.
Müşteri projelerinde.
Bu modelleri diğer seçeneklerle birlikte kurumunuzun verilerinde test ediyoruz. Arama doğruluğu, bellek kullanımı ve çalışma süresine göre uygun modeli seçip uygulamaya bağlıyoruz.
Modeli, çalışacağı işe göre seçin.
BGE-M3 Distill 4L: 1024 Boyut
- Mimari: Damıtılmış Transformer · 4 katman
- Havuzlama: CLS
- Runtime: SentenceTransformers
- Değerlendirme: Kartta STS Pearson / Spearman. Retrieval benchmark’ı değil.
- Lisans: Kartta yok. Kullanmadan önce yayıncıyla netleştirin.
Model2Vec TurboQuant 2-bit: 256 Boyut
- Mimari: Statik embedding · 2-bit
- Havuzlama: Ortalama
- Runtime: TurboQuant · Akana içinde
- Değerlendirme: Kartta STSb-TR ve CPU hızı. Ölçüm ayrıntıları sınırlı.
- Lisans: Apache-2.0. Runtime ve bağımlılıkları ayrı inceleyin.
Runtime’ı seçerek başlayın.
Sabit model sürümü. Tam çıkarım bu ortamda test edilmedi.
pip install sentence-transformers
python - <<'PY'
from sentence_transformers import SentenceTransformer
model = SentenceTransformer(
"altaidevorg/bge-m3-distill-4l",
revision="5309a3e2c4e8dd15514c2836d695afbff21797c6",
)
vectors = model.encode(["Türkçe belgeler içinde arama."])
print(vectors.shape) # expected: (1, 1024)
PY
Ya da küçük olanla.
Akana 0.6.0 içindeki TurboQuant modeliyle çalıştırıldı.
pip install akana==0.6.0
python - <<'PY'
import akana
# Akana’s bundled 2-bit TurboQuant model
vector = akana.embed("Türkçe belgeler içinde arama.")
print(len(vector)) # 256
print(akana.similarity(
"Filtreyi ne zaman temizlemeliyim?",
"Filtreyi her ay kontrol edin.",
))
PY
Dosyalar
- BGE-M3 Distill 4L: model.safetensors · config.json · modules.json
- TurboQuant 2-bit: turboquant_weights.npz · config.json
- Kullanıldığı yer: letsearch, Akana
- Model kartları: Damıtılmış BGE-M3 model kartı, 2-bit Türkçe Model2Vec model kartı
- Uygulama örneği: Eğitim verisi ve model uygulama örneği