Türkçe metin. Farklı temsiller.

İki açık model, Türkçe cümleleri anlamına göre aranabilen ve karşılaştırılabilen sayılara çevirir. Modeli, çalışacağı işe göre seçin.

Hugging Face

  1. Bir cümle: Modelin okuduğu parçalara ayrılır.
  2. BGE-M3 Distill 4L: Dört Transformer katmanı; bir özet token 1024 sayıya dönüşür.
  3. TurboQuant 2-bit: Katman yok: her parça 2 bitte saklı 256 sayıyı tablodan alır; ortalamaları cümleyi temsil eder.

“Türkçe belgeler içinde arama.” cümlesi beş parçaya ayrılır. BGE-M3 Distill 4L parçaları dört Transformer katmanından geçirir; özet token 1024 sayıya dönüşür (modelin gerçek çıktısı). Model2Vec TurboQuant 2-bit’te katman yoktur: her parça 2 bitte saklı 256 sayısını tablodan alır; ortalamaları cümleyi temsil eder (örnek değerler).

Türkçe arama için embedding modelleri.

BGE-M3’ten türettiğimiz küçük embedding modelleri, Türkçe metinleri anlamsal arama için vektörlere dönüştürür. Farklı model boyutları ve sıkıştırma seçenekleri bulunur. Yayımlanan sonuçların nasıl ölçüldüğü model kartlarında açıklanır.

Türkçe metin temsili

Sorguları ve belge parçalarını benzerlik karşılaştırmasında kullanılacak vektörlere dönüştürür.

Model seçenekleri

Model kartlarında mimari, boyut, kullanım amacı ve test sonuçları bulunur.

Kendi verinizle test

Modelleri kurumunuzun sorguları ve belgeleriyle karşılaştırarak aramaya uygunluğunu ölçebilirsiniz.

Girdiden çıktıya.

  1. Girdi: Türkçe bir arama sorgusu ve belge parçaları.
  2. İşlem: Sorgu ve belgeler vektörlere dönüştürülür, benzerliklerine göre sıralanır.
  3. Çıktı: Sorguyla ilgili olabilecek belge parçalarının sıralı listesi.

Müşteri projelerinde.

Bu modelleri diğer seçeneklerle birlikte kurumunuzun verilerinde test ediyoruz. Arama doğruluğu, bellek kullanımı ve çalışma süresine göre uygun modeli seçip uygulamaya bağlıyoruz.

Modeli, çalışacağı işe göre seçin.

BGE-M3 Distill 4L: 1024 Boyut

Model2Vec TurboQuant 2-bit: 256 Boyut

Runtime’ı seçerek başlayın.

Sabit model sürümü. Tam çıkarım bu ortamda test edilmedi.

pip install sentence-transformers

python - <<'PY'
from sentence_transformers import SentenceTransformer

model = SentenceTransformer(
    "altaidevorg/bge-m3-distill-4l",
    revision="5309a3e2c4e8dd15514c2836d695afbff21797c6",
)
vectors = model.encode(["Türkçe belgeler içinde arama."])
print(vectors.shape)  # expected: (1, 1024)
PY

Ya da küçük olanla.

Akana 0.6.0 içindeki TurboQuant modeliyle çalıştırıldı.

pip install akana==0.6.0

python - <<'PY'
import akana

# Akana’s bundled 2-bit TurboQuant model
vector = akana.embed("Türkçe belgeler içinde arama.")
print(len(vector))  # 256

print(akana.similarity(
    "Filtreyi ne zaman temizlemeliyim?",
    "Filtreyi her ay kontrol edin.",
))
PY

Dosyalar

Model kartı sizin sonucunuz değildir. Kendi sorgularınızla ölçelim.

Bize yazın