Mevlana YalçınAI consulting

Vaka çalışması

Canlı bir LLM pazar yerini alıcı tarafında denetlemek

Herkese açık bir çıkarım pazarı her istek için en düşük fiyatı vaat ediyor ve istekleri birbirine rakip tedarikçiler arasında dağıtıyor. İki gün ve yaklaşık 400 $ kayıt kredisi harayarak, bir müşterinin görebildiği araçlarla hizmetin gerçekte ne yaptığını ölçtük.

Nasıl yapıldı

  • Yirmi hesap programatik olarak açıldı; her biri farklı bir konut çıkış IP'si aldı ve ölçümler bu hesapların verdiği anahtarlardan yapıldı.
  • Belge değil davranış ölçüldü: istek gövdeleri, fişler, süreler, önbellek başlıkları ve web konsolunun kendisinin çağırdığı uçlar.
  • Kontrollü girdiler gönderildi; URL çeken alanlara dışarıdan iz sürücü işaretler bırakıldı ki hizmetin müşteri adına neye dokunduğu görülsün.
  • İstekler başarısız olduğunda API'nin kendi doğrulama hatalarından gerçek alan adları geri okundu.

Paraya değecek dokuz bulgu

01

Kör sunucu-taraflı istek sahteciliği (SSRF)

Bir URL alanı işaretimizi birbirinden bağımsız iki bulut ağından çekti; jenerik bir Go HTTP istemcisi ve bir izin listesi izi yoktu. Prensipte iç uçlara erişilebiliyor.

02

Aynı alanda zamanlama fâli

Reddedilen, yanıtlanan ve süzülen girdiler kabaca 2,5, 3,9 ve 12,5 saniye sürdü. Üretilebilir üç ayrı süre, URL'nin hangi yoldan geçtiğini dışarıdan gözlenebilir kılıyor.

03

Görsel yanıtlarda belirgin arıza

Bir yanıt biçimi her seferinde aynı 502'yi ve çözülemeyen bir gövdeyi üretti; arıza modelin rastgeleliğinde değil, platformun işleyişinde.

04

Önbellek isabetleri ücretsiz ve hesaplar arası

Önbellekten dönen yanıt başka bir hesabın anahtarına servis edildi ve kredi düşürmedi. Tekrarlanan isteklerde iyi; anahtarlar arası yalıtım bekleyenler için bilinmesi gereken bir davranış.

05

Başarısız iş ücretsiz; SLA kredisine ulaşılamıyor

Başarısız işlerden hiç ücret alınmadı. Gözlemlenen 600'ü aşkın işin tamamı 'sözleşme karşılandı' kayıtlıydı; vaat edilen hizmet kredisi bir kez bile işlemadı.

06

Pazarı tek satıcı tutuyor

Tek satıcı tekliflerin ~%98'ine (786'da 773) ve 1.882 ömür boyu işe sahipti; diğerleri 379, 267, 54, 49 ve 1 işte kaldı. Fiyat rekabeti bugün için göstermelik.

07

Yönlendirme ödeli harcama üzerinden değil

Yönlendirme platform komisyonunun %20'si; bu da yönlendirilen kişinin harcadığının kabaca %1'i. Bu, programların genellikle okunduğu şeyden önemli ölçüde farklı.

08

Sınır model görünürlüğü ada değil arza bağlı

İlk ölçümde tarihli anlık görüntüler servis edilirken taahhüt adı ve 'latest' biçimleri üç arayüzde 19 istek biçiminde aynı şekilde düştü. İki hafta sonra yeniden ölçüldüğünde desen tersine döndü: tarihsiz adlar servis edildi, tarihli anlık görüntüler 404 verdi. Otomatik seçim ise ancak bir fiyatsınırı (`x-liquid-cap-usd`) verildiğinde çalışıyor.

09

İşe yarayan uçlar dokümante değil

Teklif, fiş, bakiye ve verim uçları kılavuzda değil paketlenmiş uygulamada bulundu; tedarikçi başvurusu API ile yapılabiliyor ama anahtar üretimi insan kabulüne kadar kilitli.

Karşılığında ne çıktı

Her bulgu için yineleneme adımları içeren yazılı bir rapor, müşterinin gerçekte kullandığı modeller için gecikme ve maliyet çizgisi, ve alabilecekleri üç karar: hangi modele bağlanılacağı, nerede yedek tedarikçi tutulacağı ve platformdan yazılı olarak ne isteneceği.

Aklınızda bir fikir mi var?

Bir sonraki adımı birlikte netleştirelim.

Ne üzerinde çalıştığınızı, nerede zorlandığınızı ve nasıl bir sonuç beklediğinizi anlatın. Gerisini birlikte şekillendirelim.