Agent harness kaliplari: tool, memory ve policy

Agent harness, model ile dis dünya arasindaki sozlesmeyi kod ile uygular. Uc temel sütun vardir: araclara erişim (tool), oturum ve uzun sureli bilgi (memory), izin ve sınır kurallari (policy). Bu ucunun nasil birlestirildigi, ajan mimarisinin basarisini belirler.

Tool harness kalıplari

En yaygın kalip registry tabanli tool catalog'dur. Her arac metadata tasir: açıklama, parametre semasi, risk sinifi, ortalama gecikme. Model yalnizca registry'de kayitli araclari cagirabilir. Bu, prompt'ta listelenen hayali fonksiyon riskini ortadan kaldirir.

Ikinci kalip adapter katmanıdir. Dis servislerin API'leri heterojen oldugundan harness icinde OpenAPI, gRPC veya GraphQL adapter'lari bulunur. Adapter, hata kodlarini ajanin anlayacagi standart formata cevirir ve retry politikasini uygular.

ReAct ve plan-execute ayrimi

ReAct (reason + act) dongusunde model her adimda dusunur ve tek bir tool cagirir. Basit gorevler icin idealdir; maliyeti düşük, debug kolay. Plan-execute kalibinda once tam plan uretilir, sonra executor adimlari calistirir. Cok adimli is akislarinda tutarlılık artar ancak plan guncellenmezse gerçek dünya degisikliklerine uyum zayiflar.

// Registry tabanli tool tanimi
const tools = {
  searchOrders: {
    schema: { type: "object", properties: { customerId: { type: "string" } } },
    handler: async (input, ctx) => orderRepo.findByCustomer(ctx.tenant, input.customerId),
    risk: "read",
    timeoutMs: 3000
  }
};

Hybrid yaklaşım uretimde sik gorulur: planlama fazinda read-only araclar, uygulama fazinda write araclari acilir. Boylece erken asamada yanlış yazma riski dusurulur.

Memory harness stratejileri

Bellek tek bir vektor veritabanı degildir. Üretim harness'lerinde en az uc katman kullanılır:

• Working memory: Aktif oturum mesajlari, token limiti icinde tutulur.
• Episodic memory: Tamamlanan gorevlerin ozeti; benzer vaka aramasi icin.
• Semantic memory: Kurumsal bilgi, RAG ile indekslenmis dokumanlar.

Working memory tasmasi en sik performans sorunudur. Sliding window yerine ozetleme + sabit sistem baglami kalibi tercih edin. Her N mesajda harness otomatik özet üretir ve eski mesajlari arsivler. Özet kalitesi dusukse ajan baglami kaybeder; bu nedenle ozetleme icin ayri bir küçük model veya sabit şablon kullanın.

Bellek tutarlılığı ve unutma

Ajan her seyi hatirlamamali. GDPR ve veri minimizasyonu geregi episodic memory'de PII saklamayin veya TTL ile silin. Tenant bazli namespace zorunludur; vektor aramasinda filtre unutulursa capraz kirac sizintisi olur.

Write-back stratejisi: ajan ogrendigini iddia ettiginde harness otomatik yazmaz. Onaylanmis bilgi kutusu (verified facts store) kullanın. Kullanıcı duzeltmesi geldiginde eski episodic kayıt invalidate edilmeli.

Policy harness desenleri

Policy uygulamasinda uc desen one cikar:

1. Inline guard: Her tool handler basinda kontrol. Basit, düşük gecikme.
2. Central policy service: OPA, Cedar veya custom servis. Merkezi yönetim, ag gecikmesi.
3. Model-assisted policy: Risk skoru icin ikinci model. Esnek ama maliyetli ve aciklanabilirlik düşük.

Finans ve sağlık domainlerinde central policy service tercih edilir cunku kurallar denetciler tarafindan incelenir. Inline guard hızlı prototipleme icin yeterli; ölçek buyudukce merkeze tasiyin.

// Cedar benzeri pseudo-policy
permit (
  principal == Agent::"support-bot",
  action == Action::"ticket.update",
  resource
) when {
  resource.tenant == principal.tenant &&
  resource.priority <= 3
};

Kalip birlestirme: orchestrator vs graph

LangGraph, Temporal veya custom state machine ile harness kalıplarini graf olarak modelleyebilirsiniz. Her dugum bir tool grubu, memory guncellemesi veya policy kontrolu temsil eder. Graf yaklasimi karmaşık is akislarinda gorunurluk sağlar; basit chatbot icin gereksiz agirliktir.

Orchestrator kalibinda tek bir koordinator ajan alt ajanlari cagirir. Alt ajanlar dar tool setine sahiptir — örneğin "arastirma ajanı" yalnizca read, "eylem ajanı" sinirli write. Bu separation of duties güvenliği artirir.

Trade-off tablosu (sozel)

Registry + inline policy: düşük gecikme, orta güvenlik. Registry + central policy: yüksek güvenlik, ek operasyon yuku. Full episodic memory: kisisellestirme artar, sizinti riski artar. Minimal memory + RAG: daha güvenli, retrieval kalitesine bağımlı.

Gerçek dünya tuzaklari

Tool sprawl: Onlarca arac eklenince model yanlış araci secer. Gruplama ve hiyerarsik tool discovery kullanın. Memory poisoning: Kotu niyetli kullanıcı episodic store'a yanlış bilgi birakir; write onaylari sart. Policy drift: Kod ve policy dosyalari senkron gitmez; CI'da policy testleri calistirin.

Latency budget: tool + memory retrieval + policy toplami kullanıcı beklentisini asmamali. P95 8 saniye uzeri chat deneyimini bozar. Paralel read tool çağrısı ve onbellek ile optimize edin.

Test ve simulasyon

Harness kalıplarini gerçek API'ye baglamadan once in-memory fake tool'larla test edin. Property-based test ile rastgele tool dizileri uretin; policy her zaman tenant sinirini koruyor mu dogrulayin. Memory katmanları icin fixture senaryolari: uzun oturum, ani ozetleme, celiskili episodic kayıt.

Shadow mode: yeni policy veya tool setini üretim trafiginin kopyasinda calistirin, yan etki olmadan metrik toplayin. Bu kalip özellikle plan-execute gecislerinde regresyonu erken yakalar.

Ölçüm ve iyileştirme

Tool seçim dogrulugu, memory hit rate, policy block orani ve ortalama adim sayisi kalip basina karsilastirilmali. ReAct'ten plan-execute'a geciste adim sayisi dusup başarı orani artmiyorsa geçiş gereksizdir. Memory ozetleme kalitesini LLM-as-judge ile haftalik ornekleyin.

Sonuç olarak tool, memory ve policy harness kalıplari bagimsiz secilmez; birlikte tasarlanmalidir. Dar tool seti agresif memory'yi tolere eder; geniş tool seti siki policy olmadan uretime cikmamali.

Ek derinlemesine notlar

Üretim ortamlarinda bu konunun pratik etkisi çoğu zaman dokumantasyondaki teorik anlatimdan farklı seyler cikar. Ekipler ilk deploy sonrasinda gerçek trafik altinda gecikme dagiliminin staging ortamindaki tahminlerden sapabildigini görür. Bu nedenle metrikleri erken tasmak ve esik degerleri gerçek veriye gore kalibre etmek kritik oneme sahiptir.

Operasyonel olgunluk, hata oranini sifira indirmekten ziyade hatalari hızlı tespit edip sinirli etki alaniyla izole edebilmektir. Canary release, feature flag ve otomatik rollback mekanizmalarini harness ve eval katmanlariyla birlikte düşünmek gerekir. Aksi halde model veya indeks guncellemesi tüm kullanıcıları ayni anda etkiler.

Capraz fonksiyonel sahiplik de başarı icin sarttir. Platform muhendisligi altyapiyi, ML ekibi modeli, ürün ekibi deneyimi, güvenlik ekibi politika ve denetimi sahiplenmelidir. Tek bir "AI ekibi" hepsini tasimaya calistiginda bilgi silolari ve gecikmeler olusur. RFC süreci ile mimari kararlar kayıt altina alinmali; "neden RAG yerine fine-tune sectik" sorusunun cevabi alti ay sonra hala bulunabilmelidir.

Son olarak maliyet ve kalite dengesi statik degildir. Saglayici fiyatlandirmasi, yeni model aileleri ve hardware gelismeleri uc ayda bir dengeyi degistirebilir. Üretim yiginini periyodik olarak yeniden degerlendirmek — gereksiz katmanı kapatmak, cache stratejisini guncellemek, daha küçük ama yeterli modele gecmek — sürdürülebilir operasyonun parcasidir.

Ek derinlemesine notlar

Üretim ortamlarinda bu konunun pratik etkisi çoğu zaman dokumantasyondaki teorik anlatimdan farklı seyler cikar. Ekipler ilk deploy sonrasinda gerçek trafik altinda gecikme dagiliminin staging ortamindaki tahminlerden sapabildigini görür. Bu nedenle metrikleri erken tasmak ve esik degerleri gerçek veriye gore kalibre etmek kritik oneme sahiptir.

Operasyonel olgunluk, hata oranini sifira indirmekten ziyade hatalari hızlı tespit edip sinirli etki alaniyla izole edebilmektir. Canary release, feature flag ve otomatik rollback mekanizmalarini harness ve eval katmanlariyla birlikte düşünmek gerekir. Aksi halde model veya indeks guncellemesi tüm kullanıcıları ayni anda etkiler.

Capraz fonksiyonel sahiplik de başarı icin sarttir. Platform muhendisligi altyapiyi, ML ekibi modeli, ürün ekibi deneyimi, güvenlik ekibi politika ve denetimi sahiplenmelidir. Tek bir "AI ekibi" hepsini tasimaya calistiginda bilgi silolari ve gecikmeler olusur. RFC süreci ile mimari kararlar kayıt altina alinmali; "neden RAG yerine fine-tune sectik" sorusunun cevabi alti ay sonra hala bulunabilmelidir.

Son olarak maliyet ve kalite dengesi statik degildir. Saglayici fiyatlandirmasi, yeni model aileleri ve hardware gelismeleri uc ayda bir dengeyi degistirebilir. Üretim yiginini periyodik olarak yeniden degerlendirmek — gereksiz katmanı kapatmak, cache stratejisini guncellemek, daha küçük ama yeterli modele gecmek — sürdürülebilir operasyonun parcasidir.