LiteLLM üzerinden Bedrock

Kuruluşunuz Codex'i LiteLLM üzerinden Amazon Bedrock'a yönlendiriyorsa bu sayfayı kullanın. Bir LiteLLM ağ geçidi zaten varsa önce Codex'i bağlayın. LiteLLM'i yalnızca kuruluşunuzun yeni bir ağ geçidine ihtiyacı olduğunda dağıtın.

Diğer ağ geçidi ürünleri de aynı ağ geçidi gereksinimlerini ve Codex bağlantı akışını izler.

Mevcut bir ağ geçidine bağlanın

Ağ geçidi yöneticinizden şu değerleri alın:

• https://gateway.example.com/v1 gibi bir HTTPS temel URL'si.
• LiteLLM'in onaylı bir Bedrock modeline yönlendirdiği model takma adı.
• Codex yapılandırmasında kullanılacak sağlayıcı kimliği.
• Kapsamı sınırlandırılmış bir ağ geçidi kimlik bilgisi veya bunu döndüren bir kimlik doğrulama yardımcısı.
• Kuruluşunuzun yapılandırmasıyla dağıtılan model kataloğu varsa bu katalog.

Ardından bağlantıyı şu sırayla tamamlayın:

1. Ağ geçidi ekibinizden ağ geçidinin POST /v1/responses uç noktasını sunduğunu, yanıtları akış halinde ilettiğini, devam turlarını ve araç çağrılarını koruduğunu ve onaylı takma adı yönlendirdiğini doğrulamasını isteyin. Ağ geçidi uyumluluğu sayfasına bakın.
2. Sağlayıcıyı, modeli ve kimlik bilgisini yapılandırmak için Bir ağ geçidine bağlanın sayfasını izleyin.
3. Etkin sağlayıcıyı ve takma adı doğrulayın, bağlantı kılavuzundaki kısa gateway-ok prompt'unu gönderin ve LiteLLM kaydının beklenen kullanıcıyı ve takma adı gösterdiğini doğrulayın.
4. Kuruluş genelinde dağıtım için Codex'i bir ağ geçidi üzerinden dağıtın sayfasıyla devam edin.

Ağ geçidi kimlik bilginiz, LiteLLM'de kimliğinizi doğrular. Ağ geçidi kendi Bedrock kimlik bilgilerini yönetir; bu kimlik bilgilerini iş istasyonunuza kopyalamanız gerekmez.

Bir ağ geçidi hazırlayın

Bu bölümü yalnızca Codex'i bağlamadan önce bir LiteLLM ağ geçidi oluşturmanız gerekiyorsa kullanın.

Dağıtımdan önce

Aşağıdakilere sahip olduğunuzu doğrulayın:

• Onaylı LiteLLM mimarisini AWS ortamınızda dağıtma izni.
• Yönlendireceğiniz modellere veya çıkarım profillerine Bedrock erişimi.
• İncelenmiş bir LiteLLM imajı ve dağıtım düzeni.
• Güvenilir bir HTTPS ana makine adı ve sertifikası.
• Sınırlandırılmış bir istemci ağ aralığı.

Aşağıdaki Runtime örneğinde ağ geçidinin AWS kimliği, seçilen çıkarım profili ve hesabın varsayılan projesi için bedrock:InvokeModel iznine ihtiyaç duyar. Gerekli izinler için AWS'nin GPT-6 Sol kurulum talimatlarına bakın.

Mimari

Dağıtım, istemci sınırında HTTPS kullanarak LiteLLM'i Codex ile Bedrock arasında tutar. Yük dengeleyici ve LiteLLM, kuruluşunuzun ağ geçidi sınırları içindedir; sağlayıcı kimlik bilgisi ağ geçidinde kalır.

Gelen erişimi onaylı istemcilerle sınırlandırın, veritabanı ve önbellek bağlantı noktalarını özel ağda tutun ve ağ geçidine yalnızca ihtiyaç duyduğu Bedrock izinlerini verin. Yeniden başlatmanın uygulamayı fark ettirmeden değiştirmemesi için dağıtılan imajı özet değeriyle sabitleyin.

Prompt'lar, kaynak alıntıları ve araç sonuçları ağ geçidinden geçer ve günlüklerine kaydedilebilir. İstek günlüğünü etkinleştirmeden önce saklama, erişim ve hassas bilgileri maskeleme kararlarını verin. MCP server'lar ve eklentilerin bağlantıları ve kimlik doğrulamaları ayrıdır; bu ağ geçidi yapılandırması onları yapılandırmaz.

Dağıtım kontrol noktaları

Ağ geçidini geliştiricilere sunmadan önce şu kontrol noktalarını sırayla tamamlayın:

Aşağıdaki bölümler her kontrol noktasını ele alır. Üretim ortamında kullanıma sunarken konuşmanın devam turlarını, araçları ve kimlik bilgisi iptalini de test edin.

Bedrock rotasını seçin

LiteLLM'in üst sağlayıcı rotası, Bedrock uç noktasını, model tanımlayıcısını ve kimlik doğrulama yöntemini belirler. Ağ geçidini dağıtırken veya değiştirirken bu seçimleri birlikte ele alın.

Yeni yapılandırmalar için Bedrock Runtime kullanın. Aşağıdaki örnek, bunun OpenAI uyumlu Responses uç noktasını kullanır.

Alternatif rota için LiteLLM'in Bedrock Mantle entegrasyonuna bakın.

AWS dağıtım örneği için sürümü sabitlenmiş ECS üzerinde LiteLLM referansını kullanın. Bu uygulama Bedrock Runtime kullanır ve kimlik doğrulama bilgilerini ECS görev rolünden yeniler. Dağıtım ve kimlik doğrulama adımlarını birlikte izleyin; üretim gereksinimlerini ağ, TLS, günlük kaydı ve kaynak saklama ilkelerinizle karşılaştırarak inceleyin.

Hangi rotayı seçerseniz seçin, dağıtılan ağ geçidi sürümü, üst sağlayıcı uç noktası ve model birleşimini Ağ geçidi uyumluluğu gereksinimlerine göre doğrulayın. Bir üst sağlayıcı modelinin ağ geçidinin model listesinde görünmesi, akış, konuşmanın devamı ve araç davranışlarının Codex ile çalıştığını kanıtlamaz.

Bir Runtime model rotası yapılandırın

Codex'e sunulan sabit bir takma adı onaylı üst sağlayıcı modeliyle eşleştirin. Bu Runtime örneğini kullanmadan önce AWS hesabınızda ve Bölgenizde erişimi doğrulayın.

model_list:
  - model_name: company-coding-model
    litellm_params:
      model: openai/global.openai.gpt-6-sol
      api_key: os.environ/AWS_BEARER_TOKEN_BEDROCK
      api_base: https://bedrock-runtime.us-east-1.amazonaws.com/openai/v1

Gizli bilgi yönetim sisteminiz üzerinden AWS_BEARER_TOKEN_BEDROCK olarak geçerli bir Bedrock API key sağlayın. Kısa ömürlü bir anahtar için süresi dolmadan yenisini oluşturun, ağ geçidi sürecinin ortamını güncelleyin ve bu anahtarı kullanan çalışan süreçleri yeniden başlatın veya yeniden dağıtın. ECS referansı ise kimlik bilgilerini görev rolünden süreç içinde yeniler; yapılandırmasını ve giriş noktasını birlikte kullanın.

openai/ öneki, LiteLLM'in OpenAI uyumlu bağdaştırıcısını seçer; yapılandırılan api_base istekleri Bedrock Runtime'a gönderir. Global çıkarım profili, istekleri kaynak Bölgenin dışına yönlendirebilir. AWS izinlerinizi ve veri yerleşimi gereksinimlerinizi karşılayan bir profil ve Bölge seçin; gerektiğinde her iki değeri de değiştirin.

İstemci company-coding-model gönderir; LiteLLM yapılandırılmış üst sağlayıcı rotasını kullanır. Bu özel takma ad, sonraki bölümde açıklanan eşleşen istemci kataloğunu gerektirir. Genel bir ağ geçidi, yerleşik Bedrock sağlayıcısının meta veri düzenlemelerini devralmaz.

İstemci kataloğunu hazırlayın

Codex 0.158.0 ile kullanılan bu GPT-6 Sol/Runtime örneği için ilgili sürümün model kataloğundaki tam gpt-6-sol kaydıyla başlayın. Bu kayda aşağıdaki düzenlemelerin tamamını uygulayın:

Modelin talimatları ve bağlam sınırları dahil olmak üzere kalan alanları koruyun. Düzenlenen kaydı kataloğun üst düzey models dizisinde tutun. Bu değişiklikler, yayımlanan Bedrock meta veri düzenlemelerini ve Runtime arama kısıtlamasını yansıtır. İstemci sürümünü veya üst sağlayıcı modelini değiştirirken bunları eşleşen kaynakla yeniden karşılaştırın.

JSON dosyasının tamamını dağıtın ve Codex'i bir ağ geçidi üzerinden dağıtın sayfasını kullanarak model_catalog_json ayarını yapılandırın. Runtime istemci yapılandırmasında web_search = "disabled" ayarını koruyun. Düzenlenen kataloğu daha fazla kullanıcıya dağıtmadan önce ağ geçidi üzerinden doğrulayın.

Responses desteğini doğrulayın

İstemciye sunulan HTTPS uç noktasında POST /v1/responses yolunu kullanıma açın. Yük dengeleyiciyi ve varsa ters proxy'leri akış olaylarını arabelleğe almadan iletecek şekilde yapılandırın. Devam turlarını ve işlev çağrısı sonuçlarını koruyun. Tek başına çalışan bir Chat Completions uç noktası bu bağlantı için yeterli değildir.

İstemci yapılandırmasını dağıtmadan önce Ağ geçidi uyumluluğu sayfasındaki kontrolleri tamamlayın. Kullanıcılarınızın kullanacağı ana makine adı, ağ denetimleri ve kimlik doğrulama yolu üzerinden test edin.

Bir test kimlik bilgisi oluşturun

Bir test kullanıcısı için kapsamı sınırlandırılmış bir LiteLLM sanal anahtarı oluşturun. Anahtarı onaylı takma adla sınırlandırın; son geçerlilik tarihini, istek sınırlarını ve bütçeyi yapılandırın. Uygulanabilecek denetimler için LiteLLM'in sanal anahtar belgelerine bakın.

Anahtarı gizli bilgi yönetim süreciniz veya bir kimlik doğrulama yardımcısı üzerinden dağıtın. Kullanıcılara LiteLLM yönetici anahtarını vermeyin veya ağ geçidi kimlik bilgilerini config.toml içine gömmeyin.

Kullanıcı bağlantısını doğrulayın

Erişimi genişletmeden önce şu kontrolleri tamamlayın:

1. HTTPS sertifikasının ağ geçidi ana makine adıyla eşleştiğini ve hizmetin sağlıklı çalıştığını doğrulayın.
2. Bir ağ geçidine bağlanın sayfasını izleyerek bir kullanıcıyı bağlayın.
3. Kısa bir prompt, bir devam turu ve salt okunur bir araç görevi çalıştırın.
4. Ağ geçidi kayıtlarının kimlik bilgilerini veya hassas prompt içeriğini açığa çıkarmadan beklenen kimliği, takma adı ve üst sağlayıcı rotasını gösterdiğini doğrulayın.
5. Kimlik bilgisinin süresinin dolmasını veya iptal edilmesini test edin ve yetki verilmeyen model takma adlarının reddedildiğini doğrulayın.

Dağıtılan imaj sürümünü, rota yapılandırmasını ve test sonuçlarını kullanıma sunma kaydınızla birlikte saklayın. Ekibe dağıtım ve devam eden operasyonlar için Codex'i bir ağ geçidi üzerinden dağıtın sayfasıyla devam edin.

Bağlantı sorunlarını giderin

Sorunun kaynağını daraltmak için hata veren katmanı temel alın:

Düzeltmeden sonra aynı kullanıcı yolunu yeniden test edin. Başarılı bir ağ geçidi sağlık kontrolü, kimliği doğrulanmış bir çıkarım isteğini veya eksiksiz bir Codex turunu doğrulamaz.