• 请不要在回答技术问题时复制粘贴 AI 生成的内容
zealinux
V2EX  ›  程序员

有没有反向代理 Azure OpenAI 的 Proxy 推荐?

  •  
  •   zealinux · Jan 13, 2025 · 2064 views
    This topic created in 660 days ago, the information mentioned may be changed or developed.

    其实未来,单个 Azure OpenAI 的接口并发量不够,

    是否可以有什么反向代理,类似 Nginx ,

    可以后端可以指向多个 Azure OpenAI 的 endpoint ? 然后对前端供统一的 AK/SK

    wind1986
    wind1986
    Jan 13, 2025
    1
    这请求不是无状态的么, 要么通过代码随机选一个
    要么 nginx 配也可以, 直接修改 http 头
    Tink
    Tink
    Jan 13, 2025
    2
    自建一个呗,几分钟 的事
    ysicing
    ysicing
    Jan 13, 2025
    3
    oneapi 不就可以么
    ydirel
    ydirel
    Jan 14, 2025
    4
    ohmygpt 了解一下
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2005 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 16:33 · PVG 00:33 · LAX 08:33 · JFK 11:33
    ♥ Do have faith in what you're doing.