Você pode usar a API de inferência e nossas instâncias ( usar nosso balanceador de carga hospedado para manter a mesma URL base para cada instância ) com uma Open Webui auto-hospedada já. Você pode executá-lo em sua máquina local no docker. Bastante gente já faz isso.

Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.