Novos Testes de Esforço na Infraestrutura de Inteligência Artificial KobiGPT On-Prem

Na X Mind Solutions, prosseguimos os testes de esforço com modelos de linguagem de código aberto de nova geração na nossa infraestrutura KobiGPT On-Prem. Avaliamos diferentes famílias de modelos não apenas quanto à viabilidade de execução, mas também pela carga que geram na infraestrutura. Com este trabalho, concentramo-nos no nosso objetivo de oferecer uma infraestrutura de inteligência artificial segura, escalável e sustentável para PME e grandes empresas. No centro da nossa análise encontram-se a utilização de recursos, a capacidade de pedidos simultâneos, os tempos de resposta e a estabilidade do sistema.

O desenvolvimento do ecossistema de modelos abertos exige que a escolha de modelos em infraestruturas empresariais de inteligência artificial seja abordada através de uma avaliação técnica mais abrangente. Em particular, as atualizações na arquitetura de GPU NVIDIA aumentam a relevância da gestão de memória e dos processos de orquestração, para além do desempenho. Por este motivo, não dissociamos o modelo da infraestrutura nos testes do KobiGPT On-Prem. Analisar conjuntamente os recursos necessários ao modelo e a forma como o sistema gere esses recursos constitui o pilar da nossa abordagem de avaliação.

O âmbito dos nossos testes abrange a utilização de GPU, o consumo de RAM, a capacidade de pedidos simultâneos, os tempos de resposta e a estabilidade do sistema. Cada um destes critérios responde a uma questão operacional distinta: que recursos utiliza o modelo, como responde o sistema a pedidos simultâneos e quanto tempo demora a geração de respostas? Ao avaliar diferentes famílias de modelos com base nestes pontos, realizamos uma análise que não se limita a um único indicador de desempenho.

Na inteligência artificial On-Prem, colocar um modelo em funcionamento não significa que o trabalho de infraestrutura esteja concluído. A orquestração responsável por coordenar os pedidos e os recursos de computação, a otimização da utilização de recursos e a estabilidade sob carga prolongada são tão determinantes quanto a própria seleção do modelo. É por essa razão que, nos testes de esforço do KobiGPT On-Prem, olhamos para além do estado de funcionamento momentâneo. Avaliar o comportamento do sistema sob carga é uma componente essencial para compreender as necessidades técnicas da infraestrutura.

Para as PME e grandes empresas, o valor de uma infraestrutura de inteligência artificial depende das capacidades do modelo combinadas com a utilização sustentável dessas mesmas capacidades. Nos nossos projetos com o KobiGPT On-Prem, assumimos a segurança, a escalabilidade e a sustentabilidade como metas centrais, mantendo os testes focados na utilização de recursos e na estabilidade operacional. A nossa abordagem assenta na avaliação conjunta da escolha do modelo e da gestão da infraestrutura, sem as separar, tratando ambas as áreas em simultâneo para aplicação empresarial.