Modelo Fundacional

Um modelo fundacional é um modelo de aprendizado de máquina em larga escala, treinado em conjuntos de dados amplos e diversos, que pode ser adaptado a uma ampla gama de tarefas subsequentes sem ser projetado especificamente para nenhuma delas. O termo, cunhado pelo Centro de Pesquisa em Modelos Fundacionais de Stanford em 2021, reflete a ideia de que esses modelos servem como uma base fundacional sobre a qual aplicações especializadas são construídas.

As principais características dos modelos fundacionais incluem:

1. Escala e Generalidade: Modelos fundacionais são treinados em conjuntos de dados massivos que abrangem texto, código, imagens ou múltiplas modalidades, aprendendo padrões gerais que se transferem para muitas tarefas. GPT-4, Claude, Gemini e Llama são exemplos proeminentes.

2. Base de Transferência de Aprendizagem: Em vez de treinar modelos específicos para tarefas do zero, profissionais ajustam (fine-tune) ou 'promptam' modelos fundacionais para casos de uso específicos, aproveitando o conhecimento geral já codificado nos pesos do modelo.

3. Capacidades Emergentes: À medida que os modelos fundacionais escalam, eles exibem capacidades para as quais não foram explicitamente treinados, como aprendizado em contexto (in-context learning), raciocínio em cadeia de pensamento (chain-of-thought reasoning) e uso de ferramentas, tornando-os blocos de construção cada vez mais versáteis.

4. Custo Elevado de Treinamento: Treinar um modelo fundacional de ponta custa dezenas a centenas de milhões de dólares em computação, concentrando o desenvolvimento entre organizações com bons recursos enquanto a comunidade mais ampla constrói sobre seus resultados.

5. Abertos vs. Fechados: O ecossistema abrange modelos totalmente abertos (Llama, Mistral) que liberam os pesos para auto-hospedagem, e modelos fechados apenas via API (GPT-4, Claude) que oferecem acesso exclusivamente por meio de serviços gerenciados.