Modelo Fundacional

Un modelo fundacional es un modelo de machine learning a gran escala entrenado con conjuntos de datos amplios y diversos que puede adaptarse a una amplia gama de tareas posteriores sin haber sido diseñado específicamente para ninguna en particular. El término, acuñado por el Centro de Investigación de Modelos Fundacionales de Stanford en 2021, refleja la idea de que estos modelos sirven como una base fundamental sobre la cual se construyen aplicaciones especializadas.

Las características clave de los modelos fundacionales incluyen:

1. Escala y Generalidad: Los modelos fundacionales se entrenan con conjuntos de datos masivos que abarcan texto, código, imágenes o múltiples modalidades, aprendiendo patrones generales que se transfieren a través de muchas tareas. GPT-4, Claude, Gemini y Llama son ejemplos destacados.

2. Base de Aprendizaje por Transferencia: En lugar de entrenar modelos específicos para cada tarea desde cero, los profesionales fine-tune o prompt modelos fundacionales para casos de uso específicos, aprovechando el conocimiento general ya codificado en los pesos del modelo.

3. Capacidades Emergentes: A medida que los modelos fundacionales escalan, exhiben capacidades para las que no fueron entrenados explícitamente, como el aprendizaje en contexto, el razonamiento en cadena de pensamiento y el uso de herramientas, convirtiéndolos en bloques de construcción cada vez más versátiles.

4. Alto Costo de Entrenamiento: Entrenar un modelo fundacional de vanguardia cuesta decenas a cientos de millones de dólares en cómputo, concentrando el desarrollo entre organizaciones con amplios recursos mientras la comunidad más amplia construye sobre sus resultados.

5. Abierto vs. Cerrado: El ecosistema abarca modelos totalmente abiertos (Llama, Mistral) que liberan los pesos para auto-alojamiento, y modelos cerrados solo de API (GPT-4, Claude) que ofrecen acceso exclusivamente a través de servicios gestionados.