Fine-tuning

Qué es

Fine-tuning es el proceso de continuar el entrenamiento de un modelo preentrenado con un dataset específico de tu dominio, ajustando los pesos del modelo para que aprenda patrones, estilos o comportamientos particulares.

Por qué importa

Un modelo preentrenado es generalista. El fine-tuning lo hace especialista. Permite que el modelo aprenda el vocabulario específico de tu industria, el tono de tu marca, el formato de tus respuestas o comportamientos muy específicos que serían difíciles de lograr solo con prompts.

Fine-tuning vs RAG

Esta es la comparación más frecuente en la práctica:

| Fine-tuning | RAG | |---|---| | Aprende comportamiento y estilo | Accede a información externa | | La información queda "dentro" del modelo | La información se recupera en tiempo real | | Actualizar requiere re-entrenar | Actualizar solo requiere re-indexar | | Más caro y complejo | Más barato y flexible | | Ideal para formato/tono/comportamiento | Ideal para información dinámica o privada |

La regla práctica: para información que cambia, usa RAG. Para comportamiento o estilo que no cambia, considera fine-tuning.

Cuándo tiene sentido el fine-tuning

• Quieres que el modelo siempre responda en un formato muy específico
• Tienes un dominio tan especializado que RAG no es suficiente
• Necesitas comportamientos que son muy difíciles de lograr con prompts
• Tienes un dataset de miles de ejemplos de alta calidad de pares input/output
• El coste de inference a largo plazo justifica la inversión en entrenamiento

Cuándo NO usar fine-tuning

• Para dar al modelo información actualizada (usa RAG)
• Para personalizar para cada usuario (usa RAG + contexto)
• Cuando tienes menos de unos pocos miles de ejemplos buenos
• Cuando aún no has optimizado bien el system prompt y el contexto

En la mayoría de los casos de negocio, un buen Context Engineering con RAG es suficiente y mucho más barato de mantener.

Términos relacionados

• RAG
• LLM
• Context Engineering