El software tradicional suele ofrecer un contrato claro: con la misma entrada y el mismo estado, una función devuelve el mismo resultado. Un LLM ofrece otro contrato: para una entrada produce una distribución de respuestas posibles y el proceso de inferencia elige una.
Ese cambio no vuelve inútil al modelo. Cambia dónde debes colocar la confianza.
Función determinística
entrada + estado ──→ una salida esperada
Modelo probabilístico
entrada + contexto ──→ probabilidades ──→ una salida muestreadaUna calculadora debe devolver siempre 4 para 2 + 2. Un modelo puede explicar el mismo
resultado con frases, ejemplos y niveles de detalle distintos. La variación es valiosa al
redactar o explorar; es peligrosa cuando el resultado alimenta una autorización, una factura
o una migración de datos.
El LLM asigna una probabilidad a cada siguiente token. El sampling elige uno y esa elección cambia las probabilidades del paso siguiente. Una desviación pequeña al principio puede terminar en una respuesta diferente.
También influyen el contexto, la versión del modelo y la infraestructura del proveedor. Bajar la temperatura reduce variación, pero no convierte una API de IA en una función matemática con garantía bit a bit.
[!TIP] La arquitectura sana es híbrida: el modelo maneja la ambigüedad y el programa conserva el control de lo que debe ser exacto.
Sigue con LLM para ver el mecanismo que produce esa distribución. Más adelante, Inferencia y sampling explica cómo se elige cada token, y Evaluaciones cómo medir un sistema variable.