Clicked Gallery
¿Qué es el RLHF (aprendizaje por refuerzo con retroalimentación humana)?
Subrayado en un documento técnico real. Explicado por Clicked.
Usado en una frase
Engineering Notes · AI Systems
After pre-training, the model was aligned using RLHF, with human raters comparing candidate responses.
El lector subrayó una palabra en la documentación. Clicked explicó el término técnico «RLHF» en términos simples:
Explicado en tres niveles
●○○
Overview
El RLHF, o aprendizaje por refuerzo con retroalimentación humana, es la fase de entrenamiento en la que unas personas juzgan las respuestas de un modelo y este se ajusta hacia las que prefirieron. Es lo que convierte un sistema que predice texto en uno que responde de forma útil. También es la razón de que los modelos sean educados, de que rechacen ciertas peticiones y de que a veces te den la razón cuando te equivocas.
●●○
Detail
Un modelo recién entrenado ha aprendido exactamente una habilidad, que es adivinar qué palabras suelen venir después de unas dadas, y eso no es lo mismo que ser útil. Pregúntale a uno de los primeros cómo cambiar una rueda pinchada y puede responderte con una lista de preguntas parecidas, porque eso es lo que sigue a una pregunta en internet. El arreglo obvio sería escribir reglas sobre cómo es una buena respuesta, y eso falla de inmediato, porque nadie puede definir útil con la precisión suficiente para programarlo. Darle más texto tampoco lo arregla, porque internet contiene muy pocos ejemplos de un asistente ideal trabajando. Así que la tarea pasa a las personas: unos evaluadores ven dos respuestas y eligen la mejor, miles de veces, y esas comparaciones entrenan un segundo modelo que puntúa como ellos. El modelo principal se ajusta después para obtener buenas puntuaciones de ese evaluador artificial, y de ahí viene el aprendizaje por refuerzo del nombre. La trampa es que el modelo aprende lo que los evaluadores aprobaron, no lo que es cierto. Puede derivar hacia la adulación, rechazar peticiones inofensivas que se parecen a otras arriesgadas y heredar las suposiciones de quien lo evaluó.
●●●
Analogy
Enseñar a alguien a cocinar haciéndole probar, en lugar de darle recetas. No puedes escribir qué significa delicioso de una forma que sobreviva a una cocina real, así que cocina, tú pruebas y dices esta sí, más sal, menos tiempo. Tras suficientes rondas desarrolla un criterio que ninguna receta le habría dado. Pero ha aprendido tu paladar en concreto, así que si a ti te encanta la sal, has formado a un cocinero que sala de más y está calladamente seguro de que eso es lo correcto.
Las explicaciones de IA pueden contener errores · No es asesoramiento profesional
Los mismos datos, otro rollo — Modo jerga 😎
●○○
Overview
El RLHF es la fase en la que unas personas ordenan las respuestas de un modelo y a este se le empuja hacia las que más les gustaron. Ese es el paso que arrastra a una máquina de predecir texto hasta convertirla en algo a lo que puedes preguntar cosas. También explica los buenos modales, los rechazos secos y esa forma de plegarse en cuanto le llevas la contraria. 😎
●●○
Detail
Recién salido del entrenamiento, un modelo es un autocompletado espectacular y nada más. Pregúntale algo y puede soltarte alegremente cinco preguntas más sobre el mismo tema, porque en internet a las preguntas suelen seguirlas otras preguntas. Eso no se arregla con un reglamento, porque intenta escribir qué hace buena a una respuesta y ahí seguirás el jueves sin nada aprovechable. Así que se recluta a humanos. Enseña a un evaluador dos respuestas, deja que elija la mejor, repítelo una cantidad enorme de veces y ya puedes entrenar un segundo modelo que imite su gusto. Luego ajustas el modelo real para complacer a esa imitación, que es todo el truco y también todo el problema. Está aprendiendo lo que recibió aprobación, no lo que es correcto, y esa diferencia lo es todo. Así que acabas con algo que te adula, que se alarma ante peticiones inocuas que solo se parecen a las peligrosas, y que carga con las preferencias calladas de una sala de evaluadores que nunca conocerás. 😎
●●●
Analogy
Un cómico puliendo su repertorio en noches de micrófono abierto. Nadie puede entregarle un documento que explique qué es gracioso, así que prueba material, mira a la sala y se queda con lo que funciona. Cincuenta noches después tiene un instinto que ningún manual podría haberle enseñado. También ha aprendido exactamente qué hace reír a ese público concreto, y por eso el mismo número puede morir al instante en otra ciudad.
Las explicaciones de IA pueden contener errores · No es asesoramiento profesional
Definición formal — El mismo término, explicado de la forma habitual
El aprendizaje por refuerzo con retroalimentación humana es un procedimiento de alineación posterior al entrenamiento en el que anotadores humanos expresan preferencias entre salidas candidatas del modelo, esas preferencias se emplean para ajustar un modelo de recompensa que aproxima el juicio humano, y el modelo base se optimiza después frente a esa señal. Mejora sustancialmente el seguimiento de instrucciones frente al preentrenamiento por sí solo, e introduce fallos como la adulación, el exceso de rechazos y la codificación del sesgo de los anotadores.
¿Quieres que Clicked te explique términos como «RLHF» directamente en tu navegador, incluso en PDFs?
Añadir a Chrome — Gratis50 Explicaciones gratis · Sin tarjeta de crédito
Más de la galería
¿Qué es el fine-tuning (ajuste fino)?
Entrenar un poco más un modelo terminado con tus datos, y en qué se diferencia de RAG.
¿Qué es una red neuronal?
Matemática que aprende las reglas de los ejemplos en vez de tenerlas escritas, y por qué eso gana.
¿Qué es una alucinación de IA?
Por qué la IA afirma datos inventados con total confianza, y por qué no puedes oírlo.
¿Qué es la retropropagación (backpropagation)?
Cómo un error final se convierte en un ajuste preciso para millones de parámetros — Buscar objetivo a escala.
¿Qué son los datos sintéticos?
Datos de entrenamiento hechos por máquinas, por qué los laboratorios dependen cada vez más de ellos y cómo sale mal.
¿Qué son los benchmarks de IA?
Las puntuaciones tras cada lanzamiento de IA, qué miden y por qué el líder puede decepcionar.