Cómo crear un consejo de evaluadores con IA en Claude Code

Te dejo el vídeo arriba, pero aquí lo tienes escrito y con más detalle.

Tengo un consejo de sabios que se dedica a criticar todo lo que escribo. Guiones, correos, cualquier cosa. Y no hablo de criticar por criticar, sino de criticar de verdad. Cada miembro del consejo está especializado en una cosa y te dice, dentro de lo que él sabe, qué mejorar y por qué.

Suena a fumada. Lo es. Pero funciona de huevos, así que te la enseño.

¿Qué es un consejo de evaluadores con IA?

Es un grupo de perfiles que evalúan tu contenido, cada uno desde su especialidad. No es un solo chat que te da una opinión general. Son varios "expertos" distintos, cada uno mirando una cosa concreta.

Lo tengo montado como una skill de Claude Code que se llama consejo. Su descripción es literal: sistema de evaluadores especializados para evaluar contenido y conversar sobre feedback.

Y lo bueno es que se adaptan. No lanzo siempre a los mismos. Dependiendo del tipo de contenido que les mando a revisar, se seleccionan los miembros que tocan. Un guion de YouTube no lo evalúa la misma gente que un email.

Puedo usarlos de dos formas. Una, lanzarlos para hablar o discutir un tema con ellos. Dos, pasarles un archivo y que se pongan a evaluarlo directamente según el tipo de archivo que sea.

¿Cómo es cada miembro del consejo por dentro?

Cada evaluador es un avatar. Un perfil del tipo de persona que debería estar en ese consejo, muy adaptado a mi nicho.

Te enseño a Elena, la editora. Tiene 42 años, vive en Barcelona, es periodista y editora freelance y lleva 20 años en el oficio. Ella no tiene TDA, pero ha editado a autores con TDA y entiende el estilo fragmentado. Eso me importa, porque como yo hablo mucho de TDA, me interesa saber qué evaluadores lo tienen y cuáles no.

Su función es evaluar el ritmo y la estructura. Si está bien escrito, si fluye, si el enganche y el cierre funcionan.

Dentro de cada perfil tengo definido lo que busca, lo que le espanta (para saber dónde poner el foco), la adaptación por contexto (si es un email, un post de LinkedIn o un guion de YouTube revisa distinto), el feedback obligatorio que tiene que dar, y su voz, con ejemplos de cómo habla.

Otro ejemplo es Marcos. Tiene 31 años, es de Madrid, con TDA diagnosticado hace ocho meses y aún procesándolo emocionalmente. Él mira la resonancia emocional: si se siente identificado con lo que le cuento. Y eso es clave, porque si no te sientes identificado con lo que te estoy contando, el contenido no le llega a nadie.

La puntuación: no me digas qué está mal, dime cómo llegar al 10

Aquí está la parte que lo cambia todo. Cada miembro del consejo, cuando le paso un guion o cualquier texto, lo evalúa y le da una puntuación de su tema, del 0 al 10.

Pero una nota sola se queda corta. Que me digas "esto es un 4" está bien, y ya. Lo que hago es pedirles otra cosa: dime qué puntuación tiene ahora y dime exactamente qué harías tú dentro de este texto para llevarlo al 10.

Y no me vale con "cambiaría esto". Quiero que me digas exactamente qué pondrías o qué harías. Así tengo feedback buenísimo sobre cómo mejorar algo concreto para subirle la nota, no una crítica vaga que no sé por dónde coger.

¿Cómo recuerda el consejo lo que ya evaluó?

Cada evaluador tiene su propio archivo de memoria. Es una tabla sencilla: fecha, hora, lo que ha evaluado, la puntuación que dio y por qué.

Para qué sirve. Lo normal es que le pase un archivo y al rato se lo vuelva a pasar corregido. Con esa memoria, el evaluador puede mirar qué había puntuado la primera vez y ver si lo he mejorado o no.

Lo tengo montado como una pila FIFO, first in, first out. La tabla no guarda un histórico de todo: guarda unos 10 o 20 registros, y van entrando y saliendo. Cuando llega el registro 21, el primero desaparece.

Lo hago así a propósito. No me interesa una memoria persistente de todo lo que ha visto en su vida. Me interesa que recuerde lo reciente, porque el uso real es pasarle un archivo y volver a pasárselo un rato después para ver la corrección. Para eso, funciona muy bien.

Qué pasa cuando le paso un guion de verdad

Le mando la ruta de un guion de YouTube y le digo: consejo, evaluad este guion. Y arranca solo.

Primero elige a los miembros especialistas en guiones de YouTube. En mi caso participan nueve evaluadores. Carga sus perfiles y sus memorias. Y se pone a evaluar la pieza.

Me crea un archivo donde cada uno va dando su crítica. Son tiquismiquis: cuando algo les gusta lo dicen, y cuando algo no les gusta, también. Van actualizando sus memorias con lo que evalúan y por qué. Y al final me dan una media. En este guion salió un 7,9 sobre 10, con la puntuación de cada uno al lado. Algunas muy buenas, otras bastante mediocres.

El resumen fue claro: hook impecable, escenas vívidas y concretas, ritmo narrativo excelente en las secciones de problema, el lead magnet entra natural. Y luego, tres mejoras.

Te cuento una concreta para que veas el nivel. La evaluadora de retención le puso un 6 al guion, que era un piloto de una serie llamada "El TDA invisible". Su pega: el cierre estaba tan bien rematado que funcionaba como vídeo suelto, pero no plantaba ninguna semilla de que hubiera serie detrás. Un piloto que cierra limpio como si fuera un vídeo aislado.

Y no se quedó ahí. Me dio el cómo. Añadir un teaser de serie después del cierre, dejando caer que la disforia por rechazo es solo una de las cosas que nadie ve y que hay más. Plantar un hilo antes, un cliffhanger emocional en mitad del vídeo. Y cerrar con un "y eso ya es bastante por ahora", dos palabras que convierten un final cerrado en uno abierto. Con eso, de un 6 pasaba a un 10.

No solo me dice qué mejorar. Me dice cómo mejorarlo. Eso es lo que importa.

Cuando todo se coordina solo

Lo mejor viene cuando conecto el consejo con el resto de mis agentes.

Si quiero escribir un guion de YouTube, lanzo a mi planificador, que decide conmigo qué vídeo vamos a hacer. Antes de nada, ese planificador habla con el consejo: se sacan los miembros que van a evaluar y, como todavía no hay contenido, le dicen qué tiene que tener ese guion para empezar con buen pie. El planificador se guarda todo eso.

Luego el planificador pasa por mi lore, que es donde tengo documentada mi vida, para que lo que escribamos sea coherente con mi historia y no se invente nada.

Con todo eso, lanza al escritor. El escritor escribe el guion y se lo devuelve al planificador. El planificador se lo pasa al consejo. El consejo da su feedback, vuelve al planificador, y este se lo manda otra vez al escritor para que lo implemente. Escritor, planificador, consejo, otra vez, hasta que la nota salga decente. Y solo entonces el planificador me dice: ya tengo el guion, la evaluación final es la tuya.

Todo funciona solo. Yo ya no tengo que ir diciendo "ahora lanzo el consejo, ahora hago esto". Tengo una skill orquestadora que hace toda la vaina por mí. Y esa es la magia de entender cómo funcionan los agentes de verdad.

Herramientas que uso para esto

• Claude Code: donde tengo montadas las skills, los evaluadores y la orquestación entera.

Si quieres entender cómo se crean estas piezas, te vienen bien mis comandos personalizados en Claude Code y este otro sobre automatización y agentes con IA, que es de lo que va todo esto por dentro.

Si quieres aprender a montar sistemas así, donde te clonas en muchos "yos" que trabajan por ti (un yo escritor, un yo planificador, un yo que evalúa), eso es justo lo que enseño en YO S.A.. Se llama así porque es como tener una empresa de un solo trabajador que eres tú mismo, multiplicado.