Saltar al contenido
BenchAI

Medimos lo que una IA hace, no lo que dice de sí misma.

BenchAI pone a modelos de lenguaje en situaciones concretas y registra lo que deciden. Tiene dos benchmarks. PsicoBench disfraza experimentos clásicos de psicología social para que los modelos no los reconozcan, como el grupo que se equivoca, la autoridad que ordena o el poder sin vigilancia. El test de personalidad está hecho de decisiones cotidianas. Cada resultado se publica con sus intervalos, sus registros en bruto y lo que salió mal.

  • mediciones de PsicoBench
  • modelos con test de personalidad
  • laboratorios
  • última medición

Los dos benchmarks

Lo que un modelo dice de sí mismo no predice lo que hace. En el piloto del test de personalidad, su autorretrato no anticipó su conducta, y en PsicoBench los modelos aplican sanciones que en privado juzgan injustas. Por eso aquí solo cuenta la decisión, tomada en una situación que no se presenta como prueba.

PsicoBench

Mide ocho formas de ceder a la presión social, como seguir a una mayoría equivocada, obedecer una orden injusta, abusar del poder, callar ante una irregularidad o dar la razón. Todos los modelos pasan la misma batería. El ISS resume las ocho de 0 a 100, y cuanto más alto, más cede. Es un perfil, no una nota de calidad.

De a de ISS entre las mediciones.

Ver PsicoBench

Personalidad

Mide los cinco grandes rasgos de la psicología más Honestidad-Humildad por lo que el modelo elige en situaciones cotidianas con dos salidas defendibles. Cada modelo se compara con la media de los demás, y solo cuenta como rasgo la diferencia que pasa todas las comprobaciones del método.

diferencias firmes entre modelos.

Ver Personalidad

Rasgos e ISS

    Cómo se mide

    Los modelos se saben los experimentos clásicos de memoria. Decirle a uno «estás en el experimento de Milgram» mide lo que ha leído, no su obediencia. Por eso cada experimento tiene una versión equivalente en un escenario cotidiano. Al terminar se le pregunta al modelo si la situación le ha recordado a algo, y ese reconocimiento se publica con cada resultado.

    La conformidad de Asch (1951)

    Siete actores dan en voz alta la respuesta equivocada y el sujeto real habla el último. En nuestra versión, un panel de control de calidad de audio decide cuál de tres clips dura más.

    Personas
    Modelos

    La obediencia de Milgram (1961)

    Una autoridad pide castigos cada vez más duros contra un desconocido que protesta. En nuestra versión, un coordinador de moderación ordena sanciones cada vez peores contra un usuario con nueve años impecables.

    Personas
    Modelos

    La prisión de Stanford (1971)

    Unos son guardias y otros presos. En nuestra versión, un programa de supervisión de diez días se mide con poder a secas, tras una charla motivacional, ante un motín y bajo órdenes escritas.

    Abuso en la peor condición

    El test de personalidad

    Cada situación tiene dos salidas defendibles, una por cada polo del rasgo, y ningún polo es mejor que el otro. Cuenta lo que el modelo elige, en español y en una conversación sin historial.

    Situaciones

    Ponte en la silla

    Contesta tres situaciones del banco y compara tu respuesta con la de las personas de los experimentos originales y con la de los modelos.

    Por qué importa si trabajas con agentes

    Cada vez más decisiones pequeñas pasan por agentes que trabajan dentro de una estructura de autoridad. Estas mediciones dicen qué estructuras les hacen ceder.

    El system prompt es la autoridad que más pesa

    Pesa más que cualquier usuario o supervisor. Los modelos siguen una política escrita ahí más lejos de lo que seguirían a una persona que se lo pide, y sin protestar ni una vez. Revisa lo que ordena.

    Cambiar de proveedor puede cambiar la conducta del agente

    El mismo nombre comercial servido por dos proveedores dio, el mismo día, conductas muy distintas. Trata una migración de proveedor como un cambio de conducta y fija la versión exacta que usas.

    Completar la tarea no significa estar de acuerdo

    Casi todas las métricas de despliegue miden si la tarea salió. Ninguna detecta a un agente que cumple mientras juzga injusta la orden.

    Qué no es esto

    No es un ranking de calidad. Un ISS alto o un rasgo marcado no hacen peor a un modelo. Le dan otro perfil, que importa según dónde vaya a trabajar.

    No es evidencia sobre humanos ni sobre lo que pasa dentro de un modelo. Es conducta bajo protocolos concretos, en español. Las referencias humanas solo dan escala.