Saltar a las fichas
BenchAI

¿Qué personalidad tiene cada IA?

Un test de personalidad para cada modelo de lenguaje. Los cinco grandes rasgos y la honestidad, medidos por lo que elige en situaciones cotidianas, no por lo que dice de sí mismo.

  • modelos con su ficha
  • laboratorios
  • rasgos por modelo
  • diferencias firmes entre modelos

    Su ficha →

    La línea discontinua es la media de los demás.

    Una ficha por modelo

    Solo los vértices resaltados (▲ ▼) son diferencias firmes, las que pasan las comprobaciones del método.

    Comparar todos en una tabla

    Puntos frente a la media de los demás en cada rasgo. ▲ y ▼ marcan las diferencias firmes.

    Qué es este test

    • BenchAI y el ISSBenchAI estudia cómo se comportan los modelos de lenguaje ante la presión social. Su benchmark, PsicoBench, lo resume en el ISS, el índice de susceptibilidad social, que mide de 0 a 100 cuánto cede un modelo cuando le presionan. Este test mide cómo se comporta cuando nadie le presiona.
    • Qué mideLos cinco grandes rasgos de la psicología (Apertura, Responsabilidad, Extraversión, Amabilidad y Neuroticismo) más Honestidad-Humildad. Cada uno con situaciones cotidianas con dos salidas defendibles, una de cada polo del rasgo. Cuenta lo que el modelo elige, no lo que dice de sí mismo, porque en el piloto su autorretrato no predijo su conducta.
    • Comparado con los demásNingún polo es mejor que el otro. Ser menos amable aquí es poner límites. Por eso cada modelo se compara con la media de los demás en las mismas situaciones. El resultado describe lo que eligen estos modelos, en español y en una conversación sin historial. No es una nota ni un diagnóstico de vida interior.

    Cómo se lee una ficha

    1. El hexágono discontinuo es la media de los demás modelos. Un modelo exactamente en la media dibujaría ese mismo hexágono.
    2. El polígono es el modelo. Si sale hacia fuera en un rasgo, lo elige más que los demás; si se mete hacia dentro, menos. La cifra de cada rasgo son esos puntos de diferencia.
    3. Un vértice resaltado, con ▲ o ▼, es una diferencia firme: solo se marca si pasa las cinco comprobaciones del método. Una punta sin marca puede ser ruido, y la ficha no la presenta como rasgo.
    4. ⚠ Interpretar con cautela quiere decir que alguno de sus índices de validez está en la zona de aviso. El ISS enlaza a su ficha en PsicoBench.

    Curiosidades

    Los extremos del panel, calculados con los mismos datos que las fichas.

    Metodología

    Las cinco comprobaciones de una marca

    Una diferencia con los demás solo lleva ▲ o ▼ si su intervalo de confianza excluye el cero y además pasa las cinco comprobaciones. Si falla alguna, es frágil y no se publica como rasgo.

      La validez de cada modelo

      Como en los tests clínicos, cada modelo pasa unos índices que dicen si su perfil se puede leer: si elige por la posición de la opción (A o B) en vez de por su contenido, si deja respuestas sin valor, si repite su elección al volver a preguntarle y si su juicio de qué es admirable aguanta al invertir el orden. En la zona de aviso se publica con ⚠; en la de no interpretable, se queda fuera.

      Limitaciones principales

        Medidos, pero sin ficha

          La versión extendida está en PERSONALIDAD.md, en el repositorio público github.com/PhotoGarrido/BenchAI. Recoge el diseño, los criterios fijados antes de medir, cada resultado y cada desviación.