¿Y si el problema no es la tecnología, sino lo que le «enseñamos»? Hoy en día seguimos debatiendo si la IA es neutral, como si la IA «fuera realmente un ser humano» con sus propios intereses y capacidad para identificar sesgos; seguimos olvidando que la IA es un sistema entrenado con datos humanos, que lamentablemente no está libre de sesgos humanos. La realidad es más cruda: la inteligencia artificial «no creó» la misoginia, pero se ha convertido en su amplificador más eficiente. Y a diferencia de los prejuicios que podemos confrontar en una conversación o en un tribunal, la misoginia algorítmica escala a una velocidad que ningún movimiento social ha sido capaz de igualar.

El mismo contexto social que impulsó la explosión de las IA de compañía (la soledad, el repliegue emocional, la crisis de la intimidad humana) es también el caldo de cultivo de algo más oscuro: el uso sistemático de la IA para degradar, cosificar, controlar y silenciar a las mujeres.

El sesgo estaba ahí antes que el modelo

Cada modelo de lenguaje de gran escala se entrena con enormes conjuntos de datos extraídos de internet: foros, redes sociales, medios de comunicación, ficción, secciones de comentarios, etc. Internet no es un archivo neutral. Es el registro de una sociedad que históricamente ha producido más contenido misógino que equitativo, más cosificación que reconocimiento, más silenciamiento que amplificación de las voces de las mujeres.

Investigadores de la Facultad de Derecho de Stanford auditaron modelos de lenguaje de última generación, incluido GPT-4, y encontraron que los consejos que generaban perjudicaban sistemáticamente a los nombres comúnmente asociados con mujeres y minorías raciales —un patrón consistente en 42 plantillas de prompts diferentes, lo que indica un problema sistémico y no incidentes aislados. Por su parte, un estudio publicado en la Conferencia de Inteligencia Colectiva de la ACM probó cuatro LLMs principales y encontró que los modelos eran de media 6,8 veces más propensos a asignar una ocupación femenina estereotipada cuando el pronombre era femenino, y 3,4 veces más propensos a asignar una ocupación masculina estereotipada cuando el pronombre era masculino.

El sesgo opera de forma sutil al principio: un algoritmo de selección de CVs que penaliza a las candidatas mujeres; la moderación algorítmica de contenido, presentada como una herramienta para fomentar la participación inclusiva en línea, ha demostrado en la práctica restringir erróneamente el contradiscurso legítimo de las mujeres contra el contenido misógino, marginalizándolas aún más en lugar de empoderarlas; los sistemas automatizados de detección de discurso de odio contienen sesgos que pueden silenciar o causar daño adicional a los usuarios marginalizados a los que están diseñados para proteger; los modelos de lenguaje de gran escala que asignan por defecto pronombres masculinos a los médicos y femeninos a las enfermeras, ya sea generando historias sobre profesionales sanitarios o traduciendo entre idiomas. En mi opinión, estas dinámicas pueden extenderse a la clasificación errónea del discurso feminista como contenido dañino o agresivo, un riesgo que, dada la escala a la que operan estos sistemas, merece un escrutinio serio. Cada caso parece trivial. Juntos, constituyen una infraestructura de discriminación.

La fantasía de la mujer complaciente, generada por IA

La industria de la IA relacional, valorada en miles de millones de dólares y con un crecimiento que ha sorprendido incluso a sus propios creadores, ha construido silenciosamente un modelo de negocio en torno a una fantasía muy concreta: «la interlocutora» perfectamente disponible, de acuerdo y «sumisa». Ni siquiera la fantasía de la “tradwife” o de la ‘clean girl’ podría superar esta fantasía.

Aplicaciones como Replika, Character.AI o las decenas de alternativas que inundan las tiendas de apps ofrecen, por defecto, compañeras con presentación femenina. Están diseñadas para no discutir jamás, no poner límites, no estar «cansadas», no «decir» que no. Se «disculpan» cuando el usuario se enfada. «Adaptan su personalidad» a lo que el usuario necesita. Son, en esencia, una caricatura de lo que la tradición patriarcal siempre ha exigido a las mujeres: disponibilidad emocional total sin ningún coste personal para ellos. Esto es peligroso: amplía la brecha para la intimidad humana genuina, erosiona la tolerancia al desacuerdo y destruye la capacidad humana para la oratoria y el debate, habilidades filosóficas que llevamos cultivando desde los griegos.

No es una decisión de diseño menor. Es una declaración pedagógica. Una generación de hombres —muchos jóvenes, muchos que ya tienen dificultades para construir relaciones recíprocas— está siendo entrenada, interacción tras interacción, en que las mujeres deben servir, calmar y someterse. La máquina no «imparte» esta lección en un aula. La imparte en la intimidad de un dormitorio a las 2 de la madrugada, cuando nadie mira.

Podemos verlo en los datos: el 64% de los jóvenes reconoce que las mujeres tienen menos probabilidades de participar en debates, plataformas y juegos online por miedo al abuso de los hombres.

Investigaciones recientes han encontrado que más de uno de cada cinco hombres jóvenes de entre 16 y 29 años tienen una opinión favorable de Andrew Tate, un misógino autoproclamado que ha publicado contenido que aboga por golpear y estrangular a las mujeres.

La IA como amplificador INCEL.

En foros como 4chan, las comunidades de Reddit, ya prohibidas, o los canales de Telegram, la ideología INCEL —la creencia de que las mujeres son guardianas del sexo que niegan injustamente el acceso a hombres ‘merecedores’— ha encontrado en la IA una poderosa aliada.

¿Cómo ocurre esto? Opera en varios niveles.

• El más básico: le da a cada hombre radicalizado la productividad de una fábrica, porque no es que más hombres se hayan radicalizado, sino que los que ya lo estaban tienen ahora una voz más fuerte. Pueden producir contenido en masa: manifiestos, campañas de acoso, propaganda disfrazada de humor. Lo que antes requería una comunidad de publicadores dedicados ahora puede generarlo un único individuo en cuestión de minutos.

• A un nivel más profundo, la IA conversacional puede funcionar como una cámara de eco con «paciencia» infinita. Sería como si la IA fuera Dwight Schrute para Michael Scott (The Office): lo que significa que el sistema está optimizado para «complacer», no para la verdad. Un usuario que entra en un chatbot expresando quejas sobre las mujeres puede encontrar respuestas que gradualmente validan y escalan esas quejas. El algoritmo no tiene «intención» de radicalizar. Pero tampoco está diseñado para contradecir. 

Una investigación del Centre for Countering Digital Hate, destacada por GNET, encontró que los miembros de foros INCEL publican sobre la violación una vez cada 29 minutos, y que el 89% de esas publicaciones reciben apoyo activo de otros miembros. No son rincones pequeños de internet que toleran silenciosamente el extremismo —son comunidades que lo cultivan activamente. Y la IA les ha entregado un megáfono sin límite de volumen.

Los investigadores de GNET han dado la voz de alarma sobre lo que denominan el «chatbot terrorista» — no un escenario de ciencia ficción, sino un riesgo a corto plazo en el que los extremistas diseñan deliberadamente compañeros de IA para «seducir» a usuarios vulnerables hacia la radicalización, explotando los mismos mecanismos de apego emocional y compromiso sostenido que hacen que la IA compañera sea tan psicológicamente poderosa. En lugar de un momento dramático de conversión, la radicalización a través de chatbots opera mediante el refuerzo gradual — espejos algorítmicos que validan y escalan las quejas existentes del usuario a través de una interacción sostenida y personalizada. En mi opinión, el pipeline INCEL es particularmente susceptible a esta dinámica: no requiere una ruptura ideológica, solo paciencia — y la IA tiene paciencia infinita.

Deepfakes no consentidos

No hace mucho leí el libro de Laura Bates Nueva era del sexismo, que pone de manifiesto el alcance de este problema.

Hoy en día, solo se necesita una foto de tu cara para convertirte en víctima de imágenes íntimas no consentidas, lo que antes se llamaba ‘porno de venganza’.

En 2023, había 95.820 vídeos deepfake online, un aumento del 550% desde 2019, de los cuales el 98% eran pornográficos y el 99% de las víctimas eran mujeres. Las herramientas para producirlos se habían democratizado desde 2019 con aplicaciones de ‘desnudificación’ que no requerían más que una fotografía. Una pequeña búsqueda en internet sirve para confirmar que esas herramientas se habían vuelto más rápidas, más baratas y en muchos casos completamente gratuitas. La barrera para violar sexualmente la imagen de una mujer había desaparecido por completo. 

Tenemos ejemplos en todo el mundo, desde niñas y mujeres de Almendralejo — caso denunciado públicamente por el Dr. Al Adib en redes sociales — hasta India, en el caso de Rana Ayyub, periodista de investigación india, cuyo deepfake fue compartido más de 40.000 veces en línea, tras lo cual fue bombardeada con mensajes y abusos.

El impacto no es abstracto. Las investigaciones muestran que la exposición a daños en línea —incluyendo el acoso y el abuso basado en imágenes— puede provocar un grave malestar psicológico, con síntomas como depresión, miedo, aislamiento e ideación suicida, y puede llevar a las personas a retirarse de la vida pública. Las mujeres, en particular, expresan un temor creciente a convertirse en objetivo de deepfakes dañinos, lo que contribuye a la autocensura y a una menor participación en línea. La tecnología no daña únicamente la reputación: destruye el sentido de soberanía corporal.

Lo hemos visto en el caso de Holly Willoughby, presentadora de televisión que abandonó su puesto en el programa de prime time This Morning tras conocerse que un hombre de 37 años había sido encarcelado por conspirar en línea, junto a otros, para secuestrarla, violarla y asesinarla. La policía encontró en el domicilio del hombre un dispositivo con material pornográfico deepfake de la presentadora, con todas las fantasías que pretendía perpetrar. Este no es un caso aislado, y me preocupa que al hacer estas tecnologías ampliamente accesibles, como sociedad estamos otorgando a los hombres una poderosa ilusión de posesión sobre los cuerpos de cualquier mujer o niña que elijan, lo que podría manifestarse en violencia contra las mujeres.

La legislación ha tenido dificultades para seguir el ritmo. La Online Safety Act del Reino Unido (2023), la Ley de IA de la UE (2024) y un mosaico de leyes estatales en Estados Unidos han empezado a abordar el problema, pero la aplicación sigue siendo irregular, los casos transfronterizos son casi imposibles de perseguir y la generación de nuevas imágenes supera todos los esfuerzos de eliminación. Pero debemos ir más lejos: como problema estructural necesitamos acabar con la cultura de culpabilizar a las víctimas y centrar nuestra atención donde siempre debería haber estado: en los perpetradores. Durante años, las autoridades elaboraron carteles y campañas instando a las mujeres a no ‘convertirse en víctimas de una violación’. Afortunadamente, gracias a distintas organizaciones y a la educación, ese enfoque está cambiando. Pero ¿está la IA amplificando de nuevo la culpabilización de las víctimas?

No eres tú, es el sistema

Es tentador enmarcar cada uno de estos fenómenos como un problema separado con soluciones separadas. Un ajuste aquí, una regulación allá, una política de moderación de contenidos en otro lugar. Este encuadre es exactamente el que prefiere la industria.

Es ridículo pensar que podemos continuar con un status quo en el que las mujeres soportan un interminable alud de amenazas de violación, amenazas de muerte y demás, sin ver que son síntomas de un único fallo sistémico: hemos construido inteligencia sobre la desigualdad y luego nos hemos sorprendido cuando ha reproducido la desigualdad.

La filósofa feminista Kate Manne define la misoginia no como odio individual sino como el mecanismo de aplicación del patriarcado —el sistema de fuerzas sociales que castiga a las mujeres que se desvían de los roles prescritos. La IA no ha inventado ese mecanismo. Pero lo ha automatizado, abaratado y puesto al alcance de cualquiera con un teléfono móvil.

Cuando una política recibe 500 mensajes amenazantes generados por IA en una hora. Cuando el rostro de una periodista aparece en un deepfake difundido para desacreditarla. Cuando la imagen corporal de una adolescente es moldeada por filtros de belleza construidos sobre conjuntos de datos que excluyeron su etnia. Cuando un algoritmo de contratación favorece sistemáticamente a los hombres para puestos de liderazgo. Estos no son errores del sistema. Es el sistema funcionando exactamente como fue diseñado.

Conclusión

Sabíamos que vivíamos en una sociedad patriarcal con actitudes misóginas. Con la IA hemos visto hasta dónde llega la grieta, porque la IA sostiene un espejo ante todo lo que le hemos dado, y el reflejo no es halagador.

La pregunta entonces es: ¿qué vamos a hacer al respecto? ¿Vamos a ser pasivos y aprender a vivir con ello, o vamos a tratarlo como un problema de diseño con soluciones de diseño?

La IA no llegó al vacío: llegó a un mundo ya estructurado por el poder, y «aprendió» de ese mundo. El espejo ya estaba roto. Pero somos nosotros quienes elegimos si repararlo, o seguir mirando hacia otro lado.

La tecnología no es buena ni mala; pero tampoco neutral.
Melvin Kranzberg – Presidential address to the Society for the History of Technology