A recent report from Google Threat Intelligence Group describes a clear shift in the adversarial use of AI: attackers no longer use it just to gain speed, but also to integrate malicious capabilities into their operations and automate parts of the attack. The report notes that actors from different countries are using models like Gemini for reconnaissance tasks, phishing drafting, script generation, vulnerability research, content translation and defense evasion, while the black market for illicit AI tools becomes more mature.
Among the most relevant findings are malware families with integrated AI, such as Promptflux and Promptsteal, capable of dynamically generating malicious code, ofuscarse y cambiar su comportamiento durante la ejecución. Google también detecta intentos de “jailbreak” con tácticas de ingeniería social, For example, suplantando a estudiantes o investigadores para convencer al modelo de que devuelva respuestas bloqueadas, y el uso de herramientas de IA ilícitas diseñadas específicamente para phishing, malware y búsqueda de debilidades en sistemas.
El informe apunta además a una evolución importante: la IA adversaria pasará de ser experimental a normalizarse, y los agentes de IA se convertirán en una pieza central tanto para los atacantes como para los defensores. Eso eleva el riesgo de “prompt injection”, de agentes ocultos dentro de empresas y de automatizaciones mal controladas, por lo que el informe de Google insiste en reforzar salvaguardas, revisar accesos, limitar el uso de modelos en entornos sensibles y monitorizar de cerca cualquier comportamiento anómalo en flujos de trabajo con IA.
Fountain: Google