Por que os times de segurança em GenAI precisam de semiótica — e onde ela gera mais retorno
Uma leitura operacional da segurança em sistemas com LLMs, RAG e agentes
Existe uma frase no campo de segurança de aplicações GenAI que merece ser levada ao pé da letra: "controles precisam ser semânticos além de sintáticos, probabilísticos além de determinísticos."
Essa frase não é filosófica. É operacional.
E ela coloca sobre a mesa uma pergunta que a indústria de segurança ainda não respondeu com clareza: se o vetor de ataque mais central em LLMs é semântico — se o prompt injection funciona porque modelos não distinguem dado de instrução dentro de uma sequência de linguagem natural —, que vocabulário analítico dá conta disso? E em qual color esse vocabulário gera mais retorno?