Sarah Yager assumiu um papel incomum na OpenAI em junho, tornando-se a primeira líder de Direitos Humanos e Implantação Responsável da empresa. Com 30 anos de experiência na área militar e de inteligência, Yager tem focado suas preocupações nas aplicações de IA em conflitos armados, especialmente após a parceria da OpenAI com o Departamento de Defesa dos EUA. Em sua fala na conferência ScaleUp:AI, ela destacou os receios sobre o uso de IA no direcionamento de alvos e no desenvolvimento de armas autônomas. "Todo mundo está muito preocupado e, com razão", disse Yager. "Isso me tira o sono: 'O que os militares vão fazer com a IA quando se trata de direcionamento? E sobre as armas autônomas? E para onde tudo isso está indo?'"

O Dilema da IA em Conflitos

O uso de inteligência artificial em operações militares está se expandindo rapidamente, com o desenvolvimento de novas armas e sistemas autônomos, como drones e robôs. Yager agora se encontra em uma posição única para lidar com as complexas questões éticas que essa proliferação levanta, atuando dentro de uma das empresas mais influentes no campo da IA. Sua trajetória profissional a levou a buscar influenciar ambientes onde os direitos humanos não eram a prioridade principal. "Eu sempre quis ir a lugares e persuadir pessoas onde os direitos humanos não eram necessariamente a ideia dominante", explicou. "Com desculpas aos meus colegas da OpenAI, estou agora na barriga da besta, e é um lugar muito confortável para mim, porque o que eu amo fazer é persuadir, discutir e debater, e, esperançosamente, mover a agulha."

Influência e Guardrails

A OpenAI abordou Yager para a posição logo após assinar um contrato com o Departamento de Defesa dos EUA em fevereiro, para implementar sistemas avançados de IA em ambientes classificados. Este acordo ocorreu após um desentendimento público entre o Departamento de Defesa e a Anthropic, outra empresa de IA. A Anthropic buscava impor restrições ao uso de sua tecnologia pelos militares, proibindo a vigilância em massa e armas totalmente autônomas, o que não foi aceito pelo Departamento de Defesa. Em resposta, a Anthropic foi rotulada como um risco na cadeia de suprimentos, enquanto a OpenAI interveio e assumiu o contrato, afirmando ter conseguido que o Departamento de Defesa concordasse com salvaguardas semelhantes. Yager confessou que a ideia de trabalhar na OpenAI não foi um "sim imediato", devido à suspeita de que a empresa a estivesse contratando como um "exercício de branding" – uma figura de proa sem influência real sobre a tecnologia. No entanto, após investigar e conversar com funcionários, especialmente "a geração mais jovem que está muito preocupada com o que está criando e com quem está no comando", ela sentiu-se compelida a juntar-se à empresa para tentar fazer a diferença.

Desafios e Conquistas na Prática

Desde sua entrada, Yager relata ter tido algum sucesso em influenciar a direção da tecnologia, mas também mantém preocupações sobre o rumo que ela está tomando. O uso de IA em aplicações militares tem se mostrado problemático; recentemente, as forças armadas dos EUA quase atingiram um navio militar chinês com base em um relatório de inteligência impreciso gerado por IA. Yager conseguiu trabalhar diretamente com pesquisadores e engenheiros para aprimorar os modelos, garantindo, por exemplo, respostas adequadas a acordos internacionais básicos, como as leis da guerra estabelecidas nas Convenções de Genebra. Ela trouxe especialistas internacionais para "literalmente sentarem-se a teclados e inserirem prompts para engajamentos de altíssimo risco", e fez com que engenheiros ajustassem os modelos com base nas respostas. "Isso nunca tinha sido feito antes, então foi extremamente gratificante", disse Yager. Ela acredita que as empresas de IA estão tentando "reinventar a roda" em questões como a definição de humanidade e moralidade. "As sociedades já descobriram muitas dessas coisas, e isso se chama direitos humanos. Essa deveria ser a linha de base", afirmou, referindo-se aos acordos das Convenções de Genebra. "Não quero que uma empresa de IA me diga o que é bom. Se permitirmos que a indústria determine o que é bom, então é um vale-tudo."

Perspectivas e Questões Abertas

Yager também expressou desconforto com o debate no Vale do Silício sobre se as IAs e tecnologias de agentes deveriam ter direitos. Embora tenha respondido "não" durante o processo de entrevista, ela agora se mostra mais aberta a discussões "extremamente importantes" sobre "onde os agentes se encaixam nas estruturas legais, nas estruturas trabalhistas, nas estruturas tributárias". Contudo, ela ressalta que essas questões não se comparam aos direitos humanos. "Isso não é de forma alguma comparável aos direitos humanos, e eu adoraria se pudéssemos simplesmente voltar ao humano dos direitos humanos", declarou, recebendo aplausos da plateia. Outra preocupação é a demografia relativamente fechada dos grupos que constroem IA. Ela notou que, em um recente encontro de líderes de tecnologia para discutir segurança de IA, todos os signatários do acordo voluntário eram homens. "Homens são incríveis, mas era uma fotografia muito masculina de quem vai tomar as decisões sobre IA", comentou Yager. "Um problema disso é que a IA está fundamentalmente mudando o equilíbrio de poder entre as pessoas em todo o mundo, e as comunidades afetadas não estavam lá." Yager observou que o governo está adotando IA rapidamente e que ela está ajudando órgãos de supervisão a construir ferramentas para monitorar essas ações, um mecanismo de responsabilidade que "parece importante para a democracia".

Com reportagem de Brazil Valley

Source · Fortune