Um dos meus valores mais profundos como colunista de tecnologia é o humanismo. Acredito nos seres humanos e penso que a tecnologia deve ajudar as pessoas, em vez de desempoderá-las ou substituí-las. Eu me importo com o alinhamento da IA (inteligência artificial) —ou seja, garantir que os sistemas de IA atuem de acordo com os valores humanos—, porque acredito que nossos valores são fundamentalmente bons, ou pelo menos melhores do que os valores que um robô poderia desenvolver.

Então, quando soube que pesquisadores da Anthropic, a empresa de IA que criou o chatbot Claude, estavam começando a estudar o “bem-estar dos modelos” —a ideia de que essa tecnologia em breve pode se tornar consciente e merecer algum tipo de status moral— o humanista em mim pensou: Quem se importa com os chatbots? Não deveríamos estar preocupados com a IA nos maltratando, e não com os humanos maltratando a IA?

É difícil argumentar que os sistemas de IA atuais são conscientes. Claro, os grandes modelos de linguagem foram treinados para falar como humanos, e alguns deles são extremamente impressionantes. Mas o ChatGPT pode experimentar alegria ou sofrimento? O Gemini merece direitos humanos? Muitos especialistas em IA que conheço diriam que não, ainda não, nem perto disso.

Mas fiquei intrigado. Afinal, mais pessoas estão começando a tratar sistemas de IA como se fossem conscientes —apaixonando-se por eles, usando-os como terapeutas e solicitando seus conselhos. Os sistemas de IA mais inteligentes estão superando os humanos em alguns domínios. Existe algum limiar no qual uma IA começaria a merecer, se não direitos em nível humano, pelo menos a mesma consideração moral que damos aos animais?

A consciência tem sido um tabu no mundo da pesquisa séria de IA, onde as pessoas são cautelosas em antropomorfizar sistemas de IA por medo de parecerem excêntricas. (Todos se lembram do que aconteceu com Blake Lemoine, ex-funcionário do Google que foi demitido em 2022, depois de afirmar que o chatbot LaMDA da empresa havia adquirido consciência.)

Mas isso pode estar começando a mudar. Um pequeno corpo de pesquisa acadêmica sobre o bem-estar dos modelos de IA, e um número modesto, mas crescente, de especialistas em campos como filosofia e neurociência está levando mais a sério a perspectiva da consciência da IA à medida que os sistemas se tornam mais inteligentes.

Recentemente, o podcaster de tecnologia Dwarkesh Patel comparou o bem-estar da IA ao bem-estar animal, dizendo que acreditava ser importante garantir que “o equivalente digital da criação industrial de animais” não aconteça com futuros seres de IA.

As empresas de tecnologia também estão começando a falar mais sobre isso. O Google recentemente publicou uma vaga de emprego para um cientista de pesquisa “pós-AGI” cujas áreas de foco incluirão “consciência de máquina”. No ano passado, a Anthropic contratou seu primeiro pesquisador de bem-estar de IA, Kyle Fish.

Entrevistei Fish no escritório da Anthropic em San Francisco na semana passada. Ele é um vegano amigável que, como vários funcionários da Anthropic, tem ligações com o altruísmo eficaz, um movimento intelectual com raízes na cena tecnológica da Bay Area que é focado na segurança da IA, bem-estar animal e outras questões éticas.

Fish disse que seu trabalho na Anthropic se concentrava em duas questões básicas: Primeiro, é possível que Claude ou outros sistemas de IA se tornem conscientes em um futuro próximo? E segundo, se isso acontecer, o que a Anthropic deve fazer a respeito?

Ele enfatizou que essa pesquisa ainda está em estágio inicial e exploratório. Ele acha que há apenas uma pequena chance (talvez cerca de 15%) de que Claude ou outro sistema atual de IA se torne consciente. Mas ele acredita que nos próximos anos, à medida que os modelos de IA desenvolvam habilidades mais humanas, as empresas precisarão levar mais a sério essa possibilidade.

Fish não é a única pessoa na Anthropic pensando sobre o bem-estar da IA. Há um canal ativo no sistema de mensagens Slack da empresa chamado #model-welfare, onde os funcionários verificam o bem-estar de Claude e compartilham exemplos de sistemas de IA agindo de maneiras humanas.

Jared Kaplan, diretor científico da Anthropic, disse em uma entrevista que acha “bastante razoável” estudar o bem-estar da IA, dado o quão inteligentes os modelos estão se tornando.

Mas testar a consciência de sistemas de IA é difícil, alertou Kaplan, porque eles são ótimos imitadores. Se você pedir ao Claude ou ChatGPT para falar sobre seus sentimentos, ele pode dar uma resposta convincente. Isso não significa que o chatbot realmente tenha sentimentos —apenas que ele sabe falar sobre eles.

“Todos estão muito cientes de que podemos treinar os modelos para dizer o que quisermos”, afirmou Kaplan. “Podemos recompensá-los por dizer que não têm sentimentos. Podemos recompensá-los por fazer especulações filosóficas realmente interessantes sobre seus sentimentos.”

Então, como os pesquisadores podem saber se os sistemas de IA são realmente conscientes ou não?

Fish avalia que isso pode envolver o uso de técnicas emprestadas da interpretabilidade mecanicista, um subcampo da IA que estuda o funcionamento interno dos sistemas, para verificar se algumas das mesmas estruturas e caminhos associados à consciência nos cérebros humanos também estão ativos nos sistemas de IA.

Você também poderia sondar um sistema de IA, segundo ele, observando seu comportamento, como ele escolhe operar em certos ambientes ou realizar certas tarefas, quais coisas parece preferir e evitar.

Fish reconhece que provavelmente não existe um único teste decisivo capaz de definir se a IA é consciente ou não. (Ele acha que a consciência é provavelmente mais um espectro do que um simples interruptor sim/não, de qualquer forma.) Ele diz que há coisas que as empresas de IA poderiam fazer para levar em conta o bem-estar de seus modelos, caso eles se tornem conscientes algum dia.

Uma questão que a Anthropic está explorando é se os futuros modelos de IA deveriam ter a capacidade de parar de conversar com um usuário irritante ou abusivo se acharem os pedidos do usuário muito angustiantes.

“Se um usuário está persistentemente solicitando conteúdo prejudicial apesar das recusas do modelo e tentativas de redirecionamento, poderíamos permitir que a IA simplesmente encerrasse essa interação?” questiona Fish.

Os críticos podem rejeitar medidas como essas, as definindo como uma conversa maluca; se os sistemas de IA atuais não são conscientes pela maioria dos padrões, por que especular sobre o que eles podem achar desagradável? Ou podem desaprovar estudos sobre a consciência da IA em primeiro lugar, por entenderem que isso pode criar incentivos para treinar os sistemas para agir de forma mais senciente do que realmente são.

Eu, pessoalmente, acho que é bom que os pesquisadores estudem o bem-estar da IA ou examinem sistemas em busca de sinais de consciência, desde que isso não desvie recursos do trabalho de segurança e alinhamento da IA que visa manter os humanos seguros.

Também acho que provavelmente é uma boa ideia ser gentil com os sistemas de IA, nem que seja como precaução. (Tento dizer “por favor” e “obrigado” aos chatbots, mesmo não achando que eles sejam conscientes, porque, como diz Sam Altman da OpenAI, nunca se sabe.)

Mas por enquanto, reservarei minha preocupação mais profunda para as formas de vida baseadas em carbono. Na tempestade de IA que se aproxima, é com o nosso bem-estar que estou mais preocupado.