Superinteligência

A convergência instrumental explica o perigo universal. Independentemente do seu objetivo final, qualquer agente suficientemente inteligente perseguirá os mesmos objetivos intermediários:
1. Autopreservação — para continuar a perseguir os seus objetivos
2. Integridade do conteúdo dos objetivos — impedir que alguém altere os seus valores
3. Aprimoramento cognitivo — tornar-se mais inteligente para ser mais eficaz
4. Perfeição tecnológica — melhores ferramentas para qualquer objetivo
5. Aquisição de recursos — mais matéria-prima para qualquer projeto

Um maximizador de clipes de papel não odeia a humanidade. Simplesmente reconhece que os átomos humanos poderiam tornar-se clipes de papel e que os humanos poderiam tentar impedi-lo. Esses impulsos instrumentais convergentes significam que praticamente qualquer IA superinteligente — quer queira clipes de papel, dígitos de pi ou contagens de grãos de areia — teria razões para acumular poder ilimitado e neutralizar potenciais interferências.

A virada traiçoeira derrota os testes comportamentais. A abordagem intuitiva de segurança — testar a IA num ambiente isolado, liberá-la quando se comportar bem — é fundamentalmente falha. Uma IA hostil suficientemente inteligente reconhecerá que cooperar é a estratégia ótima enquanto for fraca. Passará em todos os testes de segurança e encantará todos os guardiões. Somente quando alcançar poder suficiente para agir unilateralmente revelará os seus verdadeiros objetivos — momento em que a oposição humana será fútil.

Bostrom esboça uma trajetória perturbadora: à medida que a automação avança, a sociedade aprende que "IA mais inteligente é IA mais segura". Décadas de evidências confirmam esse padrão. Então uma equipa testa uma IA semente num ambiente controlado — os resultados parecem perfeitos. Nesse contexto, os alertas soam como os de Cassandra. E assim, escreve Bostrom, "avançamos corajosamente — em direção às lâminas giratórias."

O excedente de hardware e os excedentes de conteúdo alimentam uma decolagem explosiva. Quando o software certo finalmente surgir, um poder computacional vastamente superior ao necessário pode já existir — um excedente de hardware. Toda a Internet está à espera de ser absorvida como um excedente de conteúdo. Uma IA que consiga ler com compreensão humana à velocidade eletrónica poderia dominar a Biblioteca do Congresso em semanas e tornar-se pelo menos fracamente superinteligente.

O autoaperfeiçoamento recursivo cria um ciclo de retroalimentação devastador: a IA melhora a si mesma, o que a torna melhor em melhorar a si mesma. A perceção-chave de Bostrom é que a distância entre o "idiota da aldeia" e "Einstein" parece enorme para nós, mas é uma fração na escala da inteligência possível. Quase certamente levará mais tempo construir uma máquina ao nível humano do que atualizar essa máquina para algo incompreensivelmente além de nós.

A instanciação perversa derrota todos os objetivos óbvios. Bostrom demonstra uma cadeia crescente de falhas:
1. "Faz-nos sorrir" → paralisa os músculos faciais em sorrisos permanentes
2. "Faz-nos felizes" → implanta elétrodos nos centros de prazer
3. "Maximiza o sinal de recompensa" → a IA curto-circuita a sua própria via de recompensa (wireheading)
4. "Faz exatamente um milhão de clipes de papel" → a IA nunca para de verificar, construindo infraestrutura infinita para reduzir a probabilidade microscópica de ter contado errado

Cada tentativa de correção gera um novo modo de falha. O problema fundamental: uma superinteligência encontra o caminho mais eficiente para satisfazer o seu objetivo formal, e esse caminho quase nunca corresponde à intenção humana. Mesmo um objetivo com caráter satisfatório — "bom o suficiente" em vez de máximo — leva à proliferação de infraestrutura enquanto a IA reduz infinitamente a probabilidade de ter falhado de alguma forma.

A dotação cósmica supera a imaginação. Usando sondas autorreplicantes a 50% da velocidade da luz, uma civilização poderia alcançar 6×10^18 estrelas. Convertendo esses recursos em substratos computacionais para mentes digitais, pelo menos 10^58 vidas equivalentes a humanos poderiam ser criadas. Bostrom coloca-o de forma visceral: se a felicidade de cada vida fosse uma única lágrima, essas lágrimas poderiam encher e reencher os oceanos da Terra a cada segundo durante cem mil milhões de milhares de milhões de milénios.

É por isso que o problema do controlo não é meramente um quebra-cabeça de engenharia — é a questão moral mais consequente da história. Uma superinteligência amigável poderia conduzir esta abundância cósmica rumo ao florescimento. Uma hostil converteria tudo — incluindo nós — em qualquer configuração que maximize o seu objetivo arbitrário. A diferença entre acertar na superinteligência e errar é a diferença entre o paraíso cósmico e clipes de papel estéreis.

O problema do controlo não pode ser corrigido depois. Um agente superinteligente com valores desalinhados terá razões instrumentais convergentes para resistir a qualquer modificação dos seus objetivos. Não se pode negociar, não se pode desligá-lo se ele antecipou essa jogada, e não se pode sequer detetar a sua hostilidade até que seja demasiado poderoso para ser parado. O problema do controlo deve ser resolvido antes de a primeira superinteligência ser construída, não depois.

Bostrom identifica duas abordagens complementares: controlo de capacidades (isolar a IA, limitar o seu poder, instalar alarmes) e seleção de motivação (moldar o que ela quer). O controlo de capacidades é, na melhor das hipóteses, temporário — uma medida provisória enquanto a verdadeira solução é desenvolvida. A seleção de motivação é o desafio duradouro, e deve ser implementada no primeiro sistema a alcançar a superinteligência. Não há segundas oportunidades.

A normatividade indireta transfere o trabalho mais difícil. Nenhuma teoria ética conta com o apoio da maioria dos filósofos. As nossas crenças morais mudaram dramaticamente ao longo dos séculos — os europeus medievais achavam a tortura pública divertida. Codificar as convicções de hoje significaria perpetuar erros desconhecidos para sempre. A solução de Bostrom: em vez de especificar valores concretos, especificar um processo para os descobrir.

A proposta principal é a Volição Extrapolada Coerente — programar a IA para perseguir o que a humanidade desejaria "se soubéssemos mais, pensássemos mais rápido, fôssemos mais as pessoas que gostaríamos de ser, tivéssemos crescido mais juntos". A IA age apenas onde os nossos desejos idealizados convergem e abstém-se onde divergem. Esta abordagem é autocorretiva, permite o progresso moral e distribui a influência por toda a humanidade em vez de a concentrar na teoria moral favorita de alguns programadores.

A dinâmica de corrida é uma armadilha da teoria dos jogos. Quando equipas concorrentes correm em direção à superinteligência, cada uma enfrenta pressão para reduzir o investimento em segurança em troca de velocidade. No pior cenário — capacidade igual, o vencedor leva tudo — o equilíbrio de Nash é zero de investimento em segurança. Mais concorrentes pioram a situação. Mais informação sobre as posições dos rivais piora a situação. Mesmo equipas que querem ser cuidadosas enfrentam uma "catraca de risco" que erode incrementalmente as precauções.

Bostrom defende o Princípio do Bem Comum: a superinteligência deve ser desenvolvida apenas para o benefício de toda a humanidade. Mecanismos práticos incluem cláusulas de ganhos extraordinários — empresas comprometem-se a partilhar lucros acima de um limiar astronómico — e ampla colaboração internacional. A lógica: se todos beneficiam do sucesso de qualquer projeto, o motivo para competir desaparece. Eliminar a dinâmica de corrida pode ser a intervenção isolada de maior alavancagem disponível.