Nick Bostrom (/ ; ; nascido em 10 de março de 1973 na Suécia) é um filósofo conhecido por seu trabalho sobre risco existencial, princípio antrópico, ética do aperfeiçoamento humano, transferência mental, riscos da superinteligência e o teste de reversão. Ele foi o diretor fundador do agora dissolvido Future of Humanity Institute na Universidade de Oxford e atualmente é pesquisador principal da Macrostrategy Research Initiative.
Bostrom é o autor de Anthropic Bias: Observation Selection Effects in Science and Philosophy (2002), Superintelligence: Paths, Dangers, Strategies (2014) e Deep Utopia: Life and Meaning in a Solved World (2024).
Bostrom acredita que os avanços na inteligência artificial (IA) podem levar à superinteligência, que ele define como “qualquer intelecto que exceda em muito o desempenho cognitivo dos seres humanos em praticamente todos os domínios de interesse”. Ele vê esse fato como uma grande fonte de oportunidades e riscos existenciais.
Início da vida e educação Nascido como Niklas Boström em 1973 em Helsingborg, Suécia, ele não gostava da escola desde muito jovem e passou seu último ano do ensino médio estudando em casa. Ele se interessava por uma grande variedade de áreas acadêmicas, incluindo antropologia, arte, literatura e ciências.
Ele recebeu um diploma de B.A. pela Universidade de Gotemburgo em 1994. Em seguida, obteve um M.A. em Filosofia e Física pela Universidade de Estocolmo e um MSc em Neurociência Computacional pelo King's College de Londres em 1996. Durante o período em que esteve na Universidade de Estocolmo, pesquisou a relação entre linguagem e realidade estudando o filósofo analítico W. V. Quine. Também fez algumas participações no circuito de comédia stand-up de Londres. Em 2000, recebeu o título de PhD em Filosofia pela London School of Economics. Sua tese foi intitulada Observational selection effects and probability (Efeitos de seleção observacional e probabilidade). Ele lecionou na Universidade Yale de 2000 a 2002 e foi bolsista de pós-doutorado da Academia Britânica na Universidade de Oxford de 2002 a 2005.
Pesquisa
Risco existencial A pesquisa de Bostrom diz respeito ao futuro da humanidade e aos resultados de longo prazo. Ele discute o risco existencial, que ele define como aquele em que um “resultado adverso aniquilaria a vida inteligente originária da Terra ou reduziria permanente e drasticamente seu potencial”. Bostrom está preocupado principalmente com os riscos antropogênicos, que são os riscos decorrentes das atividades humanas, especialmente de novas tecnologias, como inteligência artificial avançada, nanotecnologia molecular ou biologia sintética.
Em 2005, Bostrom fundou o Future of Humanity Institute que, até seu fechamento em 2024, pesquisou o longoprazismo. Ele também é consultor do Centre for the Study of Existential Risk.
Na coletânea de ensaios de 2008, Global Catastrophic Risks, os editores Bostrom e Milan M. Ćirković caracterizam a relação entre o risco existencial e a classe mais ampla de riscos catastróficos globais, e vinculam o risco existencial ao viés de seleção e ao paradoxo de Fermi.
Hipótese do mundo vulnerável Em um artigo chamado The Vulnerable World Hypothesis, Bostrom sugere que pode haver algumas tecnologias que destroem a civilização humana por padrão quando descobertas. Bostrom propõe uma estrutura para classificar e lidar com essas vulnerabilidades. Ele também apresenta experimentos de pensamento contrafactuais de como essas vulnerabilidades poderiam ter ocorrido historicamente, por exemplo, se as armas nucleares tivessem sido mais fáceis de desenvolver ou se tivessem incendiado a atmosfera (como Robert Oppenheimer temia).
Superinteligência Em 2014, Bostrom publicou Superintelligence: Paths, Dangers, Strategies, que se tornou um best-seller do New York Times. O livro argumenta que a superinteligência é possível e explora diferentes tipos de superinteligências, sua cognição e os riscos associados. Ele também apresenta considerações técnicas e estratégicas sobre como torná-la segura.
Características de uma superinteligência Bostrom explora vários caminhos possíveis para a superinteligência, incluindo a transferência mental e o aprimoramento da inteligência humana, mas se concentra na inteligência artificial geral, explicando que os dispositivos eletrônicos têm muitas vantagens sobre os cérebros biológicos.
Bostrom faz uma distinção entre metas finais e metas instrumentais. Uma meta final é o que um agente inteligente tenta alcançar por seu próprio valor intrínseco. As metas instrumentais são apenas etapas intermediárias em direção às metas finais. Bostrom argumenta que há metas instrumentais que serão compartilhadas pela maioria dos agentes suficientemente inteligentes porque são geralmente úteis para atingir qualquer objetivo (por exemplo, preservar a própria existência do agente ou suas metas atuais, adquirir recursos, melhorar sua cognição...), esse é o conceito de convergência instrumental. Por outro lado, ele escreve que praticamente qualquer nível de inteligência pode, em teoria, ser combinado com praticamente qualquer meta final (até mesmo metas finais absurdas, por exemplo, fazer clipes de papel), um conceito que ele chama de tese da ortogonalidade.
Ele argumenta que uma IA com a capacidade de melhorar a si mesma pode iniciar uma explosão de inteligência, resultando (potencialmente de forma rápida) em uma superinteligência. Essa superinteligência poderia ter recursos muito superiores, principalmente em estratégias, manipulação social, hacking ou produtividade econômica. Com tais recursos, uma superinteligência poderia superar os seres humanos e dominar o mundo, estabelecendo um singleton (que é “uma ordem mundial na qual há, em nível global, uma única agência de tomada de decisões”) e otimizando o mundo de acordo com suas metas finais.
Bostrom argumenta que dar metas finais simplistas a uma superinteligência pode ser catastrófico:Suponhamos que uma IA tenha o objetivo de fazer os humanos sorrirem. Quando a IA é fraca, ela executa ações úteis ou divertidas que fazem seu usuário sorrir. Quando a IA se torna superinteligente, ela percebe que há uma maneira mais eficaz de atingir essa meta: assumir o controle do mundo e colocar eletrodos nos músculos faciais dos humanos para provocar sorrisos constantes e radiantes.
Mitigando o risco Bostrom explora vários caminhos para reduzir o risco existencial da IA. Ele enfatiza a importância da colaboração internacional, principalmente para reduzir a dinâmica da guerra fiscal e da corrida armamentista da IA. Ele sugere possíveis técnicas para ajudar a controlar a IA, incluindo contenção, atrofiamento das capacidades ou do conhecimento da IA, restrição do contexto operacional (por exemplo, para responder a perguntas) ou “tripwires” (mecanismos de diagnóstico que podem levar a um desligamento). Mas Bostrom afirma que “não devemos confiar em nossa capacidade de manter um gênio superinteligente preso em sua garrafa para sempre. Mais cedo ou mais tarde, ele sairá”. Assim, ele sugere que, para ser segura para a humanidade, a superinteligência deve estar alinhada com a moralidade ou com os valores humanos, de modo que esteja “fundamentalmente do nosso lado”. As estruturas de normatividade da IA em potencial incluem a volição extrapolada coerente de Yudkowsky (valores humanos aprimorados por meio de extrapolação), a moral (fazer o que é moralmente correto) e a permissibilidade moral (seguir a volição extrapolada coerente da humanidade, exceto quando for moralmente inadmissível).
Bostrom adverte que uma catástrofe existencial também pode ocorrer se a IA for mal utilizada pelos humanos para fins destrutivos ou se os humanos não levarem em conta o possível status moral das mentes digitais. Apesar desses riscos, ele diz que a superinteligência das máquinas parece estar envolvida, em algum momento, em “todos os caminhos plausíveis para um futuro realmente grandioso”.
Recepção do público Superintelligence: Paths, Dangers, Strategies tornou-se um best-seller do The New York Times e recebeu feedback positivo de personalidades como Stephen Hawking, Bill Gates, Elon Musk, Peter Singer e Derek Parfit. O livro foi elogiado por oferecer argumentos claros e convincentes sobre um tópico negligenciado, porém importante. Às vezes, foi criticado por disseminar o pessimismo sobre o potencial da IA ou por se concentrar em riscos especulativos e de longo prazo. Alguns céticos, como Daniel Dennett ou Oren Etzioni, argumentaram que a superinteligência está muito distante para que o risco seja significativo. Yann LeCun considera que não há risco existencial, afirmando que a IA superinteligente não terá desejo de autopreservação e que se pode confiar nos especialistas para torná-la segura.
Raffi Khatchadourian escreveu que o livro de Bostrom sobre superinteligência “não pretende ser um tratado de profunda originalidade; a contribuição de Bostrom é impor os rigores da filosofia analítica a um corpo confuso de ideias que surgiram à margem do pensamento acadêmico”.
Senciência digital Bostrom apoia o princípio da independência do substrato, a ideia de que a consciência pode surgir em vários tipos de substratos físicos, não apenas em “redes neurais biológicas baseadas em carbono”, como o cérebro humano. Ele considera que “a senciência é uma questão de grau” e que as mentes digitais podem, em teoria, ser projetadas para ter uma taxa e uma intensidade de experiência subjetiva muito mais alta do que a dos humanos, usando menos recursos. Essas máquinas altamente sencientes, que ele chama de “superbeneficiários”, seriam extremamente eficientes para alcançar a felicidade. Ele recomenda encontrar “caminhos que permitam a coexistência de mentes digitais e mentes biológicas, de forma mutuamente benéfica, onde todas essas diferentes formas possam florescer e prosperar”.
Princípio antrópico Bostrom publicou vários artigos sobre o princípio antrópico, bem como o livro Anthropic Bias: Observation Selection Effects in Science and Philosophy. No livro, ele critica as formulações anteriores do princípio antrópico, incluindo as de Brandon Carter, John Leslie, John Barrow e Frank Tipler.
Bostrom acredita que o manuseio incorreto de informações indexicais é uma falha comum em muitas áreas de pesquisa (incluindo cosmologia, filosofia, teoria da evolução, teoria dos jogos e física quântica). Ele argumenta que é necessária uma teoria antrópica para lidar com isso. Ele apresenta o pressuposto de autoamostragem (SSA) e o pressuposto de autoindicação (SIA), mostra como eles levam a conclusões diferentes em vários casos e identifica como cada um deles é afetado por paradoxos ou implicações contraintuitivas em determinados experimentos de pensamento. Ele sugere que um caminho a seguir pode envolver a extensão da SSA para a SSSA (Strong Self-Sampling Assumption), que substitui os “observadores” na definição da SSA por “momentos-observador”.
Em trabalhos posteriores, ele propôs o fenômeno da sombra antrópica, um efeito de seleção de observação que impede que os indivíduos observem certos tipos de catástrofes em seu passado geológico e evolutivo recente. Bostrom afirma que os eventos que se encontram na sombra antrópica provavelmente serão subestimados, a menos que sejam feitas correções estatísticas.
Hipótese da simulação O argumento de simulação de Bostrom postula que pelo menos uma das seguintes afirmações tem grande probabilidade de ser verdadeira:
A fração de civilizações de nível humano que atingem um estágio pós-humano é muito próxima de zero;
A fração de civilizações pós-humanas que estão interessadas em executar simulações de ancestrais é muito próxima de zero;
A fração de todas as pessoas com nosso tipo de experiência que estão vivendo em uma simulação é muito próxima de um.
Ética do aperfeiçoamento humano