View
0
Download
0
Category
Preview:
Citation preview
1
SUMÁRIO
LISTA DE IMAGENS 2
LISTA DE SIGLAS 3
1. APRESENTAÇÃO DA EQUIPE 4
1.1 Luiza Freitas 4
1.2 Camila Kalks 4
1.3 Jennifer Ribeiro 5
1.4 Mateus Ricardo 5
2. APRESENTAÇÃO DO TEMA 5
2.1 Desenvolvimento armamentício e tecnológico 9
3. ASPECTOS TÉCNICOS E EXPLICAÇÃO DE TERMOS 12
3.1 Veículos não tripulados terrestres, marítimos e aéreos 14
3.1.1 Micro Veículo Aéreo (MAV) 18
3.2 Aprendizado de máquina (machine learning) 20
3.3 SAAL – sistemas de armamentos autônomos letais 22
3.4 Níveis de autonomia 26
3.5 Controle humano significativo (CHS) 29
4. HISTÓRICO DAS DISCUSSÕES 30
4.1 Convenção Sobre Certas Armas Convencionais (CCW) 31
4.2 Condução das discussões nos fóruns internacionais 33
5. IMPLICAÇÕES ÉTICAS 37
6. DIREITOS HUMANOS E DIREITO INTERNACIONAL HUMANITÁRIO 37
7. APRESENTAÇÃO DO COMITÊ 38
7.1 Assembleia Geral Das Nações Unidas 39
7.2 Primeiro Comitê Da Assembleia Geral Das Nações Unidas (PC-AGNU) 39
8. POSIÇÕES DOS PRINCIPAIS ATORES 40
8.1 Estados Unidos da América 41
8.2 República Islâmica do Paquistão 41
8.3 República Popular da China 41
8.4 República Russa 42
9. QUESTÕES RELEVANTES 42
ANEXO A - TABELA DE REPRESENTAÇÕES 47
2
LISTA DE IMAGENS
IMAGEM 1 – VANT Skyborg
IMAGEM 2 – Mulheres na fabricação de armas na 2ª GM
IMAGEM 3 – Como funciona o “Domo de Ferro”
IMAGEM 4 – Phalanx CIWS
IMAGEM 5 – Sistemas autônomos marítimos
IMAGEM 6 – Soldados lançam um equipamento da categoria REMUS ao mar
IMAGEM 7 – Anfíbio autônomo chinês, o “Lagarto Marinho”
IMAGEM 8 – Soldado operando o MAV Wasp AE RQ-12A
IMAGEM 9 – Principais divisões e aplicações do aprendizado de máquina
IMAGEM 10 – Drone Reaper 2 disparando míssil
IMAGEM 11 – Quadro simplifica com os níveis de autonomia de máquina
IMAGEM 12 – Helicóptero autônomo K-MAX 3 transportando carga
IMAGEM 13 – Tanque de combate russo Soratnik em operação
3
LISTA DE SIGLAS
AGNU Assembleia Geral das Nações Unidas
CCW [sigla em inglês] Convenção sobre Certas Armas Convencionais
CHS Controle Humano Significativo
CSNU Conselho de Segurança das Nações Unidas
DI Direito Internacional
DIH Direito Internacional Humanitário
MAV [sigla em inglês] Micro Veículo Aéreo
ONU Organização das Nações Unidas
OTAN Organização do Tratado do Atlântico Norte
RAA Reconhecimento Automático de Alvo
SAAL Sistemas de Armamentos Autônomos Letais
UNIDIR [sigla em inglês] Instituto das Nações Unidas para Pesquisa em
Desarmamento
4
1 APRESENTAÇÃO DA EQUIPE
Olá, delegades! Sejam muito bem-vindos à 80ª Assembleia Geral das Nações
Unidas, um dos principais órgãos das Nações Unidas e onde é garantido que todos
os países tenham o mesmo peso nas decisões. Simularemos uma Reunião de Alto
Nível que ocorrerá entre os dias 23 e 25 de setembro de 2025 e será discutido a
utilização de armamentos autônomos no mundo, de forma a considerar as
consequências legais, morais e éticas, políticas e tecnológicas. É com grande prazer
e alegria que os receberemos para a discussão deste tema tão importante para o
ambiente internacional no MINIONU 20 Anos.
1.1 Luiza Freitas
Eu sou Luiza Freitas, tenho 26 anos e sou a diretora deste comitê. Estou no
final da graduação em Relações Internacionais e espero poder auxiliá-los da melhor
forma possível. Participei pela primeira vez do MINIONU em 2015 como voluntária
de Imprensa, diretora-assistente do CPSUA-CSNU 2017 sobre o Saara Ocidental;
em 2017 fui diretora do CCW, o primeiro comitê a simular sobre armamentos
autônomos no MINIONU e em 2018 como colaboradora em comitê de Crise e
Intervenção. Com o fim da graduação vem também a despedida deste projeto que
faz parte do meu coração. Antes de dizer adeus, no entanto, terei essa experiência
com vocês, e espero que ela seja incrível para todos.
1.2 Camila Kalks
Eu sou Camila Kalks, tenho 21 anos e sou diretora-assistente do presente
comitê. Durante a simulação estarei no 6ª período de Relações Internacionais e
espero que esta seja uma experiência incrível e memorável para todos. Minha
primeira participação no MINIONU foi ano passado como voluntária do OMI (2018),
sobre a segurança e proteção marítima internacional. Tenho grandes expectativas
para a realização dos debates e acredito que será uma oportunidade extraordinária
para todos nós, tenha certeza que farei o possível para que essa experiência seja
única e que lhes traga um grande enriquecimento acadêmico e pessoal.
5
1.3 Jennifer Ribeiro
Olá delegadxs, meu nome é Jennifer Ribeiro, tenho 20 anos e sou diretora-
assistente da AGNU 2025. Durante os debates estarei no 6ª de Relações
Internacionais e essa é a minha segunda participação no MINIONU – ano passado
fui voluntária da FAO 2017, que tratava sobre a crise alimentar no Iêmen. Espero
que possamos ter uma experiência incrível juntos e debates muito produtivos.
Estamos construindo o comitê com muito carinho e dedicação, e torço para que
vocês vivam momentos únicos e passem a amar esse projeto tanto quanto eu amo.
Aguardo ansiosamente vocês em outubro!
1.4 Mateus Ricardo
Sou Mateus Oliveira Ricardo, estou cursando Relações Internacionais na PUC
Minas e durante o evento estarei no 4° período. Participei a primeira vez em 2016,
como voluntário na 17° edição do MINIONU, e me apaixonei assiduamente pelo
projeto e pelo dinamismo usado para dar espaço para jovens estudantes usarem
suas vozes e percepção para contribuírem para a construção de um mundo onde
todos podem cooperar e ajudar. Espero que para esta edição, possa auxiliar os
senhores delegadxs no agregamento de ideias e juntos podermos ter debates
excepcionais e termos a certeza de que, de alguma maneira, fizemos diferença. Até
lá!
2 APRESENTAÇÃO DO TEMA
Apesar de ter uma história relativamente recente, os sistemas autônomos são
resultados de uma longa trajetória de pesquisa e desenvolvimento tecnológico,
muitas vezes relacionados aos esforços de guerra1 ou no uso industrial/comercial.
Os robôs autônomos, no geral, são aqueles capazes realizar atividades sem ou com
pouca intervenção de humanos. Algumas de suas ações podem ser: de determinar e
replanejar sua rota (caso tenha instrumentos locomotores), desviar de obstáculos,
1
Um exemplo clássico é o surgimento da internet durante a Guerra Fria, sendo de responsabilidade
da Agência de Projetos de Pesquisa Avançada de Defesa (DARPA, sigla em inglês) dos Estados Unidos.
6
evitar ameaças a si (se tiver sensores e esteja na sua programação, como são os
veículos civis autônomos), e realizar as tarefas para as quais foi programado. Já os
sistemas de armamentos autônomos letais (SAALs) diferencia-se principalmente de
outros robôs pois é também capaz selecionar alvo e fazer uso da força
possivelmente letal. Chamaremos eles de “sistemas de armamentos autônomos
letais” seguindo o modo estabelecido pelos estudos realizados sobre o tema e pelas
discussões que já houveram. Esse termo refere-se tanto a robôs móveis ou fixos, e
pelo local em que se encontra, podendo ser marítimo, terrestre ou aéreo.
Como qualquer tecnologia, eles podem falhar, quanto maior for a
complexidade da missão e dos objetivos, maior a possibilidade destes sistemas
falharem ou apresentarem irregularidades no seu funcionamento. Os SAALs são
usados atualmente pelos países, tendo suas programações definidas para atuar em
situações delimitadas por objetivos, área de operação geográfica e período de
tempo. Isso acontece para que seja reduzida de alguma forma a complexidade e as
situações ambíguas. Entretanto, é visível o interesse de em ampliar os níveis e
aspectos da autonomia dessas máquinas militares.
Impulsionados pela revolução tecnológica mais recente2 leva a mudanças
sem volta para toda a sociedade, seja para o bem ou para o mal.
Com o recente aumento das preocupações com os "sistemas de armas autônomos" (SAA), a sociedade civil, a comunidade internacional e outros concentraram sua atenção nos potenciais benefícios e problemas associados a esses sistemas. Alguns [especialistas em assuntos] militares veem utilidade potencial em sistemas autônomos - esperando que eles executem tarefas em contextos e de formas que os humanos não podem, ou que podem ajudar a reduzir custos ou reduzir baixas militares. No entanto, assim como sensores, algoritmos e munições estão cada vez mais interligados, surgem questões sobre a aceitabilidade da autonomia em certas "funções críticas", particularmente em torno da identificação, seleção e aplicação da força aos alvos. Essas preocupações abrangem considerações éticas, legais, operacionais e diplomáticas. (ROFF; MOYES, 2016, p. 1, tradução nossa
3).
2
Outras revoluções tecnológicas são o desenvolvimento da agricultura; a invenção da imprensa
tipográfica de Gutemberg; os estudos em física atômica e mecânica quântica (BOSTROM, 2006); e a 4ª Revolução, que consiste na “convergência de tecnologias digitais, físicas e biológicas”. Ver mais em: “O que é a 4ª revolução industrial – e como ela deve afetar nossas vidas”. Disponível em: https://www.bbc.com/portuguese /geral-37658309 3 With the recent rise in concerns over ‘autonomous weapons systems’ (AWS), civil society, the
international community and others have focused their attention on the potential benefits and problems associated with these systems. Some military planners see potential utility in autonomous systems - expecting them to perform tasks in ways and in contexts that humans cannot, or that they may help to save costs or reduce military casualties. Yet as sensors, algorithms and munitions are increasingly interlinked, questions arise about the acceptability of autonomy in certain ‘critical functions,’
7
A inteligência artificial está se tornando a melhor administradora de funções
no chão de fábrica; as residências possuem plena capacidade de serem
automatizadas; casas e órgãos de corpos biológicos impressos em 3D estão em
fases finais de testes; os supercomputadores Google Deepmind4 e de outras
companhias colaboram no diagnóstico médico, tratamento de doenças crônicas e na
redução no uso de energia em diversas áreas. Gradativamente nossa vida, morte e
vivência em sociedade estão ligadas às conexões tecnológicas e, muitas vezes, as
consequências econômico-sociais e políticas não são claras. O tema de nossos
debates, então, é sobre a possibilidade de que sistemas e robôs inteligentes se
tornem instrumentos armados, de guerra, com a capacidade de, no limite, tirar uma
vida humana.
As notícias que saem em jornais, objetos que utilizamos no cotidiano e artigos
que divulgam os resultados de pesquisas científicas refletem alguns dos usos mais
notáveis e graves do desenvolvimento técnico-científico. São um símbolo de onde a
inteligência humana é capaz de chegar e como os caminhos são desconhecidos. O
ponto fundamental das discussões vai além de armar um robô e saber se uma
máquina pode ou não abrir fogo contra diferentes alvos. Diz respeito ao significado
das decisões humanas e como essas decisões mudam o próprio sentido da vida e
da guerra, buscando evitar que os efeitos negativos do desenvolvimento tecnológico
sejam grandiosos demais.
Vivemos em 2025, um mundo novamente assombrado pelo risco de uma
guerra nuclear, alguns acreditam que chegamos a picos de tensão até piores que os
da Guerra Fria5. Por outro lado, as lideranças políticas e econômicas dos países
negam que haja um aumento do risco do surgimento de conflitos armados, e evitam,
assim, relacionar o contexto atual com o período histórico de décadas atrás. Os
sistemas de armamentos autônomos entram no contexto atual como um caminho
natural a ser seguido. Devemos reconhecer que o ser humano realizou ações
particularly around identification, selection and application of force to targets. These concerns span ethical, legal, operational and diplomatic considerations. 4
Google Deepmind é uma companhia com a missão de desenvolver programas que possam
aprender a resolver qualquer problema complexo sem precisar ser ensinado. É subsidiária do Alphabet Inc. 5 Preocupações de um novo capítulo da corrida armamentista surgiram a partir da decisão dos
Estados Unidos de se retirarem do Tratado de Forças Nucleares de Alcance Intermediário (INF) no começo de 2019. Em resposta, Rússia também suspendeu sua participação no tratado histórico que foi assinado em 1987. Fato não vem como surpresa, já que ambos os países acusavam-se continuamente de violar os termos do tratado.
8
extraordinárias, o que nos leva à máxima “com grandes poderes, vêm grandes
responsabilidades”.
Há pouco mais de uma década este assunto começava a aparecer na agenda
política dos países pois, neste mesmo período, os primeiros SAALs (sistemas de
armamentos autônomos letais) estavam sendo desenvolvidos. É importante saber
que armamentos completamente autônomos só passaram a ser empregados pelos
países há cerca de quatro anos, anteriormente havia seu emprego somente em
testes e tarefas de segurança civil. Relatos de uso de sistemas completamente
autônomos datam de 2021, quando a China utilizou veículos marítimos autônomos
para realizar patrulha no mar do sul da China, enquanto a Coreia do Sul utilizou
sistemas semelhantes na patrulha cotidiana de suas fronteiras com Coreia do Norte.
Desde então, os custos de produção em massa de equipamentos civis e
militares reduziram consideravelmente, resultado de investimentos pesados em
vários campos tecnológicos. Uma consequência disto é o aumento no número de
países utilizando sistemas do mesmo tipo na assistência de setores de segurança.
Isso ocorreu graças aos avanços na inteligência artificial, robótica, aprendizado de
máquina e capacidade computacional, conexões de rede, vários ramos das
engenharias, entre outros (STONE et al. 2016). Um exemplo é a VANT Skyborg
(Imagem 1), nave não-tripulada estadunidense com o menor custo de produção que
foi projetada para ajudar aeronaves tripuladas a operar em espaço aéreo protegido.
Tal projeto, finalizado no começo de 2024, foi utilizado em campo de batalha no
mesmo ano na fronteira com o México e na costa marítima da Coreia do Sul.
IMAGEM 1 - VANT Skyborg
9
Fonte: Exército Americano.
Porém, é importante pontuar que o surgimento desses equipamentos não veio
sem questionamentos quanto à complexidade estratégica, legal, moral e ética
decorrente do desenvolvimento e uso de tais sistemas de armamentos (UNIDIR,
2014). Será que eles realmente reduzem o custo humano no campo de batalha ou
somente deixam um conflito mais assimétrico6. Para compreender o motivo de
nossas discussões e construir posicionamentos coesos para suas representações é
necessário entender como chegamos nesta conjuntura, levando em conta os
aspectos técnicos e políticos. Uma parte do conteúdo está presente neste guia de
estudos, mas a preparação vai além destas páginas. Por isso, pedimos aos
delegados e delegadas que façam intenso uso dos dossiês, postagens em nosso
blog e demais conteúdos, pois são fundamentais. Mais informações serão
divulgadas futuramente, fiquem atentos.
2.1 Desenvolvimento armamentício e tecnológico
Com tamanho desenvolvimento tecnológico empregado no cotidiano, por que
não utilizar robôs e máquinas em assuntos militares para aumentar as chances de
chegar à paz com o menor custo humano possível? Por que mandar aeronaves
tripuladas ou soldados para reconhecimento de campo, colocando em risco suas
6 Um conflito assimétrico é quando um lado é muito mais forte que o outro ou suas forças militares
têm características muito diferentes entre si, que levaria a mais baixas de um lado do que do outro.
10
vidas, se há máquinas7 que podem fazer isso? Por que depender do ser humano em
tarefas de vigilância de espaços e fronteiras ou de buscar foragidos, quando estes
podem ser realizados muito mais eficientemente por sistemas autônomos que
demandam somente a supervisão de um oficial? Foram essas perguntas e
promessas de significantes avanços estratégicos, pela busca de um melhor custo-
benefício e diminuição do risco para soldados que estimularam o desenvolvimento
de SAALs para o campo militar.
Radares, energia nuclear, sistemas computadorizados, internet, aviões e
outras tecnologias modificaram as dinâmicas nos campos econômico, político, social
e militar e, não estariam tão avançados como hoje se não fosse pelas vantagens
militares que trazem com seu desenvolvimento. Onde a capacidade tecnológica e
militar de um país se encontra em relação a outros países é fator decisivo em boa
parte do cotidiano internacional. Isto é, Estados mais fortes nestes aspectos tendem
a influenciar mais facilmente os demais, enquanto os que não possuem grande
capacidade militar procuram outros meios de melhorar seu poder de barganha e
conseguir atingir seus objetivos frente aos demais países em diversas temáticas
(MARCHANT, 2011; MARKUSEN, 1986).
A tecnologia militar durante a 2ª Grande Guerra causou destruição sem
precedentes. Nesse período houveram importantes desenvolvimentos em pesquisas
que possibilitaram o progresso de diversas áreas inclusive a tecnológica. Aliado a
esse desenvolvimento, os países com o maior potencial industrial possuíam também
maior poder em relação aos demais, uma vez que tinham meios para aumentar
consideravelmente a sua produção de armamentos. Com o fim da 2ª Guerra, houve
uma redução desses investimentos militares para defesa, uma vez que os países já
haviam despendido muito orçamento para o esforço de guerra e suas economias
estavam muito fragilizadas por causa do conflito. Contudo, a Rússia começou a
emergir como uma potência na Eurásia e se tornou uma oposição aos EUA, que
saíram muito fortalecidos na segunda guerra, iniciando-se assim a Guerra Fria, que
determinaria novos rumos ao desenvolvimento tecnológico.
7
A palavra “máquina” será utilizada como termo intercambiável para sistemas de software, agentes
artificiais e de robótica, bem como combinações dos mesmos. Porém há diferenças fundamentais entre estes termos. Maiores explicações são dadas na seção 4 deste guia.
11
IMAGEM 2 - Mulheres na fabricação de armas na 2ª GM
É mais conhecida a participação de mulheres como enfermeiras durante as guerras mas,
principalmente na 2ª GM, muitas trabalharam na indústria em geral e na produção de armas e munições. Fonte: D. Doughty
O antagonismo entre esses dois países fez com que a corrida armamentista
se tornasse uma corrida científica-militar, que mobilizou todas as áreas
tecnocientíficas de forma ainda mais intensa do que as vistas nos períodos
anteriores, buscando sempre produzir armas de muita qualidade que pudessem ser
operacionalizadas. Na última década o perfil de investimentos em pesquisa e
desenvolvimento mudou mais uma vez, prevalecendo investimentos privados para o
avanço do uso civil das tecnologias. No entanto, é um erro subestimar o peso que as
pesquisas militares têm hoje, sendo mais certo falar que as duas categorias andam
juntas (PAALBERG, 2004).
Vemos isso em parcerias público-privada em vários países.
Parcerias público-privadas é a capacidade do setor público de usar a experiência do setor privado, com o segundo fornecendo os serviços tradicionalmente característicos do setor público.... Este modelo de parceria geralmente prevê o desenvolvimento de joint-ventures de pesquisa com igual distribuição de custos e retorno de investimentos, informação e compartilhamento de conhecimento (VUTSOVA; IGNATOVA, 2014, p. 85, 87, tradução nossa
8).
8 Public-private partnerships as a new type of relationship is the ability of the public sector to use the
experience of the private sector, with the latter providing the services traditionally characteristic of the public sector.
12
Esse tipo de cooperação é importante para o crescimento de economias
baseadas em informação e tecnologia e para o desenvolvimento de países no geral
que, a partir da metade do século XX, abrange também as esferas sociais e culturais
de uma sociedade, voltadas à garantia de melhor e melhor qualidade de vida.
(VUTSOVA; IGNATOVA, 2014)
Essas parcerias são indispensáveis para as políticas europeias de inovação.
Assim também é na China, em que “empresas chinesas de segurança privada
tendem a operar com o apoio tácito e o incentivo do governo chinês e, com
frequência, são compostas por ex-agentes do EPL9 com vínculos estreitos, embora
indiretos, com as autoridades chinesas.” (NOUWENS; LEGRADA, 2018) Desta
forma que tecnologias de segurança pública se espalharam pela China com navios
autônomos para patrulhar suas ilhas no Mar do Sul da China e os pontos de
verificação de segurança nas cidades que utilizam programas de reconhecimento
facial para localizar pessoas foragidas e ilegais no país, estando presente inclusive
em óculos inteligentes portados por policiais. O desenvolvimento de enxames de
micro veículos aéreos pela Inglaterra e Israel também é outro exemplo de parceria
público-privada em áreas tecnológicas.
3 ASPECTOS TÉCNICOS E EXPLICAÇÃO DE TERMOS
O início do uso de armamentos autônomos é marcado pelo desenvolvimento
de equipamentos que exerciam funções de defesa, que dependiam parcialmente do
comando humano ou deveriam ser programados com os comandos exatos do que
deveriam realizar. Há cerca de duas décadas houve uma mudança desse quadro,
fazendo com que as decisões de “disparar” e/ou “atacar” passassem a depender de
um sistema híbrido de máquina e humanos para coletar, processar e interpretar
dados. Alguns exemplos são os drones (ou veículo aéreo não tripulado), os mísseis
antiaéreos, sistemas anti-mísseis, de artilharia e morteiros, e formas mais
rudimentares, como o sistema de mina marítima encapsulada (mísseis e torpedos
anti-submarinos) e minas indiscriminativas terrestres ou submarinas (sem possuir
alvo específico, são acionadas seja por um ser humano, tanque ou navio) (UNIDIR,
2017).
9 Exército Popular de Libertação, as forças armadas chinesas.
13
A capacidade de processamento das máquinas em alguns dos sistemas já
ultrapassava em muito a capacidade humana. Na imagem 3 percebemos tal
inteligência observando o comportamento do ‘Domo de Ferro’, um sistema de defesa
antiaérea móvel desenvolvido por Israel, que é utilizado há mais de duas décadas
por sua alta taxa de sucesso e atualmente vem sendo comercializado para países
aliados. O domo funciona da seguinte forma: 1 - míssil é lançado de território
inimigo; 2 - radar israelense localiza míssil em voo; 3 - em um segundo, o sistema
israelense lança míssil mais rápido que o inimigo; 4 - míssil inimigo é interceptado
em alta altitude.
IMAGEM 3 - Como funciona o “Domo de Ferro”
Fonte: Business Insider
Estes tipos de sistemas de defesa demonstram uma transformação no que se
refere ao nível de autonomia, uma vez que apresentam diferentes níveis de decisão
e autorização humana. O Domo de Ferro, por exemplo, reage de acordo com
informações captadas por sensores e processadas pelo seu sistema
autonomamente, para garantir uma ágil resposta a ataques aéreos inimigos. Mais
recentemente os equipamentos aéreos têm um avanço cada vez maior no que diz
respeito ao acréscimo no seu poder de fogo. Em outras palavras, um robô com
capacidade alta de locomoção que era antes utilizado para vigilância e
reconhecimento de território, é agora amplamente capaz de portar armas letais,
assim como veículos autônomos aéreos ou aquáticos são capazes de carregar
14
sistemas de mísseis para uma resposta mais ágil a invasões e ataques
(MARCHANT, 2011).
Para uma maior clareza acerca dos aspectos técnico dos armamentos
autônomos é necessário apresentar alguns conceitos importantes. Máquinas são um
grupo mais amplo que abrangem qualquer tipo de equipamento, entendendo-o como
um dispositivo capaz de realizar alguma tarefa pré-determinada utilizando energia.
Diferenciam-se em suas classificações, sendo manuais, automáticas, automatizadas
e autônomas (esses termos serão explicados mais à frente). Os robôs são
equipamentos programáveis por um computador ou controlados remotamente,
possuindo diferentes graus de autonomia para realizar suas funções e podendo ter
diversos modelos, tamanhos e funções. Quanto maior autonomia, maior sua
capacidade de interagir com o ambiente, ou seja, são capazes de identificar em qual
contexto estão inseridos e agir nele. Essa autonomia se refere ao nível de
submissão de uma máquina frente ao controle humano (monitoramento e decisão
humana), ou seja quanto maior a intervenção humana menor a autonomia
(BOULANIN, VERBRUGGEN, 2017).
IMAGEM 4 - Phalanx CIWS
O Phalanx CIWS é um sistema de defesa majoritariamente naval. Para ser acionado, o
possível alvo, que pode ser tanto míssil quanto aeronave, tem que estar se aproximando do navio de forma que possa atingi-lo. Fonte: Wikipédia
3.1 Veículos não tripulados terrestres, marítimos e aéreos
15
Drones10, geralmente chamados os veículos não tripulados (VANTs), variam
em tamanhos, funções e o meio em que são empregados, podendo ser terrestre,
aquático e subaquático, e aéreo. São valiosos por sua ampla possibilidades de usos
que vão do uso civil, comercial e acadêmico às mais complexas operações militares,
principalmente em missões “maçantes, sujas ou perigosas” (TICE, 1991). Alguns
exemplos são: patrulha de segurança de territórios e eventos, proteção da vida
selvagem, operações de limpeza de óleo, apoio a aplicação da lei, espionagem,
lançamento de mísseis, busca e entrega de objetos em residências ou hospitais,
mapeamento, oceanografia, entre tantos outros.
IMAGEM 5 - Sistemas autônomos marítimos
Submarinos autônomos são plataformas de baixo custo para realizar missões muito perigosas,
como busca de minas, ou muito entediantes, como patrulha e reconhecimento. Na imagem temos algumas ilustrações de veículos aquáticos de superfície ou submarinos. Quase todos estes modelos podem ser controlados remotamente ou completamente autônomos, dependendo da função. Fonte:
Drone Center.
Até o momento não há uma classificação ou regulamentação internacional
oficial e uniforme sobre essa modalidade, apesar das muitas tentativas em diversas 10
Significa zangão em inglês, apelidado assim pelo barulho que fazem.
16
organizações. Analistas explicam este fato como sendo da natureza da política
internacional, pois ao classificar e regulamentar resultaria em limitações para sua
pesquisa e desenvolvimento. O mais comum é encontrar legislações nacionais que
tentam regulamentar o uso para evitar acidentes mais graves, como queda de
drones em áreas residenciais ou interferência em aeroportos e portos. Em casos
assim são permitidos apenas drones com um piloto remoto, e com a circulação
proibida em áreas restritas, como aeroportos. Assim, equipamentos autônomos sem
intervenção externa durante o voo seriam proibidos. Reforça-se, assim, o desafio
para definir e limitar esses armamentos internacionalmente e a necessidade de
normas para o mesmo (PEDROSA, 2015).
IMAGEM 6- Soldados lançam um equipamento da categoria REMUS ao mar
REMUS é a sigla para Unidade Submarina de Medição Ambiental Remota, ele é um pouco
mais longo que 1.5 m, 18 cm de diâmetro, com o peso de 39 kg e com capacidade de operar por até 10 horas em profundidades de até 100 mt. Fonte: Military Aerospace Electronics.
A categoria REMUS possui modelos de diferentes comprimentos (opções
mais portáveis, em miniatura, ou maiores e mais potentes) e níveis de autonomia.
Seu primeiro uso em batalha foi na caça de minas marítimas durante a operação
interventora no Iraque em 2003 nas proximidades do porto de Umm Qasr. Os mais
comuns são controlados por operadores utilizando softwares em treinamento,
análises e documentação após missões; em sua menor versão, o software permite
que um mesmo operador consiga controlar até doze REMUS UUVs (Unmanned
Underwater Vehicles em inglês, ou veículos autônomos subaquáticos) ao mesmo
tempo, entrando assim na categoria de enxame - conjunto composto por um grande
17
número de pequenos drones. Suas baterias possuem capacidade de operar por 22
horas, sendo muito mais eficiente que mergulhadores, que demorariam um mês para
realizar o mesmo trabalho. A companhia que o produz é norueguesa e vende muitas
unidades para diversos países. Além de realizar contramedidas de minas é também
adequado para segurança de portos, mapeamento de campos de detritos,
operações de busca e salvamento, monitoramento ambiental, operações de pesca e
amostragem e mapeamentos científicos, e para pesquisa marinha e hidrográficas
(DRONE CENTER, 2015).
Em abril de 2021 as Filipinas notificaram que ocorreram exercícios com
supostos veículos anfíbios autônomos, juntamente com submarinos autônomos e
outras embarcações militares convencionais nas proximidades da ilha filipina de
Thitu, o que caracterizaria invasão territorial. A ilha está localizada no Mar do Sul da
China, área com muitos atóis disputados pela China, Filipinas, Malásia e Vietnam.
Essa notícia foi tida como verdadeira pois, condiz com o anúncio da China em 2019
de sua nova embarcação anfíbia apelidada de Lagarto Marinho, produzido pela
Empresa de Indústria de Construção Naval na China. Este barco seria, como outras
embarcações anfíbias, um importante equipamento para a logística e infantaria de
operações militares.
O Lagarto Marinho pode ser usado para assaltar praias em conjunto com
outros veículos autônomos, como drones e outros barcos. Tem 12 mt de
comprimento e uma velocidade máxima de 50 nós na água e 20 km/h em terra. O
veículo pode ser controlado remotamente e também pode planejar sua própria rota
em terra ou na água e evitar obstáculos. Há a possibilidade de ser equipado com
metralhadoras e um lançador de mísseis, embora seja provável que ele dependa de
um operador externo para essas funções. Uma característica interessante deste
sistema é poder ficar dormente por até oito meses, ou seja, ele pode ser instalado
em uma das ilhas e ilhotas das regiões disputadas, para assegurar a ocupação e
não por a vida de soldados em risco, e ser reativado depois de acordo com a
necessidade das forças militares chinesas (LIPTAK, 2019).
IMAGEM 7 – Anfíbio autônomo chinês, o “Lagarto Marinho”
18
Veículo anfíbio Lagarto Marinho embarcando em uma praia. Fonte: The Verge.
3.1.1 Micro Veículo Aéreo (MAV)
A utilização de VANTs em tamanho reduzido vem aumentando em diversos
países, principalmente no que se refere ao uso domésticos e em operações militares
que precisam de precisão cirúrgica. Primeiras notícias sobre MAVs datam de 2008
sobre o Projeto Anubis11 do Laboratório de pesquisa das Forças Aéreas americanas
com o objetivo de criar um minúsculo robô armado para agir na eliminação de alvos
de alta importância. Por muitos anos os resultados do projeto ficaram em segredo,
até que as forças americanas anunciaram sucesso no emprego de micro-veículos
com algoritmos e sensores de rastreamento inovadores, em missões contra
possíveis células terroristas nas Filipinas, em 2020. Desde então muitas
preocupações surgiram, principalmente no que tange ao uso indiscriminado pela
população civil e organizações criminosas, além do emprego para espionagem e
violação de privacidade.
Seu motor elétrico é silencioso, assim ele pode se aproximar do alvo sem
revelar sua presença. A principal motivação para o desenvolvimento desses micro
robôs foi aumentar a precisão e o elemento surpresa do ataque. Uma capacidade
fundamental destes pequenos equipamentos é que são especiais em sua função de
11
Nome do projeto é inspirado no deus egípcio antigo dos mortos, guiava e conduzia a alma dos
mortos no submundo.
19
enxame12, que é quando vários robôs simples operam de forma coordenada em um
sistema de comportamento coletivo desejado.
Anos atrás a maioria das operações contra alvos de liderança terrorista
contavam apenas com mísseis Hellfire sendo lançados por drones Reaper e
Predator, sendo assim para diminuir a quantidade de tropas especiais envolvidas
nas operações. No entanto, as intervenções com drones possuem desvantagens
relevantes, como: dificuldade e incerteza na identificação de alvos, falta de agilidade
e quando eram empregados contra alvos móveis, por não possuírem tanta precisão,
o risco de matar ou ferir inocentes era bastante alto (HAMBLING, 2010). É de se
esperar que algumas dessas deficiências sejam superadas com micro modelos.
IMAGEM 8 - Soldado operando o MAV Wasp AE RQ-12ª
Fonte: AeroVironment
Um modelo do tipo é o Wasp AE, capaz de realizar operações marítimas e
terrestres controlado remotamente ou programado para atuação autônoma, mesmo
com ventos muito fortes. São muito difíceis de ser detectados tanto de dia quanto à
noite; seu lançamento é por arremesso manual; possuem recursos avançados de
captura e transmissão em tempo real de imagens, vídeos e dados criptografados;
maior resistência e facilidade de uso.
A Rússia também é forte no desenvolvimento destes sistemas, um exemplo é
o micro veículo aéreo russo Zhuk-OKSA mais potente que o Black Hornet, de
produção americana e norueguesa. O Zhuk-OKSA opera em missões no Oriente
Médio, Ásia e Europa Oriental. Forças aéreas americanas anunciaram sucesso no
12
Por exemplo, um enxame de drones amadores armados atacou uma base militar russa na Síria.
[Em inglês]. Disponível em: https://www.cnbc.com/2018/01/11/swarm-of-armed-diy-drones-attacks-russian-military-base-in-syria.html
20
emprego de micro-veículos, com algoritmos e sensores de rastreamento inovadores,
em missões contra possíveis células terroristas nas Filipinas.
3.2 Aprendizado de máquina (machine learning)
O machine learning and deep learning (aprendizado da máquina e
aprendizado profundo, em tradução livre) é um ramo da Inteligência Artificial, uma
área de estudos, um método de análise de dados e uma categoria de algoritmos que
proporciona a possibilidade de que o software de uma máquina receba um conjunto
de informações e possa, a partir desses dados, processá-los de forma independente,
reduzindo a necessidade de que todos os contextos sejam programados pelo
homem. A inteligência artificial (IA) busca desenvolver softwares de automação
capazes de ter uma sinapse parecida com a do cérebro humano, no que se refere a
competências como “reconhecimento de padrões, análise de texto e
planejamento/solução de problemas”13 e é ela que dá ao armamento maior
capacidade de autonomia (KRISHNAN, 2016, p. 5, tradução nossa).
No começo eram focados aprendizado por repetição de padrões, mas com o
avanço das pesquisas, computadores passaram a ser capazes de tomada de
decisão sequencial orientada pela experiência da própria máquina. Hoje é
amplamente utilizado em carros autônomos, recomendações online, atendimento ao
consumidor, detecção de fraudes, e muitos outros. Os projetos mais famosos são de
iniciativas privadas que começaram suas pesquisas há mais de uma década, como o
IBM Watson, Google Deepmind, Dogtown Media, Moove It, Alibaba ET Brain, entre
outros.
Esse avanço foi baseado na reprodução das redes neurais do cérebro
humano (como dito anteriormente) e melhora a capacidade de detecção de alvos e
de padrões, que favorecem a assimilação de conhecimento pela máquina.
Dependendo de suas funções, estes sistemas terão seus cinco sentidos, ou seja,
serão alimentados por sensores diversos que devem estar bem calibrados para
fornecer informações corretas ao sistema. Alguns tipos de sensores são mecânicos,
de corrente elétrica, fotoelétricos, magnéticos, acústicos e ultrassônicos, de pressão,
térmicos e de imagem. A partir destas informações, muitas conclusões podem ser
13
capabilities such as pattern recognition, text parsing and planning/problem-solving
21
tomadas sobre distância, velocidade, posição, reconhecimento facilitado de objetos
em imagens, de identidade e atividades, e em outras áreas da percepção, como
processamento de áudio, fala, linguagem natural e muitas outras.
Contudo, essa aprendizagem de máquina que seja avançado o suficiente
para fazer o reconhecimento automático de alvos (RAA), por exemplo, requer um
volume de entrada de dados muito grande para expor o algoritmo a todas as
variáveis que se espera que ele manipule. Podem ocorrer muitas restrições, tanto
em termos de qualidade quanto de quantidade de dados, pois os dados de muitos
tipos de alvos não são fáceis de conseguir por motivos técnicos, jurídicos ou de
defesa nacional. É necessário também alto poder de processamento das
informações adquiridas, assim como um cérebro humano.
Por ser um aspecto fundamental e também o mais complexo, foi que mais
tardou o emprego de sistemas autônomos na vida real. Justamente devido às
dificuldades de programação vistas anteriormente, atualmente os armamentos que
têm o maior nível de autonomia são bem mais usados no mar e no ar, ou então em
áreas desérticas, uma vez que o ambiente é mais regular do que em terra firme. Ou
seja, existem menos obstáculos e menos possibilidades de alteração do ambiente, e
por consequência, diminui a complexidade da operação (BOULANIN,
VERBRUGGEN, 2017).
IMAGEM 9 - PRINCIPAIS DIVISÕES E APLICAÇÕES DO APRENDIZADO DE
MÁQUINA
Fonte: Instituto SENAI de Inovação
22
3.3 SAAL – sistemas de armamentos autônomos letais
Os SAALs são aqueles que possuem autonomia (com pouca ou nenhuma
interferência humana) na capacidade de atuar em suas funções de: detectar,
identificar, selecionar, perseguir e agir sobre um alvo (neutralizando-o ou não em um
ataque) (BOULANIN, VERBRUGGEN, 2017). Por exemplo, para provar sua
capacidade de operar em situações reais, um veículo aéreo de combate com alto
nível de autonomia deve completar quatro tarefas fundamentais: planejar uma
missão de ataque ao solo; executar tarefas baseadas nas prioridades dadas pelo
operador; replanejar dinamicamente a missão para minimizar a exposição à ameaça;
demonstrar voo de formação autônoma, seguir rota e regressar.
As principais funções de robôs militares são: inteligência, vigilância e
reconhecimento (ISR), busca e resgate, suporte em combate, transporte,
neutralização e eliminação de material explosivo e alvos móveis (como mísseis),
desminagem, combate a incêndios e outros. Percebe-se que nem todas suas
funções envolvem diretamente um armamento, isso é devido à grande gama de
utilização desses equipamentos. Sendo assim, existem robôs que não possuem
armamento em sua estrutura, mas futuramente podem vir a ser aparelhadas com
capacidades de reconhecimento de alvo e uso da força. É importante diferenciar
aqui entre os sistemas de armamentos autônomos, que são o tema de nosso comitê,
e as munições individuais autônomas. Estas últimas correspondem àquelas que
respondem a determinados estímulos do ambiente, como as minas terrestres e
submarinas, míssil de cruzeiro e torpedos (BOULANIN, VERBRUGGEN, 2017).
Especialistas afirmam que gradativamente os custos econômicos e humanos
vêm se reduzindo na construção destes sistemas e com isso, mais países e grupos
não-estatais irão considerar incluí-los em suas operações. Algumas tecnologias e
equipamentos que compõem os drones e outros dispositivos autônomos são de fácil
reprodução, levando, assim, à possibilidade de mais grupos possuírem a capacidade
de construí-los. O seu emprego ainda consegue diminuir os custos no treinamento
de exércitos humanos com a diminuição do número de tropas ocasionada
supostamente pela maior quantidade de equipamentos autônomos. Operadores
devem ser altamente qualificados para programar e operar equipamentos
23
autônomos, mas as operações podem ser multiplicadas para mais de um
equipamento por vez.
Podem ser estabelecidas diferenças fundamentais entre robôs e humanos.
Robôs são muito mais rápidos na tomada de decisão, não sentem dor e não
possuem famílias que deixarão em casa, supostamente não sentem medo ou
preconceitos que possam deturpar suas decisões em campos de batalha. Uma das
dificuldades do desenvolvimento dessa autonomia no sistema de armas é a
necessidade do emprego em conjunto de diversas áreas de engenharias, robótica,
hardware, programação, sistemas neurais, inteligência artificial, entre outros.
Somente assim, os dados obtidos são convertidos em informações úteis e, então,
possibilitam a um equipamento a capacidade de “selecionar (ou seja, procurar ou
detectar, identificar, rastrear, selecionar) e atacar (ou seja, usar força contra,
neutralizar, danificar ou destruir) alvos sem intervenção humana”14(COMITÊ
INTERNACIONAL…., 2016, p. 1).
IMAGEM 10 - Drone Reaper 2 disparando um míssil
Este modelo tem funcionalidade semi-autônoma e completamente autônoma. Os mísseis
Hellfire estão sendo substituídos por GBU-40, uma versão com mais precisão, tendo grande sucesso em abater alvos móveis que podem desviar-se. Conseguem também viajar através de maiores
distâncias em direção ao alvo mantendo a mesma eficiência, o que ajuda a melhorar o elemento surpresa
15. Fonte: Gizmodo
Daí já surge um questionamento sobre o emprego de tais sistemas. O ser
humano tem que converter as situações cotidianas em algoritmos matemáticos, para
14
“select (i.e. search for or detect, identify, track, select) and attack (i.e. use force against, neutralize,
damage or destroy) targets without human intervention” (COMITÊ INTERNACIONAL…., 2016, p. 1, tradução nossa). 15
OSBORN, Kris. The MQ-9 Reaper Is Now Wielding These Deadly New Weapons. 2017. The
National Interest. Disponível em: <https://nationalinterest.org/blog/the-buzz/the-mq-9-reaper-now-wielding-these-deadly-new-weapons-20572>.
24
que possam ser incorporados ao software, permitindo assim que a máquina aja de
forma autônoma. Isso significa que os programadores têm que ensinar o computador
a reconhecer padrões humanos complexos, como as linguagens e comunicação,
roupas e acessórios, comportamento e atitudes. É necessário que o robô diferencie
entre um gesto ameaçador ou uma reação de susto, e diferencie entre civis e
militares16 (BOULANIN, VERBRUGGEN, 2017).
Questiona-se também sobre as vulnerabilidades e a imprevisibilidade de
comportamento dos armamentos autônomos. O software que o guia pode ser tão
propenso quanto quaisquer outros á interferências externas, sejam acidentais
(exemplo, ser atingido por um desabamento ou tempestade) ou intencionais (sofrer
ataques cibernéticos). Um exemplo de consequência de fragilidades de um sistema
autônomo foi a séria desordem no trânsito em Kuala Lumpur na Malásia, em júlio de
2021, causada por um grupo de hackers que sequestraram por quase 30 minutos o
comando do programa de inteligência artificial ET City Brain da companhia Alibaba
Cloud que gerencia o tráfego urbano da cidade e causou engarrafamentos,
engavetamentos, atraso de ambulâncias e de bombeiros.
Foram necessários enormes times de engenheiros e programadores para
desenvolver os sistemas de defesa cibernética, os softwares e hardwares, com
centenas de protótipos e milhares de centenas de horas de testes para garantir que
máquinas sejam estáveis e confiáveis. Isso tudo para certificar que suas carcaças e
sistemas internos de segurança funcionem durante todo o tempo em que estejam
em missão para não se tornar vulnerável a acidentes, ataques eletrônicos,
cibernéticos ou de fogo hostil (COMITÊ INTERNACIONAL…., 2016). Uma
vulnerabilidade chave é a dependência por sinal de GPS, que são alvo relativamente
fácil à tecnologias de interferência de sinal. Por isso, é alto o interesse em projetos
voltados a desenvolver sistemas que se guiem sem ser por GPS e em proteção anti-
interferência. (BOULANIN; VERBRUGGEN, 2017).
Dentro desses sistemas o aprendizado da máquina sobre as decisões
tomadas, como o RAA, operam como um sistema de caixa preta. Significa que
humanos têm dificuldades de entender como aprendem, não é possível observar
16
O problema reside no fato de que a maioria dos conflitos armados hoje em dia são entre um
exército regular de um Estado e forças irregulares, quando não é somente entre forças irregulares. As forças militares irregulares não possuem uniforme que identifique seus combatentes, que se confundem facilmente com civis, resultando em graves violações do direito internacional de conflitos armados.
25
precisamente a maneira como a máquina vai processar a informação, criando assim
incertezas e abrindo possibilidade para que ela realize ações inesperadas e até
mesmo indesejadas. Como, por exemplo, abater algum alvo que não era visado,
acidentes com veículos autônomos, vieses racistas em algoritmos de busca, erros
com reconhecimento facial por câmeras de segurança, podendo causar danos
humanos e sociais. (BOULANIN; VERBRUGGEN, 2017; COMITÊ
INTERNACIONAL…., 2016).
Isso é problemático não apenas por falta de transparência, mas também por possíveis vieses herdados pelos algoritmos de preconceitos humanos e artefatos de coleta escondidos nos dados de treinamento, o que pode levar a decisões injustas ou erradas. O aprendizado de máquina constrói sistemas de tomada de decisão baseados em dados que descrevem os traços digitais das atividades humanas. Consequentemente, os modelos de caixa preta podem refletir preconceitos e preconceitos humanos. Muitos casos controversos já destacaram os problemas em delegar a tomada de decisão a algoritmos de caixa preta em muitos domínios sensíveis, incluindo previsão de crime, pontuação de personalidade, classificação de imagem, etc. (GUIDOTTI; MONREALE; PEDRESCHI, 2019, tradução nossa)
17
As muitas incertezas e a falta de foco nos debates podem ser ilustradas com
o tanto de rótulos e termos utilizados para descrever estes sistemas: ‘drones’,
‘robôs’, sistemas de armas autônomas’, ‘robôs assassinos’, ‘robótica autônoma letal’,
sistemas semi e totalmente autônomos de armas ‘letal e não letal’, ‘autonomia
supervisionada’. A carência de foco é observada quando abordam-se muitos
assuntos de forma inconsistente e confusa, como ocorreu durante muitos anos em
fóruns internacionais. As suas agendas abordavam desde categorias (por exemplo,
drones, robôs e sistemas), características (autonomia) e seus usos (seriam utilizados
para realizar medidas defensivas? Só para selecionar e rastrear um alvo? Ou tomar
decisões de abrir fogo e matar?). A incompatibilidade de definições e as
consequências para as discussões em organizações internacionais serão tratadas
mais adiante.
17
This is problematic not only for lack of transparency, but also for possible biases inherited by the
algorithms from human prejudices and collection artifacts hidden in the training data, which may lead to unfair or wrong decision. Machine learning constructs decision-making systems based on data describing the digital traces of human activities. Consequently, black box models may reflect human biases and prejudices. Many controversial cases have already highlighted the problems with delegating decision making to black box algorithms in many sensitive domains, including crime prediction, personality scoring, image classification, etc.
26
3.4 Níveis de autonomia
A natureza de comando e controle entre humanos e máquinas variam de
acordo com cada sistema. Certas funções são mais aceitáveis que outras. Menores
níveis de autonomia são para complementar um controle remoto e onde as
capacidades cognitivas humanas não são essenciais ou não são as mais
apropriadas (BOULANIN; VERBRUGGEN, 2017). Agora, quanto maior autonomia,
maiores são as controvérsias não há tanto problema um robô que sirva para
locomoção civil ou que opere no chão de fábrica, mas é consideravelmente mais
complexo um que possa selecionar alvo e abrir fogo.
Os níveis de autonomia geralmente são descritos como em um espectro
tecnológico que passa de sistemas controlados remotamente [como veículos não
tripulados controlados remotamente] por um lado, até sistemas de armas
completamente autônomos do outro, passando por sistemas automáticos e
automatizados. Ao examinar níveis de autonomia, deve-se considerar sobre quais
funções estamos falando. As principais áreas levadas em conta são a mobilidade,
seleção de alvos, inteligência, interoperabilidade (com outras máquinas e sistemas)
e gestão de saúde (capacidade de gerenciar aspectos de seu próprio funcionamento
ou sobrevivência)18. (BOULANIN; VERBRUGGEN, 2017)
IMAGEM 11 - Quadro simplifica com os níveis de autonomia de máquina
Fonte: criação própria a partir da tabela de níveis de controles autônomos.
18
Devido às questões de espaço neste guia, esse tema, assim como outros serão explorados mais a
fundo em nosso blog.
27
Como já mencionado, equipamentos militares projetados para operar sem
controle humano direto podem exercer desde as mais simples até as mais
complexas como descarte de explosivos (UNIDIR, 2017). Ampla maioria destes é
utilizada para a defesa de territórios, em sua maior parte despovoados como
mencionamos anteriormente, e não para operações ofensivas (SAUER, 2014). É da
maior importância compreender a discussão sobre autonomia para entender o
próximo tópico sobre controle humano significativo.
IMAGEM 12 - Helicóptero autônomo K-MAX 3 transportando carga19
Fonte: Wired
Muitas variáveis devem ser analisadas para realizar qualquer tentativa de
classificação. Para uma exposição clara e compreensível utilizaremos um conjunto
reunido pelo Instituto das Nações Unidas para Pesquisa em Desarmamento20
(UNIDIR, 2017) e que até hoje são válidas para as discussões e reflexão sobre tudo
que pode dar errado:
19
Utilizado inicialmente em missões transporte de cargas em áreas de alto risco entre 2011-13,
substituindo veículos terrestres pilotados por soldados suscetíveis a ataques e dispositivos explosivos. Evitava fogo hostil e ataques elétricos e cibernéticos voando a noite e a altas altitudes. Voltou para fase de desenvolvimento durante a última década e atualmente sua principal função é de resgates e combate ao fogo, trabalhado em conjunto com o Desert Hawk 5, ambos operados por apenas um profissional. O helicóptero K-MAX 3 tem a opção de ser pilotado presencialmente, possui capacidade de levantar 3 toneladas ao nível do mar, duração de voo de 16 horas e em outras versões pode ser equipado com sistemas de defesa. 20
Para visualizar a lista na língua original do documento, acesse:
http://www.unidir.org/files/publications/pdfs/framing-discussions-on-the-weaponization-of-increasingly-autonomous-technologies-en-606.pdf
28
● Ações com finalidade - capacidade de criar e seguir planos de ação
destinados a satisfazer metas. As metas são geradas pelo próprio sistema ou
determinadas por uma fonte externa (“ordens”)? Os planos são gerados pelo
sistema e depois verificados através de confirmação externa (solicitando
aprovação) ou implementados diretamente? (UNIDIR, 2017, p.4)
● Previsibilidade - previsibilidade das ações que o sistema pode executar.
Quanto mais simples o ambiente, menor a necessidade de uma variedade de
ações e mais previsível será o sistema. Da mesma forma, quanto menor a
variabilidade no tipo de ações que um sistema pode executar, mais previsível
será, mesmo em um ambiente complexo. Quanto maior for o controle aplicado
a um sistema (por exemplo, foco inflexível em uma meta específica), menos
variável e mais previsível será um sistema. (UNIDIR, 2017, p. 4) Também a
garantia que o algoritmo de reconhecimento automático de alvo tenha
processado a informação da forma correta.
● Comunicação - quão precisa é a comunicação com o sistema? Quão
frequente é a sua comunicação? (UNIDIR, 2017, p. 4)
● Profundidade de raciocínio – Quanto mais limitado for o raciocínio de um
sistema, menos autonomia terá e irá se mostrar mais previsível. Um ambiente
simples requer menos profundidade de raciocínio do que um mais complexo.
(UNIDIR, 2017, p. 4)
● Precisão dos sensores e capacidade de síntese – capacidades sensoriais
de um sistema determinarão sua capacidade de distinguir as coisas em seu
ambiente. A capacidade de associar diferentes tipos de sensores e sintetizar
uma visão do ambiente fornece uma base mais refinada para a percepção
situacional. (UNIDIR, 2017, p. 4-5)
● Limites no local ou no ambiente operacional – o controle do local concreto
e a complexidade do ambiente no qual um sistema pode funcionar aumentará
o controle sobre um sistema. (UNIDIR, 2017, p. 5) Especialmente no plano
terrestre em que há maior variação de terreno, obstáculos e interações com
outros agentes autônomos, como outros sistemas ou humanos que têm
comportamento não previsível 100%.
● Funções – A natureza das ações disponíveis para um sistema (por exemplo,
navegação, seleção de alvo ou emprego de armas). (UNIDIR, 2017, p. 5)
29
● Deve-se adicionar a estas variáveis a questão da transparência, se é
possível ou não o usuário ou operador extrair informações do sistema sobre a
tomada de decisão, objetivos e o raciocínio utilizado para executar
determinada tarefa. E se tal sistema é programado de forma que objetivos e
restrições sejam de fácil entendimento. (ROFF; MOYES, 2016)
● Levar em consideração a capacidade de intervenção humana oportuna.
Significa a capacidade de um humano de anular ou modificar uma decisão
feita pela máquina em um último momento antes de fazer uso da força.
(ROFF; MOYES, 2016)
3.5 Controle humano significativo (CHS)21
Muito parecido com os níveis de autonomia. Enquanto autonomia pende mais
para o lado técnico e do que é capaz de fazer, as decisões sobre onde um CHS
sobre o uso da força se estabeleceria em armamentos autônomos inclina-se mais
para deliberação política, sobre o que é permitido ou não. A expressão em inglês “in
the/out of the loop” é geralmente utilizada por especialistas e políticos para se
referir ao CHS, mesmo que seja muito simplificada. Não há correspondência
satisfatória em português e significa uma pessoa ou grupo ser capaz de tomar
“decisões sobre coisas importantes ou conhecer essas decisões; se eles estiverem
‘out of the loop’, eles não tomam ou não conhecem decisões importantes”.22
Como vimos anteriormente, já existem há muitos anos sistemas de
armamentos com altos níveis de autonomia, então só faz sentido discutir este
conceito na medida em que haja discussões sérias sobre o “papel, valor e
responsabilidade do ser humano em um processo de tomada de decisão” (UNIDIR,
2017, p. 9, tradução nossa)23. Isso parte de duas premissas: que uma máquina
operando sem qualquer controle humano pode ser algo considerado inaceitável, e
que um humano apenas apertando um botão para abrir fogo, seguindo indicações
de um computador que processa as informações, não é aceitável para ser
21
Esse termo foi introduzido pela ONG Article, organização britânica do terceiro setor, sem fins
lucrativos, cujo nome faz referência ao artigo 36 do Protocolo Adicional I de 1977 da Convenção de Genebra. 22
Collins English Dictionary. Be in the loop. Disponível em:
<https://www.collinsdictionary.com/dictionary/english/be-in-the-loop>. Acesso em: 4 abr. 2019. 23
the human’s role, value and responsibility in a decision-making process
30
considerado ‘controle humano’ de forma aceitável (ROFF; MOYES, 2016). O
conceito de CHS é complicado pois reúne o papel do humano na decisão, o tipo e
qualidade das decisões e as responsabilidades sobre elas, exploraremos este
conceito mais adiante e em postagens no blog, incluindo exemplos.
Este conceito foi elaborado a partir do Artigo 36 do Protocolo Adicional I de
1977 da Convenção de Genebra. Esse artigo faz uma exigência aos países que
fiscalizem novas armas, meios e métodos de guerra, devendo incluir exame das
provas disponíveis para fundamentar as avaliações jurídicas. Este expressa que ao
estudar, adquirir ou fazer uso de um novo tipo de armamento ou método de guerra, o
Estado-Parte do Protocolo tem o dever de “determinar se o seu emprego seria
proibido em alguma ou em todas as circunstâncias, pelas disposições do presente
Protocolo ou por qualquer outra regra do direito internacional aplicável a essa Alta
Parte Contratante” (CONVENÇÕES DE GENEBRA, 1979).
4 HISTÓRICO DAS DISCUSSÕES
O sol do dia 25 de junho de 1859 iluminou um dos espetáculos mais horríveis que se possam imaginar. O campo de batalha está coberto de corpos de homens e cavalos; as estradas, os fossos, as ravinas, o mato, o prado estão semeados de cadáveres (...). Os infelizes feridos recolhidos durante todo o dia estão pálidos, lívidos e enfraquecidos. Uns, especialmente os que foram seriamente mutilados, têm um olhar ausente e parecem não compreender o que se lhes diz (...). Outros estão inquietos e agitados por um abalo nervoso e tremem convulsivamente. (DUNANT apud BOUVIER, 2011).
Esse é um fragmento do livro Memórias de Solferino, escrito em 1862 por
Henry Dunant sobre relatos que testemunhou durante o confronto e suas
consequências para as vítimas de guerra. A partir dessa experiência Dunant criou
princípios básicos para amenizar o sofrimento e foram esses princípios que levaram
à criação da Cruz Vermelha um ano mais tarde e à origem do Direito Internacional
Humanitário e Direito dos Conflitos Armados (BOUVIER, 2011). Quando defrontados
com o resultados das guerras ocorridas no fim do século XIX e começo do séc. XX,
os países firmaram inúmeros compromissos com o intuito de tornarem as guerras
eventos menos horrendos.
A complexidade do assunto tratado pelo nosso comitê origina-se das várias
áreas envolvidas criação e construção dos sistemas autônomos letais, das
31
responsabilidades de cada área e das situações que podem ser desencadeadas por
sua utilização. No entanto, as tentativas de controlar efeitos indiscriminados e
imprevisíveis são tão importante hoje como eram em 1863, e como eram em 2013,
ano em que pela primeira vez os SAALs foram debatidos em um fórum internacional.
Hoje os Estados reconhecem que o Direito Internacional deve lidar com essa realidade da vida internacional, não apenas combatendo o fenômeno, mas também regulando sua prática de maneira a garantir certo nível de humanidade que é fundamental em tais situações desumanas e ilegais. (BOUVIER, 2011).
Um dos empecilhos para o andar das discussões foram as tentativas de
conceituação e categorização de diferentes termos que tentavam capturar uma
mistura de interesses e objetos. Uma parte acredita que os esforços devem ser para
estabelecer definições compartilhadas entre todos os Estados de categorias ou
limites para os armamentos. Por outro lado, outros acreditam é um esforço
demasiadamente longo e desnecessário, pois existem definições incompatíveis,
empatando as tentativas de regulamentação, ainda mais quando a regulamentação
nem sempre é desejável por alguns países. Mas, apesar dos impasses que o
assunto debatido pelo nosso comitê teve nos fóruns internacionais, a preocupação
com as implicações para o direito internacional e balança de poder militar no mundo
foi algo que manteve-se estável (UNIDIR, 2017). Apresentaremos agora o histórico
das discussões internacionais sobre armamentos autônomos com menções ao
direito internacional sobre conflitos armados.
4.1 Convenção Sobre Certas Armas Convencionais (CCW)
Com o avanço da tecnologia na produção de armamentos e procurando
manter a paz, representantes de diversos países reuniram-se em Outubro de 1980
em que incluíram em suas discussões uma nova pauta referente a armamentos: a
“Convenção sobre Proibições ou Restrições ao Uso de Certas Armas Convencionais
que Podem ser Consideradas Excessivamente Lesivas ou ter Efeitos
Indiscriminados”, geralmente chamada de “Convenção Sobre Certas Armas
Convencionais” ou CCW24, que entrou em vigor somente 3 anos depois. Foi nesse
24
Convention on Certain Weapons em inglês.
32
fórum que, anos depois, houve as primeiras e principais discussões sobre
armamentos autônomos (GENEBRA, 2018a).
Esta Convenção faz parte das Convenções de Genebra e foi constituída com
o objetivo de conter o uso de armas que causem danos desnecessários ou
injustificáveis aos combatentes ou civis. Foi negociado em novembro de 2003 um
protocolo para lidar com problemas de ameaça à população, entrando em vigor três
anos depois. Algo inédito, pois anteriormente havia apenas documentos sobre o
impacto de conflitos e uso de armamentos no âmbito militar e não no de civis, ou
seja, não havia determinações internacionais sobre o uso de violência por parte de
um governo ou de outros países dentro de um território. (GENEBRA, 2018b)
Já em 2013 durante a reunião dos estados partes da CCW, influenciada por
discussões sobre SAALs que ocorreram no Conselho de Direitos Humanos semanas
antes, foi definido que seria convocada uma nova reunião em 2014 para que se
discutisse a respeito do avanço da tecnologia na área de sistemas de armas
autônomas letais. Na reunião realizada em novembro de 2014 em Genebra, foi
decidido que seriam realizadas reuniões informais de especialistas de diversas áreas
em 2015 “para discutir as questões relacionadas às tecnologias emergentes na área
de sistemas de armas autônomas letais, no contexto dos objetivos e propósitos da
Convenção” (GENEBRA, 2018a, tradução nossa 25).
Para sintetizar os resultados das reuniões de especialistas que ocorreram de
2015 a 2021, reunimos os principais tópicos discutidos. Entre eles estão:
características técnicas e operacionais que definiriam os sistemas de armas
autônomas letais (SAALs); mapeamento da autonomia e participação de humanos
na tomada de decisões; desafios à política, ao direito internacional humanitário e aos
direitos humanos; questões éticas e de segurança e quais caminhos poderiam ser
seguidos. Um grande número das partes presentes, ressaltaram a importância de se
discutir a respeito das armas autônomas letais, do envolvimento da sociedade civil
para com essa temática e a contribuição das organizações não governamentais e
privadas no desenvolvimento e regulamentação de tal tecnologia.
Apesar da dificuldade de alcançar resoluções que conseguissem alto
comprometimento dos países (especialmente no que diz respeito às definições de
características técnicas e operacionais e níveis de autonomia das máquinas e
25
to discuss the questions related to emerging technologies in the area of lethal autonomous weapons
systems, in the context of the objectives and purposes of the Convention.
33
sistemas), foi obtida em alguns assuntos uma área de compromisso ou possível
acordo entre as duas posições extremas. Nas resoluções da CCW foi definido que a
responsabilidade pelo desenvolvimento, produção e implantação do SAALs deve ser
do Estado que está operando. Além disso, foi consenso que armamentos autônomos
podem trazer complicações éticas e legais graves; deve-se fazer a aplicação do
Direito Internacional dos Direitos Humanos em possíveis ataques e uso de
armamentos autônomos. No entanto, qualquer regulamentação além destas foi
impraticável.
4.2 Condução das discussões nos fóruns internacionais
Ao longo dos anos que ocorreram os debates sobre o tema, obteve-se um
entendimento geral sobre a importância da discussão e do impacto que o tema
causa sobre os Estados. Alguns deles se recusam veementemente a desenvolver tal
sistema enquanto a grande maioria ressalta a relevância de se ter um maior
conhecimento sobre a tecnologia e as leis que poderiam estar envolvidas, para
depois terem um debate mais aprofundado sobre o assunto. Inúmeras questões
impediram que se obtenham uma decisão concisa e um maior desenvolvimento dos
debates que dizem respeito a implantação e a produção de SAALs. A cada reunião
havia um novo avanço dentro dessa temática, mas houve retrocessos e freios que
resvalam até hoje nos debates políticos, legais e éticos.
Em 2018 já se viam sinais de desgaste nos debates da CCW, que vinha
enfrentando desafios orçamentários e operacionais, pois estava sendo difícil
encontrar um campo comum para fazer com que as discussões chegassem a algum
ponto proveitoso, que demonstrasse avanço real. Em 2021 a pauta sobre
armamentos autônomos nesse fórum estava tão desgastada que alguns países,
entre eles alguns que pediam banimento dos sistemas de armamentos autônomos e
outros que apoiavam seu desenvolvimento, ameaçaram retirar suas contribuições
financeiras para a CCW se esta agenda não for resolvida de uma vez ou se ela não
for retirada da pauta. Argumentaram que os custos financeiros não valiam a pena
para voltas que o assunto dava nos mesmos eixos de sempre.
Em setembro de 2022, Estados Unidos, Polônia, Hungria, Emirados Árabes
Unidos, Nigéria e Egito não enviam seu representantes oficiais para a reunião.
34
Assim a proposta de resolução que estabelecia definições mínimas sobre SAALs
não passa pela falta de consenso e votos contrários. Em abril de 2023 na primeira
parte das reuniões, ficou decidido que a pauta sobre armamentos autônomos seria
suspendida no fórum da CCW até segunda ordem. Em setembro do mesmo ano,
que parece ser o último que os SAALs seriam debatidos na CCW, essa agenda toma
novo fôlego impulsionada com as notícias e relatórios recentes sobre incidentes e
acidentes envolvendo armas autônomas letais. No entanto, a proposta acatada26
possui baixo nível de compromisso por parte dos Estados, pois as cláusulas
recomendatórias demandam pouco dos Estados. Isso pode refletir um pouco
comprometimento de criar formas para tratar de um tema que se agrava a cada ano,
mas que não é acompanhado pelo mesmo nível de engajamento político.
Em fevereiro deste ano (2025), a França solicitou uma reunião emergencial do
Conselho de Segurança das Nações Unidas para tratar da Guerra dos Quatro Dias e
na tomada do território estoniano até a cidade de Jõhvi pelas forças militares russas.
O conflito eclodiu após um incidente com um Soranik russo e uma torre de vigilância
autônoma russa27 em Ivangorod, Rússia e Narva, cidade da Estônia, que fica do
outro lado do rio Narva. O conflito armado foi curto, mas foi o resultado de quase
dois anos de escalada das tensões na região. A infiltração das tropas russas foi vista
como uma grave violação da lei internacional pelos países europeus e integrantes da
OTAN e trouxe preocupação para boa parte da comunidade internacional. Os
debates no Conselho foram inflamados, no entanto, não houve consenso entre os
cinco Membros Permanentes, com a proposta de resolução sendo vetada por Rússia
e China.
IMAGEM 13 – Tanque de combate russo Soratnik em operação
26
Será publicada futuramente no blog da AGNU 2025. 27
Informações mais detalhadas do conflito serão publicadas em nosso blog.
35
Soratnik significa “parceiro de batalha” foi projetado para acompanhar tropas. Chega a 35
km/h, carrega metralhadora e lançador de granada e munição antitanque, pode ser controlado remotamente ou em função semi-autônoma. Fonte: The Firearm
As notícias que saem em meios jornalísticos e em relatórios de agências
especializadas têm confirmado as preocupações de alguns Estados, de
especialistas, organizações não-governamentais, sociedade civil e da ONU, sobre
máquinas letais serem usadas de forma arbitrária, (ou seja, de maneira injusta,
parcial, autoritária e/ou abusiva), tanto pelos países, como também por grupos
terroristas. Já mencionamos alguns questionamentos e agora entraremos mais
abertamente na discussão de questões éticas e legais que foram levantadas a
respeito de, no limite, deixar a cargo de uma máquina a decisão de tirar ou não a
vida de um ser humano.
5 IMPLICAÇÕES ÉTICAS
A preocupação ética central é a perda do controle humano sobre funções
críticas do uso de força letal de armamentos autônomos e sua aceitabilidade de
acordo com valores éticos e morais, caso implique no ferimento ou morte de
humanos direta ou indiretamente. Nos fóruns políticos internacionais tema é tratado
como secundário, a maioria das representações estatais tendem a estar mais
dispostas a discutir a relação entre direito internacional e SAALs. Algumas
36
delegações consideram a ética como um tema que está no cerne de nossos
debates, enquanto outras chegam a nem reconhecer sua importância. Tratamos
ética aqui como sendo os "princípios morais que regem o comportamento de uma
pessoa ou a realização de uma atividade" (OXFORD apud INTERNATIONAL
COMMITTEE…., 2018, p. 7, tradução nossa28).
Como exemplo de linhas principais de argumentos éticos contrários sobre o
tema, temos as advertências feitas pela organização não-governamental Human
Rights Watch sobre armamentos autônomos letais, ao argumentarem que “‘armas
totalmente autônomas’ iriam ‘cruzar um limite moral’ por causa da ‘falta de
qualidades humanas necessárias para tomar uma decisão moral, a ameaça à
dignidade humana e a ausência de agência moral’” (HUMAN RIGHTS…. apud
INTERNATIONAL COMMITTEE…., 2018; p. 8, tradução nossa29). Ou então como
diz o Relator Especial da ONU Christof Heyns que, ao permitir que robôs matem
pessoas, mesmo que sejam alvos legítimos, desonra o próprio sentido da vida
(INTERNATIONAL COMMITTEE…., 2018). Seria criado um vácuo de
responsabilidade moral e um distanciamento físico e psicológico do soldado com o
campo de batalha, que humanos seriam tratados como meros alvos e dados em um
sistema.
Todavia, há também argumentos que apoiam o emprego de armamentos
autônomos. O primeiro é que essas armas podem permitir melhor respeito à ética e
ao direito internacional por terem maior precisão e serem mais confiáveis que
humanos, assim, haveria menor possibilidade de situações adversas para civis e
coloca maior peso para os as características da construção da máquina. Outro
argumento favorável é que ao ajudar a cumprir deveres militares, os SAALs ajudam
a proteger a vida de soldados do perigo (INTERNATIONAL COMMITTEE…., 2018).
O Direito e a ética estão ligados no propósito de proteger as pessoas. Todo
esforço para que isso aconteça, seja em direitos humanos no geral ou em algo
específico como regulamentação de armamento, partem do desenvolvimento de
uma consciência societal do que é certo ou errado. Como é algo que envolve as
sociedades, cada uma terá uma visão própria que foi construída de acordo com sua
história ao longo de sua existência como país e Estado (INTERNATIONAL
28
moral principles that govern a person’s behaviour or the conducting of an activity 29
fully autonomous weapons” would “cross a moral threshold” because of “the lack of human qualities
necessary to make a moral decision, the threat to human dignity and the absence of moral agency
37
COMMITTEE…., 2018). Portanto, prezades delegades, as discussões éticas não se
limitam ao que foi representado aqui e o lado que irão tomar nos debates depende
da posição de sua representação. Vocês devem expandir suas leituras e refletir
sobre os pontos expostos neste guia como humanos, como cidadãos e como
aqueles que irão representar um Estado em setembro de 2025.
6 DIREITOS HUMANOS E DIREITO INTERNACIONAL HUMANITÁRIO
O direito internacional (DI) é constituído por um conjunto de regras que
regulam as relações entre Estados e entre Estados e outros sujeitos como
organizações internacionais e indivíduos. Já o direito internacional humanitário
envolve:
Normas internacionais, estabelecidas por tratados ou pelo costume, com o intuito específico de resolver os problemas humanitários que surgem a partir de conflitos armados internacionais ou não-internacionais. Por razões humanitárias, tais normas protegem pessoas e propriedades que são ou que podem ser afetadas pelo conflito; a proteção ocorre por meio da limitação do direito das partes conflitantes de escolher os métodos e os meios de guerra. (BOUVIER, 2011; p. 3).
No DI, são os próprios Estados que criam as leis e, apesar de existirem
diversas pressões e constrangimentos oriundos tanto de outros Estados quanto de
grupos sociais, em última instância cabe a seus governos a decisão de obedecê-las
ou não, pois não há nenhum poder sobre os Estados com a capacidade de
assegurar que as normas internacionais sejam cumpridas, como no nível nacional
onde o Estado tem o poder último de usar a força para assegurar a ordem. Mesmo
que não seja algo rigidamente imposto, a maioria das normas de direito internacional
são obedecidas cotidianamente, como normas financeiras e que regem os mares e
espaço aéreo (SHAW, 2010). Além disso, “um Estado não pode usar disposições na
sua constituição ou no seu direito nacional, como desculpa, por não ter cumprido as
suas obrigações em relação ao direito internacional” (COMITÉ INTERNACIONAL….,
2002).
Ainda que um país esteja em guerra ou passando por situação de
calamidade, é seu dever proteger seus cidadãos e respeitar direitos humanos
fundamentais. Para propiciar que direitos fundamentais sejam respeitados, existem
os órgãos e instrumentos de proteção nos níveis internacionais, regionais e
38
nacionais, como convenções, pactos, tratados. Um dos instrumentos mais
importantes é a Carta da ONU (1945), que traz em seu preâmbulo o seguinte trecho:
[...] para promover a paz e desenvolvimento a fim de […] preservar as gerações vindouras do flagelo da guerra, que por duas vezes, no espaço da nossa vida, trouxe sofrimentos indizíveis à humanidade, e a reafirmar a fé nos direitos fundamentais do homem, na dignidade e no valor do ser humano, na igualdade de direitos dos homens e das mulheres, assim como das nações grandes e pequenas.
As Convenções de Genebra são instrumentos que incorporam o Direito
Humanitário e definem diretrizes que afirmam que as normas são aplicáveis: para
todas as partes em um conflito, seja ele internacional ou interno30; para a proteção
de feridos e doentes em campos de batalha; pessoal militar ferido, doente e
naufragado no mar; tratamento de prisioneiros de guerra; proteção de civis em
tempo de guerra (COMITÉ INTERNACIONAL…., 2002). Se o direito internacional for
violado as partes estarão sujeitas a responder através de reparações e diante do
Conselho de Segurança das Nações Unidas, por exemplo.
Outro instrumento do direito humanitário internacional é a chamada Cláusula
Martens, que apareceu pela primeira vez nas Convenções de Haia de 1899 e 1907 e
expõe noções de humanidade e consciência pública. Determina que “nos casos não
abrangidos pelos tratados existentes, civis e combatentes permanecem sob a
proteção e autoridade dos princípios da humanidade e dos ditames da consciência
pública” (INTERNATIONAL COMMITTEE…., 2018, p. 5). Diz muito a respeito da
regulamentação dos sistemas de armamentos autônomos e de outros novos meios e
métodos de guerra, pois intui que se algo tem o poder de ferir a humanidade mas, ao
mesmo tempo, não for explicitamente proibido ou regulado por tratados
internacionais, não significa que possa fazer o uso liberado dele.
7 APRESENTAÇÃO DO COMITÊ
O tema de nosso debate faz parte do Objetivo 16 da Agenda 2030 para o
Desenvolvimento Sustentável. Esse Objetivo expressa a busca em “promover
30
Elas [obrigações] representam um mínimo que tem de ser observado em todas as circunstâncias. As pessoas
que não tomam parte activa nas hostilidades devem ser tratadas humanamente e sem discriminação. A violência
em relação à vida ou em relação ao bem-estar físico e mental dos não-combatentes é proibida, da mesma
maneira que a constituição de reféns, o ultraje à dignidade pessoal e a negação do direito a um julgamento equitativo. Os feridos e os doentes devem ser recolhidos e tratados. (COMITÉ INTERNACIONAL…., 2002; p. 9)
39
sociedades pacíficas e inclusivas para o desenvolvimento sustentável, proporcionar
o acesso à justiça para todos e construir instituições eficazes, responsáveis e
inclusivas em todos os níveis” (ORGANIZAÇÃO DAS…., 2019). Será presidido em
setembro uma Reunião Temática do Primeiro Comitê da Assembleia Geral das
Nações Unidas Sobre o uso de Sistemas de Armamentos Autônomos Letais (SAAL)
no mundo e as tecnologias vinculadas.
7.1 Assembleia Geral Das Nações Unidas
Neste ano teremos a 80ª sessão da Assembleia Geral, principal órgão
representativo e deliberativo das Nações Unidas, onde líderes globais se reúnem na
sede em Nova Iorque para discutir todos os assuntos relevantes para todo o mundo,
sendo estes a segurança, direitos humanos, desenvolvimento sustentável, entre
outros. São duas semanas de trabalho intenso no mês de setembro todos os anos,
um acontecimento que começou em 1946, com um pouco mais de ¼ da quantidade
de membros que têm hoje. Atualmente são 193 Estados-membros e cada um deles
tem a mesma voz e o mesmo peso de voto, ou seja, um país, um voto, e assim,
países em desenvolvimento têm sua principal arena para desenvolver sua
diplomacia.
As principais funções da AGNU são deliberar e votar sobre temáticas
internacionais, o orçamento da organização, membros não permanentes do
Conselho de Segurança, decidir quem será o próximo secretário-geral e também a
agenda para o ano seguinte. Desde 1955 estabeleceu-se a tradição em que o Brasil
é o primeiro país a falar no Debate Geral, depois de anos se voluntariando para
começar os discursos nas sessões. O segundo discurso é do país anfitrião, Estados
Unidos; a partir dali todos os outros Estados têm seus discursos distribuídos durante
os dias do Debate Geral (ORGANIZAÇÃO DAS…., 2018).
7.2 Primeiro Comitê Da Assembleia Geral Das Nações Unidas (PC-AGNU)
Este é um dos seis comitês principais da AGNU e trata de assuntos de
segurança internacional e desarmamento. Seus temas são: armamentos nucleares;
outras armas de destruição em massa; desarmamento do espaço sideral; armas
40
convencionais; desarmamento e segurança internacional e as diferentes medidas.
Acontece em outubro, após o Debate Geral e cada Estado-Membro pode ser
representado por uma pessoa em cada Comitê Principal, podendo designar
conselheiros, consultores técnicos, especialistas ou pessoas de status semelhante.
Geralmente são formados dois grupos de trabalho, um aborda um tópico entre a
gama de questões de desarmamento para aquela sessão, uma das quais deve
incluir o desarmamento nuclear. Foi reservado no ano anterior que o tema do
primeiro grupo seriam os sistemas de armamentos autônomos letais.
A agenda é definida na primeira fase de trabalhos do comitê anteriormente e
será divulgada na abertura da primeira sessão. Os debates e documentos
apresentados estão na língua oficial que é o português, em reuniões temáticas
ocorre entre os representantes dos Estados e funcionários de alto nível no campo do
controle de armas e desarmamento e representantes de entidades. O propósito final
é a votação de quaisquer resoluções ou decisões que tenha elaborado durante as
discussões. As regras de funcionamento dos debates serão publicadas no Guia de
Regras.
8 POSIÇÕES DOS PRINCIPAIS ATORES
Neste tópico, serão apresentadas as posições de alguns países que
expressam os principais eixos das opiniões sobre o tema do comitê, principalmente
sobre as questões legais e éticas desse assunto. A escolha dos atores aqui
apresentados envolve razões como quantidade de armas autônomas em posse do
país, frequência de seu uso, posição econômica e política no sistema internacional,
e assim a capacidade de influenciar a outros Estados.
É de suma importância ressaltar, porém, que todas as delegações são
igualmente significativas, pois, afinal, estamos na AGNU, o fórum onde todos têm
o mesmo peso nas decisões. Assim, espera-se dos seus representantes a sua
participação ativa nas discussões e apresentação de suas posições quanto aos
tópicos a serem acordados sobre as armas letais autônomas durante o debate. Essa
configuração pode acontecer, então, de delegações que primeiramente não estão no
centro do assunto, mas que podem passar a ter uma maior presença do que
esperado, e isso é um cenário muito possível dentro dos fóruns internacionais da
41
ONU. O comitê a ser simulado contará com 55 delegações com representação
individual, além da presença da imprensa.
8.1 Estados Unidos da América
Os EUA são um dos líderes em investimento nesse tipo de tecnologia e
estiveram à frente por muito tempo no seu desenvolvimento e uso. Foi o primeiro
país a legislar uma política precisa sobre sistemas de armas automatizadas e utiliza
veículos não tripulados amplamente em operações militares há décadas, estes usos
que muitas vezes estão envoltas de polêmicas. Apesar disso, atuou ativamente
contra regulação internacional dos SAALs junto com Coreia do Sul, Israel e
Austrália. O principal objetivo no campo diplomático e tecnológico é de diminuir as
possíveis falhas, de forma a evitar ao máximo consequências não intencionais e sua
maior preocupação é o uso de SAALs por grupos terroristas.
8.2 República Islâmica do Paquistão
Um dos países mais vocais sobre o assunto desde quando foi discutido pela
primeira vez. A principal preocupação do país é a desproporcionalidade que
sistemas autônomos de armas podem trazer para os conflitos armados e que não
seria possível aplicar as normas de direito humanitário sobre estes sistemas. Este
país do sul da Ásia pede o banimento completo e acredita que o uso dessa
tecnologia geraria um desequilíbrio muito grande entre os países, principalmente
entre aqueles com baixo nível de desenvolvimento econômico ou em
desenvolvimento e os desenvolvidos e em questões de segurança regional.
8.3 República Popular da China
Em 2023 os investimentos chineses em inteligência artificial e no setor militar
chegaram a 25 bilhões. Em comparação, perde apenas para EUA e Rússia. Parte do
investimento vai para tecnologias para vigilância e segurança pública, produção de
drones de combate e projetos para produzir tecnologias invisíveis a radares e
aeronaves supersônicas, além do desenvolvimento de mísseis inteligentes.
42
Principais usos de sistemas autônomos são em suas fronteiras com Paquistão na
região do Tibete e no Mar do Sul da China. O país demonstrou seu apoio à CCW no
que tange aos estudos sobre os armamentos autônomos e mantém a posição de
que a questão é “altamente complexa” e que não é possível determinar diretrizes
pois a exploração do assunto pela comunidade internacional ainda é preliminar.
8.4 República Russa
Rússia atuou fortemente com objetivo de barrar esforços para regular SAALs,
assim como EUA. Pode-se perceber que nos últimos anos a Rússia possui
aspirações em ultrapassar os EUA no nível de desenvolvimento de suas forças
militares e armamentos no geral, enquanto nega qualquer escalada através das
declarações de diplomatas e de seu presidente. É grande desenvolvedor de
armamentos convencionais e autônomos, sendo o segundo maior exportador do
mundo, atrás apenas dos EUA Desenvolveu e utilizou o tanque de combate Soratnik
(Companion) e o micro-drone Zhuk-OKSA na Síria e nas fronteiras com países da
Europa Oriental. Foi durante uso na patrulha na fronteira com a Estônia que ocorreu
o acidente que levou a Guerra dos Três dias em fevereiro deste ano.
9 QUESTÕES RELEVANTES
Na medida em que ao longo do debate a problemática pode se apresentar de
diferentes maneiras, as questões relevantes nas discussões seriam:
● As armas autônomas seriam capazes de seguir as normas direito humanitário
em conflitos armados? Como elas se relacionam com as normas de guerra já
existentes no direito internacional?
● Qual é a natureza da relação homem-máquina de comando e controle quando
os sistemas executam a capacidades críticas de forma autônoma?
● Se um sistema de armas for CAPAZ de realizar uma determinada missão,
será desejável que ele o faça?
● Quais são os benefícios, desafios e riscos representados pelos armamentos
autônomos e o desarmamento e proibição desses tipos de armas é possível
ou desejado?
43
● Quais poderiam ser as consequências a longo prazo, intencionais e não
intencionais, de desenvolver e empregar sistemas de armas cada vez mais
autônomos?
● Quais são os possíveis usos adequados para tais sistemas de armamentos
autônomos?
● Quais são os possíveis mecanismos políticos e tecnológicos para garantir um
uso adequado dos SAALs em um meio tão caótico como é o campo de
batalha?
● O que constitui um controle humano significativo e a responsabilização sobre
ataques individuais específicos e a possível ocorrência de danos colaterais?
● Quem será responsabilizado caso a máquina venha a falhar e cause danos
desordenados e indiferenciados, matando tanto soldados quanto civis, sejam
estes criminosos ou inocentes?
● Seria possível chegar a regulamentações recomendadas de fabricação e uso
dessas armas autônomas para os países? Se sim, quais?
44
REFERÊNCIAS
BOULANIN, Vincent; VERBRUGGEN, Maaike. Mapping the development of autonomy in weapon systems. [S.I.]: SIPRI, 2017. Disponível em: <https://www.sipri.org/sites/default/files/2017-11/siprireport_mapping_the_development_of_autonomy_in_weapon_systems_1117_1.pdf>. Acesso em 20 mar. 2019. BOUVIER, Antoine. Direito Internacional Humanitário e Direito dos Conflitos Armados. Williamsburg: Instituto Para Treinamento em Operações de Paz, 2011. Disponível em: <http://cdn.peaceopstraining.org/course_promos/international_humanitarian_law/international_humanitarian_law_portuguese.pdf>. Acesso em: 7 abr. 2019. CAMPAIGN TO STOP KILLER ROBOTS. Country Policy Positions. Londres: Campanha Pare Robôs Assassinos, 2015. Disponível em: http://www.stopkillerrobots.org/wp-content/uploads/2015/03/KRC_CCWexperts_Countries_25Mar2015.pdf. Acesso em: 17 fev. 2019 CONVENÇÕES DE GENEBRA. Protocolo, de 7 de dezembro de 1979. Protocolo I Adicional. Convenções de Genebra Relativo à Proteção das Vítimas dos Conflitos Armados: Artigo 36. Genebra, Disponível em: <http://www.direitoshumanos.usp.br/index.php/Conven%C3%A7%C3%A3o-de-Genebra/protocolo-i-adicional-as-convencoes-de-genebra-de-12-de-agosto-de-1949-relativo-a-protecao-das-vitimas-dos-conflitos-armados-internacionais.html>. Acesso em: 15 abr. 2019. COMITÊ INTERNACIONAL DA CRUZ VERMELHA. Convention on Certain Conventional Weapons: encontro de experts em sistemas de armas autônomas letais. Genebra, 2016. Disponível em: <https://drive.google.com/drive/u/1/folders/1QJ2O2tAoM6k-e8D44NQYWNyghKkFuo2O>. Acesso em 20 mar. 2019. COMITÉ INTERNACIONAL DA CRUZ VERMELHA. Direitos do Homem e Direito Humanitário em Conceitos de Policiamento Profissional. Genebra, 2002. Disponível em: <http://www.pm.al.gov.br/intra/downloads/bc_juridicos/jur_05.pdf>. Acesso em: 17 abr. 2019. DRONE CENTER. What You Need to Know About Underwater Drones. Center for the Study of Drones at Bard College. 2015. Disponível em: <dronecenter.bard.edu/underwater-drones/>. Acesso em 20 abr. 2019. GENEBRA. Escritório das Nações Unidas em Genebra. Nações Unidas (Org.). The Convention on Certain Conventional Weapons. 2018a. Disponível em: <https://www.unog.ch/80256EE600585943/(httpPages)/4F0DEF093B4860B4C1257180004B1B30?OpenDocument>. Acesso em: 20 mar. 2019. GENEBRA. Escritório das Nações Unidas em Genebra. Nações Unidas (Org.). Background on Lethal Autonomous Weapons Systems in the CCW. 2018b. Disponível em: <https://www.unog.ch/80256EE600585943/(httpPages)/8FA3C2562A60FF81C1257CE600393DF6?OpenDocument>. Acesso em: 20 mar. 2019. GUIDOTTI, Riccardo; MONREALE, Anna; PEDRESCHI, Dino. The AI Black Box Explanation Problem. 2019. KDDLab, ISTI-CNR Pisa e Universidade de Pisa. Disponível em: <https://www.kdnuggets.com/2019/03/ai-black-box-explanation-problem.html>. Acesso em: 22 abr. 2019.
45
HAMBLING, David. Air Force Completes Killer Micro-drone Project. 2010. Revista Wired. Disponível em: <https://www.wired.com/2010/01/killer-micro-drone/>. Acesso em: 4 abr. 2019. INTERNATIONAL COMMITTEE OF THE RED CROSS. Ethics and autonomous weapon systems: An ethical basis for human control?. 2018. Disponível em: <https://www.icrc.org/en/document/ethics-and-autonomous-weapon-systems-ethical-basis-human-control>. Acesso em: 18 jun. 2019. KRISHNAN, Armin. Killer Robots. Nova York: Routledge, 2016. Disponível em: <https://drive.google.com/drive/u/1/folders/1QJ2O2tAoM6k-e8D44NQYWNyghKkFuo2O>. Acesso em: 20 mar. 2019 LIPTAK, Andrew. China unveils the first autonomous amphibious military landing vehicle. 2019. The Verge. Disponível em: <https://www.theverge.com/2019/4/19/18507541/chinese-military-marine-lizard-amphibious-autonomous-marine-landing-vehicle>. Acesso em: 22 jun. 2019. MERCHANT, Gary E. et al. Science and technology law review. The Columbia: 2011. Disponível em: <http://www.stlr.org/cite.cgi?volume=12&article=7>. Acesso em: 20 mar. 2019. NOUWENS, Meia; LEGRADA, Helen. Guarding the Silk Road: How China's private security companies are going global. 2018. World Economic Forum. Disponível em: <https://www.weforum.org/agenda/2018/10/guarding-the-silk-road-how-chinas-private-security-companies-are-going-global/>. Acesso em: 17 jun. 2019. ORGANIZAÇÃO DAS NAÇÕES UNIDAS. Carta das Nações Unidas. 2019. A. Disponível em: <https://nacoesunidas.org/carta/>. Acesso em: 17 abr. 2019. ORGANIZAÇÃO DAS NAÇÕES UNIDAS. Objetivo 16. 2019. B. Disponível em: <https://nacoesunidas.org/pos2015/ods16/>. Acesso em: 17 abr. 2019. PAARLBERG, R. L. Knowledge as power: science, military dominance, and US security. (S.I.): International security, v. 29, n. 1, p.122-151. 2004. Acesso em: 1 fev. 2017 PEDROSA, Leyberson. Drones, Vants ou RPAs? Entenda mais sobre essas aeronaves não tripuladas. 2015. Disponível em: <http://www.ebc.com.br/tecnologia/2015/02/drones-vants-ou-rpas-entenda-mais-sobre-essas-aeronaves-nao-tripuladas#1>. Acesso em: 15 nov. 2018. ROFF, Heather, MOYES, Richard. Meaningful Human Control, Artificial Intelligence and Autonomous Weapons: Briefing paper prepared for the Informal Meeting of Experts on Lethal Autonomous Weapons Systems. Geneva: UN Convention on Certain Conventional Weapons. 2016. Disponível em: <http://www.article36.org/wp-content/uploads/2016/04/MHC-AI-and-AWS-FINAL.pdf>. Acesso em: 10 abr. 2019 SAUER, Frank. Banning Lethal Autonomous Weapon Systems (LAWS): The way forward. Genebra: CICV, 2014. Acesso em: 17 fev. 2019. SPUTNIK (Ed.). Governo britânico é acusado de financiar 'robôs assassinos': O Ministério da Defesa do Reino Unido está sendo acusado de patrocinar tecnologias que permitem a criação de robôs militares autônomos, relata organização britânica.. 2018.
46
Disponível em: <https://br.sputniknews.com/defesa/2018111412672156-governo-britanico-acusado-financiar-drone-assassinos/>. Acesso em: 15 nov. 2018. TICE, Brian P. Unmanned Aerial Vehicles: The Force Multiplier of the 1990s. 1991 Airpower Journal. Disponível em: <https://web.archive.org/web/20090724015052/http://www.airpower.maxwell.af.mil/airchronicles/apj/apj91/spr91/4spr91.htm>. Acesso em: 15 nov. 2018. TECEDEIRO, Helena. "China conta com inteligência artificial para se tornar primeira potência": O investigador francês Charles Thibout veio a Lisboa falar sobre inteligência artificial e como as grandes potências como China e EUA disputam a liderança neste setor. 2018. Disponível em: <https://www.dn.pt/mundo/interior/a-china-conta-com-a-inteligencia-artificial-para-se-tornar-a--primeira-potencia-mundial-9395620.html>. Acesso em: 15 nov. 2018. UNIDIR. Framing Discussions on the Weaponization of Increasingly Autonomous Technologies. Genebra: United Nations Institute for Disarmament Research, 2014. Disponível em: <http://www.unidir.org/files/publications/pdfs/framing-discussions-onthe-weaponization-of-increasingly-autonomous-technologies-en-606.pdf>. Acesso em: 26 mar. 2019 VUTSOVA, Albena; IGNATOVA, Olga. The role of public-private partnership for effective technology transfer. Applied Technologies & Innovations, Praga, v. 10, n. 3, p.83-90, jan. 2014.
47
ANEXO A - TABELA DE REPRESENTAÇÕES
Article 36 Bósnia e Herzegovina Canadá
Comunidade da Austrália Confederação Suíça Cruz Vermelha
Emirados Árabes Unidos Estado da Cidade do Vaticano
Estado da Palestina
Estado de Israel Estados Unidos da América
Estados Unidos Mexicanos
Federação Russa Human Rights Watch Japão
Nova Zelândia Reino da Arábia Saudita Reino da Bélgica
Reino da Espanha Reino da Suécia Reino do Butão
Reino do Marrocos Reino dos Países Baixos Reino Unido da Grã-Bretanha e Irlanda do Norte
República Árabe da Síria República Árabe do Egito República Argelina Democrática e Popular
República Argentina República da África do Sul
República da Colômbia
República da Coreia República da Croácia República da Índia
República da Indonésia República da Irlanda República da Polônia
República da Sérvia República da Turquia República de Cuba
República Democrática Federal da Etiópia
República Democrática do Congo
República do Cazaquistão
República do Chile República do Equador República do Iraque
República do Senegal República Federal da Alemanha
República Federal da Nigéria
República Federativa do Brasil
República Francesa República Islâmica do Irã
República Islâmica do Paquistão
República Popular da China
República Socialista do Vietnã
Ucrânia
Recommended