O que é Governança de Inteligência Artificial (Governança de IA), em um artigo

Definição e principais conotações da governança de IA

A governança de IA é uma estrutura abrangente que engloba tecnologia, ética, legislação e sociedade, que orienta, gerencia e supervisiona com eficácia todo o ciclo de vida dos sistemas de IA - desde o projeto, o desenvolvimento, a implantação e o uso final. O objetivo principal não é impedir a inovação tecnológica, mas garantir que o desenvolvimento e a aplicação da tecnologia de IA sempre sigam em uma direção segura, confiável, responsável e consistente com os valores da humanidade como um todo. Entendida como as "regras de trânsito" e a "constituição" do mundo da IA, a governança da IA deve não apenas salvaguardar a vitalidade e a inovação desse novo mundo (permitindo que os veículos viajem em alta velocidade), mas também garantir que ele opere de forma ordenada e justa, sem acidentes catastróficos (estabelecendo semáforos e limites de velocidade). limites de velocidade). A governança da IA envolve várias dimensões: tecnologicamente, exige que os sistemas sejam transparentes, interpretáveis e robustos; eticamente, enfatiza a justiça, a imparcialidade, a proteção da privacidade e a supervisão humana; legalmente, exige mecanismos claros para identificar responsabilidades e padrões de conformidade; e socialmente, exige ampla participação pública e colaboração global. Em última análise, a governança da IA responde a uma pergunta fundamental: como podemos aproveitar uma força que pode ser mais inteligente e mais poderosa do que nós, para que ela se torne uma ferramenta a serviço do bem-estar humano e não uma ameaça fora de controle? Essa não é uma questão a ser considerada apenas por grandes corporações e governos; sua construção diz respeito ao futuro de cada um de nós.

Principais componentes elementares da governança de IA

A governança de IA não é um conceito vazio, mas um sistema sólido que consiste em vários elementos centrais que se apoiam mutuamente e trabalham juntos para garantir que as atividades de IA sejam regulamentadas e organizadas.

• Diretrizes éticas em primeiro lugarA ética é a pedra angular da governança. Um conjunto de princípios éticos globalmente reconhecidos para a IA geralmente inclui: justiça (evitar discriminação algorítmica), transparência e interpretabilidade (os processos de tomada de decisão podem ser compreendidos), proteção da privacidade e governança de dados (tratamento adequado dos dados do usuário), não maliciosidade (seguro e protegido, não causando danos), responsabilidade (alguém é responsável pelos problemas) e supervisão e controle humanos (a decisão final cabe ao ser humano). Esses princípios fornecem orientação de valor para o desenvolvimento de tecnologias específicas e a elaboração de regulamentações.
• Estrutura legal e regulatóriaAs diretrizes éticas brandas precisam de leis e regulamentações rígidas para serem implementadas. Por exemplo, a Lei de Inteligência Artificial da União Europeia classifica os aplicativos de IA de acordo com o nível de risco, proíbe aplicativos inaceitavelmente arriscados (por exemplo, pontuação social) e impõe acesso rigoroso e regulamentação contínua sobre aplicativos de alto risco (por exemplo, IA de diagnóstico médico). A estrutura legal esclarece as responsabilidades legais dos desenvolvedores e implementadores e estabelece linhas vermelhas e linhas de fundo.
• Transparência e interpretabilidadeEssa é a chave para criar confiança. Um modelo de IA do tipo "caixa preta", mesmo que tome as decisões corretas, dificilmente será confiável. A governança exige que a IA seja o mais transparente possível, de modo que a lógica da decisão possa ser examinada e compreendida por seres humanos. Quando a IA rejeita um pedido de empréstimo ou recomenda um tratamento médico, ela deve ser capaz de fornecer razões claras e compreensíveis para isso, em vez de uma "decisão algorítmica" que não possa ser contestada.
• Gerenciamento de riscos durante todo o ciclo de vidaGovernança: A governança exige o gerenciamento de riscos dos sistemas de IA durante todo o processo. Avaliações de impacto são realizadas durante a fase de projeto para prever possíveis riscos sociais, éticos e legais; conceitos de projeto seguro são adotados durante a fase de desenvolvimento; testes e validações rigorosos são realizados antes e depois da implantação; e o monitoramento contínuo é realizado durante a fase operacional para detectar e corrigir a degradação do desempenho do modelo ou o surgimento de novos vieses em tempo hábil.
• Clareza dos mecanismos de responsabilidadeO que é uma cadeia de responsabilidade clara quando os sistemas de IA causam danos. Quem exatamente é responsável? São os engenheiros que projetam o algoritmo, a empresa que coleta os dados, os executivos que decidem implantá-lo ou os usuários finais que o utilizam? As estruturas de governança devem definir essas responsabilidades com antecedência para garantir que as vítimas possam buscar reparação e que os infratores sejam responsabilizados, levando todos os envolvidos a serem mais prudentes.
• Ferramentas técnicas e suporte a padrõesA governança exige ferramentas tecnológicas específicas para alcançá-la. Por exemplo, o uso de ferramentas de "IA explicável" (XAI) para interpretar modelos complexos; o uso de técnicas como "aprendizado federado" para proteger a privacidade dos dados durante o treinamento de IA; e o desenvolvimento de kits de ferramentas de avaliação de equidade para quantificar e detectar o viés algorítmico. Ao mesmo tempo, devem ser estabelecidos padrões técnicos unificados para garantir a interoperabilidade entre diferentes sistemas e a consistência nas avaliações de segurança.

Estrutura de implementação em vários níveis para governança de IA

Traduzir o conceito de governança do papel para a realidade exige um esforço conjunto em uma estrutura multinível que se estende do interno para o externo e do micro para o macro.

• Macrogovernança em nível nacional e globalOs governos nacionais desempenham o papel de "árbitro" por meio da legislação e do estabelecimento de agências reguladoras (por exemplo, escritórios nacionais de IA), formulam estratégias nacionais de IA e participam da elaboração de regras globais. As organizações internacionais (por exemplo, ONU, OCDE, G20) estão empenhadas em promover o estabelecimento de diretrizes globais de governança de IA e mecanismos de cooperação para evitar a "fragmentação de regras" e a concorrência desleal, e para enfrentar conjuntamente os desafios globais impostos pela IA.
• Mesogovernança em nível de indústria e setorA IA é uma ferramenta de inteligência artificial que permite que os setores combinem suas próprias características para desenvolver diretrizes e práticas recomendadas para aplicações de IA em seus próprios setores. Por exemplo, o setor financeiro se concentra na imparcialidade da IA no crédito e na conformidade antifraude; o setor de saúde se concentra na confiabilidade das ferramentas de diagnóstico de IA, na proteção da privacidade e na definição da responsabilidade clínica; e o setor automotivo trabalha em conjunto para formular padrões de teste de segurança para a condução autônoma. A autorregulação e os padrões do setor são uma parte importante da governança eficaz.
• Microgovernança em nível organizacional e corporativoEmpresas: As empresas são a unidade de implementação mais importante da governança. As empresas de tecnologia responsáveis estabelecerão comitês internos de ética em IA, formularão princípios corporativos de desenvolvimento de IA, oferecerão treinamento em ética para os funcionários e criarão cargos como diretores de ética em IA. As empresas precisam integrar os requisitos de governança em todos os processos de gerenciamento de produtos, desde a coleta de dados e o treinamento de modelos até o lançamento do produto e as iterações de atualização.
• Governança incorporada em nível técnicoOs requisitos de governança precisam ser incorporados diretamente aos sistemas de IA por "design", o que é chamado de "Governance by Design". As restrições de justiça, os cálculos de privacidade e o registro são incorporados ao código à medida que ele é escrito, tornando a conformidade e a ética intrínsecas à tecnologia, em vez de um patch posterior.
• Monitoramento contínuo e avaliação de auditoriaA implantação de sistemas de IA não é o fim do caminho. A estrutura de governança exige o estabelecimento de um mecanismo de auditoria independente de terceiros para realizar "check-ups" regulares dos sistemas de IA em serviço para avaliar se eles ainda atendem aos requisitos de justiça, segurança e conformidade. Devem ser estabelecidos canais eficazes de feedback e relatórios para permitir que os usuários e a equipe interna relatem os problemas identificados, formando um ciclo fechado de supervisão.
• Mecanismos de resposta e saída de emergênciaMesmo a melhor governança precisa ser capaz de lidar com circunstâncias imprevistas. Os planos de contingência devem ser desenvolvidos com antecedência para permitir a rápida intervenção, mitigação ou até mesmo o desligamento do sistema de IA no caso de uma falha grave ou uso indevido malicioso do sistema, o chamado "kill switch". Esclareça as opções de tratamento de dados após a falha ou desativação do sistema.

Desafios do mundo real para a governança de IA

As estruturas de governança idealizadas encontram muitos desafios práticos nos níveis técnico, social e de cooperação internacional.

• O desenvolvimento tecnológico supera em muito as atualizações de governançaA tecnologia de IA tem um ciclo de iteração medido em meses ou até semanas, enquanto a legislação e os processos de definição de padrões geralmente levam anos. Esse "desequilíbrio de velocidade" faz com que a governança muitas vezes fique atrasada em relação aos aplicativos tecnológicos mais recentes e às lacunas regulatórias.
• O consenso global nos iludeO que é: Existem diferenças significativas entre os diversos países em termos de valores culturais, sistemas jurídicos e caminhos de desenvolvimento. Conceitos como privacidade, liberdade e segurança têm pesos diferentes, o que torna extremamente difícil a formação de regras uniformes em nível global para a governança da IA. As rivalidades geopolíticas exacerbam ainda mais essas diferenças, e é provável que surja uma situação "fragmentada" na qual coexistem vários conjuntos de regras.
• Complexidade das determinações de responsabilidadeO processo de tomada de decisão de um sistema de IA envolve vários assuntos em uma cadeia longa e complexa. Quando um carro autônomo movido por algoritmos de aprendizagem profunda se envolve em um acidente, é difícil definir claramente a responsabilidade - é o fornecedor do sensor, o engenheiro do algoritmo, o fabricante do carro, o proprietário do carro ou o responsável pela atualização do software? O sistema jurídico existente está sobrecarregado ao lidar com essa complexidade.
• Dificuldade técnica de auditoria e monitoramentoPara os modelos mais avançados de IA generativa em larga escala, os tamanhos de seus parâmetros estão na casa dos trilhões e seus mecanismos internos de funcionamento são tão complexos que nem mesmo os desenvolvedores conseguem entender completamente todos os seus comportamentos. A auditoria e o monitoramento eficazes dessa "caixa preta" dentro de uma "caixa preta" é um enorme desafio técnico.
• Grandes lacunas de talento e conhecimentoTalento interdisciplinar com um profundo entendimento da tecnologia de IA, ética, direito e políticas públicas é extremamente escasso. Os formuladores de políticas podem não entender a tecnologia, enquanto os técnicos podem não ter perspectivas éticas e jurídicas, e há barreiras para um diálogo eficaz entre os dois lados, afetando a qualidade e a aplicabilidade das políticas de governança.

O profundo valor da governança de IA para a sociedade

Apesar dos desafios, a criação de um sistema sólido de governança de IA tem um valor e uma importância de longo alcance insubstituíveis para a sociedade como um todo.

• Criar confiança para a adoção de tecnologiaConfiança: A confiança é a base social sobre a qual todas as tecnologias podem ser aplicadas em grande escala. Ao demonstrar ao público, por meio da governança, que a IA é segura, confiável e responsável, ela pode eliminar os medos e as dúvidas das pessoas, acelerar a implementação da tecnologia de IA em áreas essenciais, como saúde, educação e transporte, e realmente liberar seu potencial para melhorar vidas.
• Prevenção de riscos sistêmicos e proteção da seguridade socialO uso indevido da IA pode trazer riscos sem precedentes, como armas automatizadas fora de controle, ataques cibernéticos em grande escala e enganos sociais baseados em falsificação profunda. O sistema de governança é como o Acordo de Basileia no setor financeiro, impedindo que eventos individuais desencadeiem uma reação em cadeia que poderia levar a uma catástrofe global, colocando grades de proteção de segurança.
• Moldar um campo de jogo nivelado e orientar o desenvolvimento saudável do mercadoGovernança: regras claras estabelecem uma linha de partida justa de concorrência para todos os participantes do mercado. A governança restringe comportamentos que buscam obter uma vantagem competitiva injusta por meio do uso indevido de dados, invasão de privacidade ou uso de algoritmos tendenciosos e incentiva as empresas a competir por meio de inovação tecnológica genuína e serviços de qualidade, promovendo o desenvolvimento saudável e sustentável do mercado.
• Proteção dos direitos humanos fundamentais e da dignidadeUma das principais missões da governança da IA é garantir que os avanços tecnológicos não corroam os direitos fundamentais dos seres humanos. Proteja a dignidade humana na era digital, evitando os excessos da vigilância digital por meio de regulamentações rigorosas de proteção de dados, salvaguardando os direitos de grupos socialmente desfavorecidos por meio de requisitos de equidade e garantindo que o controle final esteja em mãos humanas por meio da supervisão humana.
• Reunir a sabedoria global para enfrentar desafios comunsO tema da governança da IA levou governos, empresas, universidades e sociedade civil a se reunirem para discutir como enfrentar os desafios globais, como mudanças climáticas, saúde pública, pobreza etc. A governança da IA pode ser um novo nexo para a cooperação global, levando ao uso de poderosas tecnologias de IA para resolver os problemas mais urgentes da humanidade.
• Responsabilidade pelas gerações futuras em relação ao desenvolvimento sustentávelAs decisões de governança de hoje afetarão profundamente a forma da sociedade no futuro. Governança responsável significa que consideramos não apenas os benefícios econômicos de curto prazo da IA, mas também seus impactos sociais, ambientais e éticos de longo prazo, para garantir que o desenvolvimento da tecnologia seja do interesse das gerações futuras e para alcançar um desenvolvimento verdadeiramente sustentável.

Cenário global e comparação da governança da inteligência artificial

Os principais países e regiões do mundo estão explorando diferentes caminhos de governança de IA com base em seus próprios conceitos e condições nacionais, formando um padrão global colorido.

• O modelo regulatório "baseado em direitos" da União EuropeiaA UE assumiu a liderança no estabelecimento da estrutura regulatória mais rigorosa e abrangente do mundo para IA. A ideia central é classificar os aplicativos de IA de acordo com o risco e implementar uma regulamentação do tipo "pirâmide". O modelo da UE enfatiza muito a proteção dos direitos fundamentais e o princípio da precaução, e busca ser o criador de regras digitais globais "de fato", definindo padrões de conformidade extremamente altos para as empresas de tecnologia por meio de regulamentações rigorosas, como a Lei de Inteligência Artificial e a Lei de Serviços Digitais.
• O modelo de governança flexível "inovação em primeiro lugar" dos Estados UnidosOs EUA preferem confiar na regulamentação subsetorial das autoridades reguladoras existentes (por exemplo, FTC, FDA), com ênfase na autorregulamentação do setor e em soluções tecnológicas. Sua estratégia é mais flexível e visa evitar que uma regulamentação excessivamente rigorosa sufoque o dinamismo de inovação do Vale do Silício. O governo dos EUA fornece orientação flexível por meio da emissão de ordens executivas e diretrizes de investimento, incentivando a identificação de problemas e soluções em desenvolvimento, e o poder nacional investe mais em P&D de IA e na exploração de ponta de aplicações militares.
• Modelo de desenvolvimento abrangente e "seguro e controlável" da ChinaA governança de IA da China enfatiza "seguro e controlável" e "centrado nas pessoas", incentivando o desenvolvimento tecnológico e atribuindo grande importância à segurança nacional e à estabilidade social. A China emitiu uma série de regulamentações, incluindo as Medidas Provisórias para a Administração de Serviços de Inteligência Artificial Generativa, que exigem que o conteúdo gerado por IA esteja alinhado com os valores fundamentais socialistas e enfatizam as principais responsabilidades das empresas em termos de segurança, privacidade e preconceito. O modelo de governança da China reflete cores mais fortes de planejamento holístico e liderado pelo Estado.
• Exploração e adaptação em outras regiõesO Reino Unido apresentou a ideia de "governança contextualizada", que defende a não criação de um regulador especial e a confiança nos departamentos existentes para ajustar com flexibilidade suas estratégias regulatórias de acordo com situações específicas. Cingapura, Emirados Árabes Unidos e outros pequenos países desenvolvidos estão comprometidos com a criação de ambientes de "sandbox de IA" para atrair empresas e talentos globais de IA com regulamentação flexível e infraestrutura superior, além de desempenhar o papel de "campo de testes".
• A função dos coordenadores em organizações internacionaisA Organização para Cooperação e Desenvolvimento Econômico (OCDE) propôs princípios de IA que foram endossados por um grande número de países. As Nações Unidas estão promovendo a criação de um órgão de governança global de IA, semelhante à Agência Internacional de Energia Atômica (IAEA). Essas organizações internacionais oferecem uma plataforma rara para o diálogo entre países de diferentes campos e estão comprometidas com a formação de um consenso global no nível mais baixo para evitar os piores cenários.
• Influência transnacional e autorregulação de gigantes da tecnologiaGrandes empresas de tecnologia, como Google, Microsoft, Meta, OpenAI e outras, têm recursos e influência de IA que vão além de muitos países. Os códigos de ética e as práticas de governança desenvolvidos nessas empresas constituem outro sistema global de governança "privada". Há cooperação e tensão entre eles e os sistemas de governança "pública" dos Estados soberanos.

Participação pública indispensável na governança da IA

Longe de ser apenas uma reunião a portas fechadas de funcionários do governo, executivos de empresas e tecnólogos, a governança da IA não pode ser eficaz e legítima sem a participação ativa do público em geral.

• A educação pública é a pedra angular da participaçãoPromover a alfabetização em IA e educar o público sobre os fundamentos, as capacidades, as limitações e os possíveis riscos da IA por meio de várias formas de mídia, escolas e palestras públicas. Uma comunidade pública com um entendimento básico de IA poderá se envolver em discussões e supervisão significativas, em vez de permanecer no medo da ficção científica ou no otimismo cego.
• Criação de canais diversificados para a solicitação de opiniõesAo formular regulamentações relacionadas à IA, os órgãos legislativos e reguladores devem tomar a iniciativa de convocar audiências e emitir minutas de exposição, além de incorporar amplamente as vozes de diferentes grupos sociais, como organizações de consumidores, grupos de trabalhadores, comunidades de minorias étnicas e organizações de proteção de direitos de deficientes, de modo a garantir que as políticas de governança reflitam interesses e valores pluralistas.
• Incentivar a deliberação dos cidadãos e as conferências de consensoOrganização de painéis deliberativos de cidadãos comuns selecionados aleatoriamente para realizar discussões aprofundadas sobre dilemas éticos específicos da IA (por exemplo, limites do uso público do reconhecimento facial) e produzir um relatório de recomendações com base em informações neutras fornecidas por especialistas. Esse formato permite que os tomadores de decisão sejam informados por uma opinião pública bem ponderada.
• O papel de cão de guarda da mídia e do jornalismo investigativoA mídia é uma janela importante para as questões de IA para o público. A cobertura aprofundada de jornalistas investigativos sobre incidentes de viés algorítmico (por exemplo, a revelação da ProPublica sobre o viés racial no sistema de avaliação de reincidência COMPAS) pode efetivamente transformar questões técnicas em questões públicas, despertando ampla atenção e discussão e criando uma forte pressão para o escrutínio público.
• Apoio a organizações independentes de pesquisa e auditoriaO público pode apoiar e confiar em institutos de pesquisa terceirizados, organizações de auditoria e laboratórios de ética que sejam independentes de governos e corporações. Essas organizações podem publicar relatórios de pesquisa objetivos, realizar avaliações independentes de sistemas comerciais de IA, fornecer ao público informações confiáveis e com autoridade e quebrar o monopólio de informações das empresas de tecnologia.
• Capacitar os usuários com direitos e escolhas individuaisA estrutura de governança deve garantir os direitos dos usuários individuais, como o direito de ser informado (de ser informado de que está interagindo com a IA), o direito de escolher (de poder optar por um serviço humano), o direito de interpretação (de receber uma explicação das decisões da IA) e o direito de recusar (de recusar decisões importantes tomadas somente pela IA). Esses direitos fazem com que o público não seja um receptor passivo, mas um participante ativo que pode exercer seus direitos.

Principais ferramentas tecnológicas subjacentes à governança de IA

A governança eficaz não é apenas conversa, ela precisa ser sustentada por uma série de ferramentas técnicas poderosas que traduzam os princípios de governança em código e funcionalidade do sistema.

• Conjunto de ferramentas de IA interpretável (XAI)XAI é a chave para desvendar a "caixa preta" da IA. Ela inclui uma série de técnicas, como LIME, SHAP, etc., que podem explicar as previsões de modelos complexos de uma forma compreensível para o ser humano (por exemplo, destacando os principais recursos de entrada que influenciam as decisões). Sem interpretabilidade, a transparência, a responsabilidade e a auditoria justa são impossíveis.
• Kit de ferramentas de avaliação e mitigação de equidadeFerramentas de código aberto, como o AIF360 da IBM e o FairLearn da Microsoft, fornecem dezenas de métricas de justiça comprovadas (por exemplo, justiça de grupo, igualdade de oportunidades) e algoritmos para ajudar os desenvolvedores a detectar, avaliar e atenuar rapidamente o viés algorítmico antes e depois do treinamento do modelo, princípios éticos de engenharia.
• Tecnologias de aprimoramento da privacidade (PETs)Essas técnicas podem garantir tecnicamente a privacidade dos dados ao concluir cálculos e análises sem acesso aos dados originais. Elas incluem: aprendizado federado (em que os dados de todas as partes não são localizados e somente os parâmetros do modelo são trocados), privacidade diferencial (em que o ruído calibrado com precisão é adicionado aos resultados da consulta de dados) e criptografia homomórfica (em que os dados criptografados são computados). Eles são o núcleo da obtenção da "invisibilidade de usabilidade" dos dados.
• Plataforma de monitoramento de modelos e O&MA plataforma MLOps monitora continuamente o desempenho preditivo, a distribuição da qualidade dos dados e as métricas de equidade dos modelos de IA depois que eles entram em operação, enviando alertas e acionando a intervenção humana ou iterações de modelos quando desvios anormais são detectados, para garantir a conformidade contínua do sistema.
• Ferramentas de teste de robustez e detecção de ataques adversáriosEssas ferramentas simulam atacantes mal-intencionados alimentando o modelo de IA com "amostras adversárias" cuidadosamente construídas (por exemplo, uma imagem perturbada que é indistinguível ao olho humano) para testar sua robustez e segurança diante de distúrbios. Ao identificar as vulnerabilidades com antecedência, os modelos podem ser reforçados para evitar que sejam falsificados ou explorados de forma maliciosa.
• Blockchain para rastreabilidade de auditoriaA natureza à prova de adulteração da tecnologia blockchain pode ser usada para registrar os principais registros de decisões, hashes de dados de treinamento e históricos de alterações de versão para modelos de IA. Isso cria uma trilha de auditoria confiável, fornecendo um registro de dados com credibilidade quando é necessário retroceder para investigar os erros de tomada de decisão da IA, simplificando bastante o processo de responsabilidade.