SciELO - Scientific Electronic Library Online

 
 issue13DISCRIMINATION INVERSED BY DWORKIN’S CONTRIBUTION author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

Indicators

Related links

  • Have no similar articlesSimilars in SciELO

Share


Revista Internacional CONSINTER de Direito - Publicação Oficial do Conselho Internacional de Estudos Contemporâneos em Pós-Graduação

Print version ISSN 2183-6396On-line version ISSN 2183-9522

Revista Internacional CONSINTER de Direito  no.13 Vila Nova de Gaia Dec. 2021  Epub Sep 08, 2022

https://doi.org/10.19135/revista.consinter.00013.01 

Artigos Originais

O DIREITO À EXPLICAÇÃO NAS DECISÕES AUTOMATIZADAS: UMA ABORDAGEM COMPARATIVA ENTRE O ORDENAMENTO BRASILEIRO E EUROPEU

THE RIGHT TO EXPLANATION IN AUTOMATED DECISION-MAKING: A COMPARATIVE APPROACH BETWEEN THE BRAZILIAN AND EUROPEAN SYSTEM

Daniela Wendt Toniazzo1 
http://orcid.org/0000-0002-3365-1841

Tales Schmidke Barbosa2 
http://orcid.org/0000-0002-4894-5471

Regina Linden Ruaro3 
http://orcid.org/0000-0003-1144-9383

1Ministério Público de Contas do Rio Grande do Sul. E-mail: danitoniazzo@terra.com.br

2Advogado e Consultor em Direito Público. E-mail: tales@tbarbosa.com.br

3Procuradora Federal/AGU aposentada. E-mail: ruaro@pucrs.br


Resumo

As decisões automatizadas podem trazer grandes benefícios para a humanidade, sendo inegável também que as máquinas representam perigo à autonomia do ser humano, como indivíduo, e podem gerar mecanismos potencialmente discriminatórios em razão da possibilidade de manejo perverso de algoritmos. Embora as tecnologias da inteligência artificial utilizadas nas decisões automatizadas sejam apresentadas como neutras, elas não o são, sendo algumas utilizadas inclusive para modulações de comportamento humano obtidas com o perfil da extração de dados, construindo-se um mundo perfeito de consumos personalizados. O presente estudo tem como objetivo analisar o conceito de decisão automatizada e a extensão do alcance do direito à explicação no tratamento automatizado de dados no ordenamento brasileiro em comparativo com o ordenamento europeu. O direito à explicação, um dos imperativos das orientações éticas para uma inteligência artificial de confiança nas decisões automatizadas, mostra-se de extrema relevância como critério oponível aos mecanismos discriminatórios e ao combate à opacidade desse tipo de inteligência. O fato é que toda decisão automatizada deve ser explicável, tanto no que se refere à sua lógica subjacente quanto ao fundamento da decisão. Também não é razoável a exclusão do elemento humano na revisão da decisão automatizada. O presente trabalho observará, por meio comparativo, os requisitos autorizadores da decisão automatizada e suas consequências. Além disso, para a busca do resultado almejado, será realizada uma comparação do conceito do direito à explicação nos ordenamentos europeu e brasileiro. Como resultado do presente estudo, concluiu-se que a União Europeia trata a decisão automatizada como uma proibição, enquanto no Brasil existe um direito à revisão da decisão automatizada, deixando de garantir também que essa revisão seja humana. Inexiste no Brasil, portanto, amparo legal para o direito à explicação.

Palavras-chave: Decisão automatizada; Direito à explicação; Direito de revisão humana.

Abstract

Automated decision-making can bring great benefits to humanity, and it is undeniable that machines pose a danger to human autonomy, as an individual, and can generate potentially discriminatory mechanisms due to the possibility of perverse manipulation of algorithms. Although the artificial intelligence technologies used in automated decision-making are presented as neutral, they are not, and some are even used for modulations of human behavior obtained with the profile data extraction, building a perfect world of personalized consumption. The present study aims to analyze the concept of automated decision-making and the extension of the scope of the right to explanation in the automated treatment of data in the Brazilian system in comparison with the European system. The right to explanation, one of the imperatives of ethical guidelines for reliable artificial intelligence in automated decision-making, is extremely relevant as a criterion opposed to discriminatory mechanisms and combating the opacity of this type of intelligence. The fact is that everything that can be achieved through a degree of automation deserves a recommendable human explanation. In fact, human supervision must guide all stages of the use of artificial intelligence mechanisms. The method used in the present investigation is the hypothetical-deductive, in the approach, and the comparative, in the procedure. The fact is that every automated decision must be explainable, both in terms of its underlying logic and the rationale for the decision. There is also unreasonable to exclude the human element in the review of the automated decision. The present study will observe, by comparative means, the authorizing requirements of the automated decision and its consequences. Also, in order to achieve the desired result, a comparison will be made of the concept of the right to explanation in the European and Brazilian legal systems. As a result of the present study, it was concluded that the European Union treats the automated decision as a prohibition, while in Brazil there is a right to review the automated decision, failing to guarantee that this review is human. Therefore, there is no legal support in Brazil for the right to explanation.

Keywords: Automated decision-making; Right to explanation; Right to human review.

1. INTRODUÇÃO

É evidente que o avanço da Inteligência Artificial (IA) pode trazer grandes benefícios para a humanidade, desde que resguardada a defesa da condição humana.

Na atualidade, convivemos diariamente com mecanismos de decisões automatizadas, tanto para a criação de perfil de consumo4, por exemplo, como também para diversas outras áreas da convivência humana, como aquisição de passagens, contratação de seguros, benefícios assistenciais e, em alguns lugares do mundo, com a implementação de decisões automatizadas na administração pública5.

O sistema jurídico europeu traz regras especiais para decisões automatizadas, mesmo que apenas excepcionalmente, e com base nas exceções às regras de proibição previstas no regulamento básico da proteção de dados. Tais proibições abrangem apenas os casos de inexistência de intervenção humana, concedendo às pessoas o direito de não estarem sujeitas a uma decisão baseada unicamente no tratamento automatizado de dados. Entretanto, o Regulamento Geral de Proteção de Dados (RGPD) não regulou especificamente os requisitos para decisões automatizadas e também para a utilização dos sistemas algorítmicos de aprendizagem6.

No Brasil, antes mesmo da vigência da Lei Geral de Proteção de Dados (LGPD) (Lei 13.709/2018), o assunto em relação à regulação das decisões automatizadas já tinha sido tratado pela Lei do Cadastro Positivo (Lei 12.414/2011), que traz em seu art. 5º o direito do cadastrado de conhecer os principais elementos e critérios considerados para a análise de risco, e também o de solicitar a revisão da decisão realizada exclusivamente por meios automatizados.

A importância da presente investigação se dá pelo grande potencial discriminatório das decisões automatizadas, embora estas representem um múltiplo da capacidade humana. Os métodos estatísticos utilizados no processamento de dados por algoritmos podem reproduzir vieses já existentes e levar a resultados discriminatórios, que se tornam ainda maiores quando baseados no sistema de aprendizagem das máquinas.

Com o objetivo de resguardar a autonomia, proteger os indivíduos e seus direitos e liberdades, e também de restringir possíveis consequências nocivas e discriminatórias das decisões automatizadas, o ordenamento jurídico europeu estabeleceu uma série de salvaguardas no tratamento automatizado de dados, garantindo ao titular o direito de obter intervenção humana e contestar a decisão nos casos de exceção à regra de proibição no tratamento, o que é denominado de direito à explicação, embora ainda exista um debate sobre a existência de tal direito.

No ordenamento brasileiro, a Lei Geral de Proteção de Dados trouxe o direito de revisão, ou o denominado direito à explicação, como corolário de qualquer tratamento de dados pessoais por meio de decisões tomadas unicamente com base em tratamento automatizado.

É nessa senda que esta investigação tem como objetivo realizar o cotejo do direito à explicação, nos ordenamentos brasileiro e europeu, tomando por base um conceito de decisões automatizadas, e também verificar a existência do direito à explicação como condição de eficácia do princípio da transparência, destacando as diferenças entre os ordenamentos. Da mesma forma, pretende explanar a eficácia do direito à explicação ao objetivo que se presta, analisando sua natureza, partindo da interpretação sistemática do direito de acesso à informação e do princípio da transparência.

O procedimento metodológico utilizado no presente estudo será o hipotético-dedutivo, quanto à abordagem, e o comparativo, no procedimento, por meio de pesquisas do tipo bibliográficas e explicativas. Para a busca do resultado almejado, compararam-se os conceitos do direito à explicação europeu e brasileiro, bem como os requisitos autorizadores da decisão automatizada e suas consequências.

O fato é que, define-se como hipótese que toda decisão automatizada deve ser explicável, tanto de sua lógica subjacente quanto do fundamento da decisão.

Porém, tem-se como resultado do presente estudo que o direito brasileiro, diferentemente do direito europeu, não traz amparo legal para o direito à explicação, mas apenas uma possibilidade de revisão da decisão automatizada, deixando de garantir também que essa revisão seja humana, pois foi retirada do texto da lei brasileira tal garantia.

Outro resultado alcançado com a pesquisa foi a constatação de que no direito europeu, diferentemente do que ocorre no direito brasileiro, a decisão automatizada é tratada como proibição, resguardando o direito à explicação nas exceções à regra. No direito brasileiro, apenas há garantia do direito de revisão da decisão unicamente automatizada, inexistindo garantia de explicação da lógica subjacente ou dos fundamentos da decisão.

2. UM BREVE CONCEITO DE DECISÃO AUTOMATIZADA

Cabe esclarecer, antes de tudo, que não faz parte do escopo do presente estudo formular uma definição sem controvérsias para conceituar decisão automatizada. É muito comum encontrarmos referências para decisões automatizadas que levam em consideração apenas decisões de definição de perfis, quando, na verdade, a LGPD brasileira trata o assunto de maneira bem mais ampla, incluindo como conceito interpretativo qualquer decisão tomada unicamente com base em tratamento automatizado de dados pessoais, inclusive as decisões destinadas a definir perfil pessoal, de consumo, de crédito e aspectos da personalidade7.

No ordenamento europeu, o RGPD define e diferencia, de forma interpretativa, decisões automatizadas de definições de perfis, sendo este último item qualquer forma de tratamento automatizado de dados pessoais que consista em utilizar esses dados para avaliar aspectos pessoais de uma pessoa singular8. Ou seja, a definição de perfil é considerada como qualquer forma de tratamento, e não exclusivamente automatizado.

O Grupo de Trabalho Europeu para Proteção de Dados, instituído ao abrigo do art. 29 da Diretiva 95/46/CE, órgão consultivo europeu independente em matéria de proteção de dados e privacidade, considera que as decisões automatizadas têm um âmbito de aplicação diferente e podem sobrepor-se parcialmente à definição de perfis ou resultar da mesma. Define decisão automatizada como correspondente à capacidade de tomar decisões por intermédio de meios tecnológicos e sem intervenção humana, razões pelas quais considera que as decisões automatizadas podem ser realizadas com ou sem definição de perfis, assim como a definição de perfis pode ocorrer sem serem realizadas decisões automatizadas.

Contudo, de acordo com a interpretação da RGPD proposta pelo Grupo de Trabalho europeu, decisões automatizadas e a definição de perfis não constituem necessariamente atividades levadas a cabo separadamente, pois um procedimento iniciado com uma simples decisão automatizada poderia tornar-se um procedimento baseado em uma definição de perfil9.

As decisões que não são exclusivamente automatizadas, e que não possuem vedação no RGPD europeu, podem igualmente incluir uma definição de perfil quando ocorre intervenção humana com base em um perfil elaborado por meios exclusivamente automatizados, desde que respeitados todos os princípios.

No Brasil, também de cunho interpretativo, decisão automatizada pode ser considerada uma tomada de decisão com utilização da inteligência artificial, independentemente da intervenção humana. Pode ser uma decisão decorrente de um sistema algorítmico destinada a cumprir finalidades específicas com base no recebimento de dados objetivos (input) para gerar resultados também objetivos (outputs), ou também as decisões mais sofisticadas e menos explícitas, com a utilização das técnicas de aprendizagem das máquinas.

Na tecnologia de aprendizagem, denominada Machine Learning, adentram na máquina, além do input e output, o resultado desejado, o que torna um algoritmo capaz de tornar a relação entre dado e resultado verdadeira. É o que se chama de algoritmos inteligentes, também conhecidos como learners - são algoritmos que criam outros algoritmos.

O ponto crítico é que os algoritmos de aprendizagem na IA são organizados com maior complexidade do que na automação, pois não apenas seguem regras como também tomam decisões, aprendendo sozinhos sobre dados coligidos10.

Com a tentativa de esclarecer o direito à explicação, por via reflexa, existe no Brasil um Projeto de Lei11 em andamento que visa alterar a Lei Geral de Proteção de Dados para definir a expressão “decisão automatizada”, projeto este que conceitua como sendo o processo de escolha, de classificação, de aprovação ou rejeição, de atribuição de nota, medida, pontuação ou escore, de cálculo de risco ou de probabilidade, ou outro semelhante, realizado pelo tratamento de dados pessoais utilizando regras, cálculos, instruções, algoritmos, análises estatísticas, inteligência artificial, aprendizado de máquina, ou outra técnica computacional.

Levando em conta a explanação do conceito interpretativo indicado, tanto no direito europeu quanto no direito brasileiro, resta entender quais decisões o direito à explicação abrange, para a verificação de sua extensão com base nos princípios de acesso à informação, transparência, prevenção de danos, não discriminação, responsabilização e prestação de contas.

3. O DIREITO À EXPLICAÇÃO NO ORDENAMENTO EUROPEU

Durante a primeira regulação da União Europeia sobre o assunto da proteção de dados pessoais, a Diretiva 95/46/CE estabeleceu, no art. 15, que os Estados-Membros reconheceriam a qualquer pessoa o direito de não ser submetido a uma decisão tomada exclusivamente com base num tratamento automatizado12. O art. 12 da mesma Diretiva garantiu ao cidadão europeu o conhecimento da lógica subjacente ao tratamento automatizado dos dados que lhe digam respeito, pelo menos no que se refere às decisões automatizadas referidas no art. 1513.

As previsões dos arts. 12 e 15 suscitaram uma grande controvérsia e confusão sobre a existência de um direito ou de uma proibição da decisão automatizada.

Com a implementação do RGPD, ferramenta de homogeneização da proteção de dados nos países da União Europeia, às prescrições relacionadas à tomada de decisões automatizadas, foi regulada no art. 22 e transportou, de maneira similar ao art. 15.1 da Diretiva 95/46/CE, a dúvida quanto à existência de um direito ou de uma proibição.

A distinção é uma interpretação fundamental em razão de que, sendo considerada proibida, as decisões estariam restritas às exceções previstas no segundo apartado do art. 22 do RGPD14. Se consideradas um direito, as decisões permaneceriam autorizadas até que o interessado invocasse seu direito diante da vedação imposta pelo Regulamento.

O considerando 71, embora não vinculante, reforça o posicionamento que considera como uma proibição, pois estabelece que, em certas circunstâncias, essas decisões devem ser permitidas, o que significa dizer, em termos gerais, que as decisões tomadas exclusivamente com base no tratamento automatizado não estão permitidas.

Na linha de pensamento que considera um direito, o assunto é tratado com base na Diretiva 2016/680 relativa à proteção de dados, no que diz respeito ao tratamento de dados pessoais para efeitos de investigação, e adotada juntamente com a RGPD, estabelecendo, em seu art. 11, explicitamente, uma proibição de decisões tomadas exclusivamente com base no tratamento automatizado, o que poderia levar a crer que a mesma formulação poderia ter sido utilizada no art. 22 do RGPD se essa fosse a intenção do legislador.

O Grupo de Trabalho Europeu para Proteção de Dados (art. 29 WP)15, ao confirmar que se trata de uma proibição, esclareceu que essa interpretação reforça a ideia de controle do titular dos dados sobre os seus dados pessoais e obedece aos princípios fundamentais do RGPD. Segundo o Grupo de Trabalho, a interpretação do art. 22 como uma proibição significa dizer que as pessoas estão automaticamente protegidas dos possíveis efeitos deste tipo de tratamento, que vem apoiada no Considerando 71, uma vez que lá vem descrito que deverá ser permitida a tomada de decisões com base no tratamento automatizado de dados se expressamente autorizada pelo direito da União ou Estados-Membros16.

Com base nisso é que estaria implícito que a decisão tomada exclusivamente com base no tratamento automatizado de dados, regulamentado pelo art. 22.1 da RGPD, não é, de modo geral, permitido.

Nesse contexto, e adotando o conceito interpretativo de proibição do Grupo de Trabalho Europeu para a Proteção de Dados, destaca-se que o uso de decisões automatizadas é uma exceção e está submetida aos casos específicos permissivos que não produzam efeitos na esfera jurídica nem afetem significativamente de forma similar, com base na previsão do art. 22.2 do RGPD17. Além disso, a referida proibição se refere a decisões tomadas exclusivamente com base no tratamento automatizado, de maneira que o envolvimento humano deve ser substancial para que não seja atingido pela proibição18.

Ainda que se trate de uma proibição, a discussão que se estabelece no direito europeu é sobre a existência ou não de um direito à explicação nos casos permissivos de decisões com base no tratamento automatizado de dados, haja vista a retirada do texto aprovado pelo Parlamento Europeu do apartado 5 do art. 20 (atual art. 22) do RGPD, que estabelecia explicitamente tal direito. Em decorrência da referida exclusão é que alguns autores propõem a inexistência de um direito à explicação no RGPD19.

O direito à explicação nas decisões automatizadas se distingue em ex ante e ex post. A explicação ex ante é produzida antes que se realize a tomada de decisão, em que será informado apenas o funcionamento do sistema e não sobre a lógica de uma decisão específica, simplesmente por ela ainda não ter sido produzida. Na explicação ex post, além do funcionamento do sistema, serão esclarecidas as circunstâncias que motivaram a decisão.

Nos casos em que é permitida a utilização de decisões tomadas exclusivamente com base no tratamento automatizado de dados, ou seja, nas exceções à regra, o ordenamento europeu prevê uma necessidade de aplicação de medidas adequadas para salvaguardar os direitos de liberdade e legítimos interesses do titular de dados, resguardando o direito de obter uma intervenção humana, manifestar o seu ponto de vista e contestar a decisão20.

Por esse motivo, estaria implícita a necessidade de um direito à explicação em razão das salvaguardas garantidas no RGPD, mais especificamente nos arts. 13(2)(f)21, 14(2)(g)22 e 15(1)(h)23, o que é uma explicação ex ante da lógica subjacente do sistema utilizado para a decisão automatizada, o que não se mostra suficiente nos casos de utilização dos sistemas de aprendizagem, pois a forma de funcionamento do sistema algorítmico pode ser continuamente alterada por este tipo de programa. No cenário também implícito do direito à explicação ex post, o respaldo para tal direito estaria configurado no apartado 3 do art. 22 do RGPD, que garante a salvaguarda dos direitos de liberdade e legítimo interesse do titular de dados, bem como o direito de obter intervenção humana com a manifestação do seu ponto de vista e direito de contestar a decisão.

Ademais, a interpretação sistemática do Regulamento Europeu, em consonância com a lógica instituída em relação à transparência, direito de acesso e à divulgação de informações pelos controladores, bem como a facilidade de acesso exposta no Considerando 63, conduz ao pensamento de que o direito à explicação é decorrência lógica do arcabouço de garantias e do protagonismo do titular de dados no referido regulamento, tanto ex ante, por meio de informações úteis relativas à lógica subjacente, como ex post, por meio das salvaguardas que garantem ao titular o direito de obter intervenção humana com a manifestação do seu ponto de vista e direito de contestar a decisão, tudo isso nos casos em que a regra de proibição é derrubada pelas exceções previstas no apartado 2, do art. 22 do Regulamento Geral de Proteção de Dados.

4. O DIREITO À EXPLICAÇÃO NO ORDENAMENTO BRASILEIRO

A legislação pioneira no Brasil sobre o direito à explicação nas decisões automatizadas foi a Lei do Cadastro Positivo (Lei 12.414/2011) acabei de listar, que traz em seu art. 5º o direito do cadastrado de conhecer os principais elementos e critérios considerados para a análise de risco, e também o de solicitar a revisão da decisão realizada exclusivamente por meios automatizados24. Como bem se observa, a inovação trazida pela legislação setorial não tratou de uma proibição, mas sim de um direito à revisão, capaz de permitir a fruição do direito de não discriminação.

Alguns autores25 identificam no art. 5º da Lei do Cadastro Positivo a caracterização de um padrão normativo para o direito à explicação, que, posteriormente, foi transportado e adaptado à Lei Geral de Proteção de Dados, mais especificamente no art. 20, que traz a previsão de revisão de decisões tomadas unicamente com base em tratamento automatizado de dados pessoais, incluindo as decisões destinadas à definição de perfil.

O direito à explicação transportado para a LGPD encontra eco na União Europeia no art. 22 (3) da GDPR, que estabelece que os titulares de dados têm o direito de expressar seu ponto de vista em relação às decisões automatizadas como uma salvaguarda adicional para os casos em que a regra geral da proibição do processamento automatizado é derrotada pelas exceções elencadas no art. 22 (2). Exsurge aí a grande diferença do direito comparado: enquanto na União Europeia existe proibição do titular de dados ser submetido a decisão tomada exclusivamente com base no tratamento automatizado, no direito brasileiro a LGPD prevê a explicação como principal mecanismo de proteção. Ou seja, enquanto no ordenamento europeu o titular de dados possui um direito a não ser submetido à decisão exclusivamente automatizada, incluindo as definições de perfil, a LGPD, adotando prática diversa, não proíbe que o titular de dados seja submetido à decisão automatizada, incluindo também nestes casos a definição de perfil, mas oportuniza ao titular um conjunto de direitos decorrentes desse tratamento.

Quanto à natureza da informação a ser apresentada ao titular de dados, a LGPD, embora similar ao RGPD, não traz explícita em seu texto a necessidade de conhecimento sobre a lógica subjacente, mas apenas em relação aos critérios e procedimentos utilizados, o que poderá trazer dúvidas quanto à necessidade de apresentação de funcionamento do sistema algorítmico da decisão como uma efetividade da explicação ex ante, o que da mesma forma seria insuficiente nos casos de sistemas de aprendizagem das máquinas.

Outro fator relevante é que, no texto original da LGPD aprovado pelo Congresso Nacional, havia a previsão explícita de que a revisão, ou o denominado direito à explicação, deveria ser realizada por pessoa natural, texto que foi suprimido e posteriormente reincluído no § 3º do art. 20, que mesmo assim foi objeto de veto presidencial, trazendo a necessidade de uma interpretação extensiva do direito à explicação com objetivo de proporcionar uma proteção mais ampla aos interesses juridicamente tutelados dos titulares de dados.

Embora retirada parte do texto acerca da necessidade de revisão humana da decisão automatizada, não há como discordar que o art. 20 da LGPD foi a consagração da diretriz da explicabilidade e da sua vinculação ao princípio da motivação decisória algorítmica, traduzindo-se também como uma espécie de extensão da fundamentação para o universo das decisões artificiais.

O respaldo legal do direito à explicação no direito brasileiro também se consolida com a interpretação extensiva da base principiológica da Lei Geral de Proteção de Dados, em especial o princípio da transparência, que garante aos titulares de dados informações claras, precisas e facilmente acessíveis sobre a realização do tratamento e os respectivos agentes de tratamento, observados os segredos comercial e industrial. Tais informações devem ser capazes de combater a opacidade no processo de coleta e tratamento de dados pessoais nas decisões algorítmicas, evitando-se justificativas fundadas na suposta impossibilidade de demonstrar os fundamentos das decisões, principalmente quando se tratam de mecanismos de utilização do sistema de inteligência artificial denominado Machine Learning.

A imperatividade da explicação nada mais é do que a condição de eficácia do princípio da transparência em uma interpretação sistemática da Lei Geral de Proteção de Dados, que deve ser garantida ex ante (quanto trata da funcionalidade do sistema) e também ex post (ao versar sobre os fundamentos da decisão). A explicabilidade garante a revelação dos motivos da decisão algorítmica, significando um requisito de efetividade da contestação e do recurso contra a decisão artificial suspeita de afrontar os princípios e valores fundamentais. É garantia do princípio da motivação26 explícita, clara e congruente27.

O fato é que as decisões automatizadas, no âmbito da esfera administrativa e quando não se tratem apenas de definição de perfil, estão sujeitas aos requisitos legais gerais do direito administrativo e submetidas à plena sindicabilidade, com a devida observância dos princípios, como o da transparência, uma vez que se revestem dos mesmos atributos do ato administrativo.

Nesse contexto é que a Plenária da I Jornada de Direito Administrativo do Conselho de Justiça Federal aprovou, em agosto de 2020, o seguinte enunciado: “A decisão administrativa robótica deve ser suficientemente motivada, sendo a sua opacidade motivo de invalidação28.

O questionamento a ser feito é se as medidas existentes na LGPD sobre o direito à explicação terão o alcance necessário para impedir decisões automatizadas maculadas pela opacidade e sem motivação clara e congruente, impedindo também a prática de decisões algorítmicas discriminatórias. Também deve ser objeto de questionamento a real efetividade da norma ao atribuir excesso de discricionariedade à Autoridade Nacional de Proteção de Dados (ANPD) quando da negativa de fornecimento de informações pelo controlador ao titular de dados, uma vez que o § 2º do art. 20 não obriga a ANPD a realizar auditoria em caso de não oferecimento de informações, mas apenas possibilita29.

Um dos grandes objetivos da LGPD, além de preservar a possibilidade do uso de novas tecnologias e permitir inovações, é também evitar a discriminação algorítmica, onde se utilizam características generalizadas de um grupo para avaliar a totalidade dos indivíduos, o que é uma forma de discriminação. Isso porque os agentes ainda precisam tomar grandes decisões quando do tratamento desses dados e, consequentemente, tendem a utilizar características facilmente observáveis, como gênero, raça e orientação sexual enquanto proxies para as características produtivas algorítmicas.

Dessa forma, a revisão humana parece ser imprescindível para a verdadeira eficácia do direito à explicação, de forma que as decisões algorítmicas possam ser revertidas independentemente de falhas no sistema de IA, em que a última instância deve ser recomendavelmente humana.

5. REVISÃO HUMANA DA DECISÃO AUTOMATIZADA

A LGPD consagra a possibilidade de revisão das decisões tomadas unicamente com base em tratamento automatizado de dados pessoais. Tal revisão, portanto, não necessariamente deve ser humana, o que se pode concluir com a retirada da intervenção humana do texto original.

O texto original, ao contrário da legislação europeia, aliava a intervenção humana ao direito de revisão, enquanto no ordenamento europeu a intervenção humana quebra a proibição de tratamento de dados automatizados.

Na atual redação, embora não exista previsão de revisão humana, também não há vedação, o que faz crer que a revisão humana seja o padrão estabelecido, reforçando um dos objetivos da lei, que é proteger os dados e elevar o titular ao papel de detentor direto de decidir sobre fornecer ou não seus dados para tratamento, bem como uma maior confiança no próprio tratamento, automatizado ou não.

Nessa linha de raciocínio, Freitas30 sugere uma tábua de diretrizes ético-jurídicas para ser utilizada como filtro vinculante da regulação do uso da inteligência artificial nas decisões automatizadas. Dentre as diretrizes que o autor sugere, a indelegabilidade da decisão intrinsecamente humana merece destaque pela relação direta e oponível à discriminação algorítmica. Com base no que preceitua, aparecem na referida tábula situações inequívocas de indelegabilidades decisórias: (a) as hipóteses em que a decisão requer a presença das virtudes entrelaçadas à justiça e à compaixão; (b) as hipóteses em que a aquiescência da possível vítima da decisão algorítmica se revelar antijurídica, como pode suceder no campo sancionatório; e (c) as hipóteses em que a pontual delegação bloquearia a interligação ecossistêmica equilibrada, travando a marcha evolutiva natural da humanidade.

Quando decisões automatizadas são tomadas pela administração pública, regras adicionais devem ser observadas, como exemplo a nova regulamentação da Alemanha, que deixa claro que o legislador continua confiando nas decisões humanas e não permite decisões automatizadas, considerando o fator humano indispensável para o preenchimento de espaços de opção. Os atos administrativos emitidos inteiramente por meios automáticos são limitados aos casos de inexistência de discrição nem possibilidade de avaliação31.

Na mesma tábula sugerida está elencada a supervisão humana em todas as etapas da inteligência artificial, destacando o sopesamento dos impactos diante do potencial discriminatório do algoritmo. Não só no sopesamento, mas também a supervisão humana contribui para evitar o enviesamento das decisões automatizadas e sua consequente caracterização discriminatória32.

Como orientação ética convergente ao que aqui se expõe, a União Europeia arrolou como imperativos éticos: i) respeito à autonomia humana; ii) prevenção de danos; iii) equidade; e iv) explicabilidade33.

A explicabilidade por meio de revisão humana, em especial destaque, é crucial para se criar e manter a confiança dos utilizadores nos sistemas de inteligência artificial, emanando a transparência dos processos de decisões algorítmicas, visando reprimir preconceitos humanos e sociais capazes de ter seus efeitos multiplicados, quando se tratar de decisões automatizadas. A função primordial das decisões automatizadas é tornar o processo o mais imparcial possível, com base na eliminação da subjetividade das decisões humanas, desde que, repita-se, a presença humana seja utilizada como última instância de supervisão da decisão algorítmica com liberdade de reversão.

O direito à explicação, por meio de revisão humana, parece ser essencial para se vislumbrar com clareza o trajeto das decisões algorítmicas e os potenciais erros presentes no processo de tomada de decisão por inteligência artificial, de modo a possibilitar que a IA se torne cada vez mais segura em suas relações entre máquina e o homem, colaborando para decisões imparciais aptas a serem supervisionadas e alteradas durante o projeto ou funcionamento.

6 CONSIDERAÇÕES FINAIS

O direito à explicação é necessário não só para a garantia do controle de dados pelo titular, mas também para a defesa da marcha humana, em que a discriminação deve ser combatida em todas as etapas das decisões automatizadas que afetem os direitos de liberdade do titular de dados. Ou seja, tudo que pode ser alcançado por meio de um grau de automatização merece uma explicação recomendavelmente humana.

No direito europeu, há uma proibição de decisões tomadas exclusivamente com base no tratamento automatizado de dados, sendo que o direito à explicação é previsto implicitamente como uma medida adequada para salvaguardar os direitos de liberdade e legítimos interesses do titular de dados, resguardando o direito de obter uma intervenção humana, manifestar o seu ponto de vista e contestar a decisão. Esse entendimento se dá com base na interpretação sistemática do RGPD, no qual se garante o direito à explicação ex ante, da lógica subjacente do sistema utilizado para a decisão automatizada, e ex post, quando da garantia das salvaguardas acima mencionadas.

De forma distinta, no ordenamento brasileiro trouxe o direito de revisão como principal mecanismo de proteção, no qual se oportuniza ao titular um conjunto de direitos decorrentes desse tratamento. Ocorre que o texto original da Lei Geral de Proteção de Dados brasileira retirou a necessidade de revisão da pessoa natural.

Independentemente disso, há uma espécie de convergência da necessidade de que essa revisão ocorra por meio de intervenção humana, sempre com possibilidade de reversão, além de ser preservada a impossibilidade desse tipo de decisão em casos em que há discrição ou possibilidade de julgamentos, por exemplo, nas medidas sancionatórias.

Por fim, como resultado do presente estudo, conclui-se que não há expressamente, no direito brasileiro, o direito à explicação da decisão automatizada, como ocorre no direito europeu, mas apenas a possibilidade de revisão, não humana, da decisão tomada unicamente com base em tratamento automatizado de dados pessoais.

REFERÊNCIAS

AGUILAR VIANA, Ana Cristina, FERREIRA DE MIRANDA, Carolina, “Perfil algorítmico e discriminação digital: uma leitura a partir das normas europeias e brasileiras” in WACHOWSKI, Marcos, Proteção de dados pessoais em perspectiva: LGPD e RGPD na ótica do direito comparado, Curitiba, Gedai/UFPR, 2020, p. 441-504. Disponível em: <Disponível em: https://www.gedai.com.br/wp-content/uploads/2020/11/Protecao-de-dados-pessoais-em-perspectiva_ebook.pdf >. Acesso em: 29 nov. 2020. [ Links ]

BIONI, Bruno, LEITE MONTEIRO, Renato, OLIVEIRA, Maria Cecília, GDPR Matchup: Brazil’s General Data Protection LAW, International Association of Privacy Professionals, 2018. Disponível em: <Disponível em: https://iapp.org/news/a/gdpr-matchup-brazils-general-data-protection-law/ >. Acesso em: 23 maio 2021. [ Links ]

BRASIL, Constituição da República Federativa do Brasil: promulgada em 5 de outubro de 1988, compilado até a Emenda Constitucional nº 106/2020, Brasília, Senado Federal, 2020. [ Links ]

BRASIL, Lei 13.709, 14 de agosto de 2018, Institui a Lei Geral de Proteção de Dados Pessoais, Diário Oficial da União, Brasília, DF, 15.08.2018. Disponível em: <Disponível em: http://www.planalto.gov.br/ccivil_03/_ato2015-2018/2018/lei/l13709.htm >. Acesso em: 23 maio 2021. [ Links ]

BRASIL, Lei 12.414, de 09 de junho de 2011, Disciplina a formação e consulta a bancos de dados com informações de adimplemento, de pessoas naturais ou de pessoas jurídicas, para formação de histórico de crédito, Diário Oficial da União , Brasília, DF, 10.06.2011. Disponível em: <Disponível em: http://www.planalto.gov.br/ccivil_03/_ato2011-2014/2011/lei/l12414.htm >. Acesso em: 30 maio 2021. [ Links ]

BRASIL, Senado Federal, Projeto de Lei 4.496, de 15.08.2019, Altera a Lei 13.709, de 14 de agosto de 2018 (Lei Geral de Proteção de Dados Pessoais - LGPD), para definir a expressão “decisão automatizada”, Brasília, Senado Federal, 2019. Disponível em: <Disponível em: https://www25.senado.leg.br/web/atividade/materias/-/materia/138136 >. Acesso em: 23 maio 2021. [ Links ]

BRASIL, Lei 12.414, de 09 de junho de 2011, Projeto de Lei 4.496, de 15 de agosto de 2019, Altera a Lei 13.709, de 14 de agosto de 2018 (Lei Geral de Proteção de Dados Pessoais - LGPD), para definir a expressão “decisão automatizada”, Brasília, Senado Federal, 2019. Disponível em: <Disponível em: https://www25.senado.leg.br/web/atividade/materias/-/materia/138136 >. Acesso em: 23 maio 2021. [ Links ]

COMISSÃO EUROPEIA, Orientações éticas para uma IA de confiança, Bruxelas, Comissão Europeia, 2019. Disponível em: <Disponível em: https://op.europa.eu/en/publication-detail/-/publication/d3988569-0434-11ea-8c1f-01aa75ed71a1/language-pt/format-PDF >. Acesso em: 29 nov. 2020. [ Links ]

DONEDA, Danilo et al., orgs., Tratado de Proteção de Dados Pessoais, Rio de Janeiro, Forense, 2021. [ Links ]

FREITAS, Juarez, FREITAS, Thomas Bellini, Direito e inteligência artificial: em defesa do humano, Belo Horizonte, Fórum, 2020. [ Links ]

HOFFMANN-RIEM, Wolfgang, Teoria geral do direito digital: transformação digital: desafios para o direito, Rio de Janeiro, Forense , 2021. [ Links ]

I JORNADA de Direito Administrativo aprova 40 enunciados, Conselho da Justiça Federal, 10.08.2020. Disponível em: <Disponível em: https://www.cjf.jus.br/cjf/noticias/2020/08-agosto/i-jornada-de-direito-administrativo-aprova-40-enunciados >. Acesso em: 12 maio 2021. [ Links ]

RUARO, Regina Linden, SARLET, Gabrielle, “O direito fundamental à proteção de dados sensíveis no sistema normativo brasileiro: uma análise acerca das hipóteses de tratamento e da obrigatoriedade do consentimento livre, esclarecido e informado sob o enfoque da Lei Geral de Proteção de Dados (LGPD)” in DONEDA, Danilo et al., orgs., Tratado de Proteção de Dados Pessoais , São Paulo, Grupo Gen, 2020, p. 177-191. [ Links ]

SCHERTEL MENDES, Laura, MATTIUZZO, Marcela, “Discriminação algorítmica: conceito, fundamento legal e tipologia”,Direito Público, Porto Alegre, v. 16, n. 90, p. 38-64, dez. 2019. Disponível em: <Disponível em: https://portal.idp.emnuvens.com.br/direitopublico/article/view/3766 >. Acesso em: 29 nov. 2020. [ Links ]

SOUZA, Carlos Affonso, PERRONE, Christian, MAGRANI, Eduardo, “O direito à explicação entre a experiência europeia e a sua positivação na LGPD” in DONEDA, Danilo et al., Tratado de Proteção de Dados Pessoais , Rio de Janeiro, Forense , 2021, p. 243-270. [ Links ]

UNIÃO EUROPEIA, Regulação (EU) 2016/79, Parlamento Europeu e do Conselho Europeu de 27 de abril de 2016 relativo à proteção das pessoas singulares no que diz respeito ao tratamento de dados pessoais e à livre circulação desses dados e que revoga a Diretiva 95/46/CE (Regulamento Geral sobre a Proteção de Dados), Directiva 95/46/CE do Parlamento Europeu e do Conselho Europeu, de 24 de outubro de 1955. Disponível em: <Disponível em: https://eur-lex.europa.eu/legal-content/PT/LSU/?uri=celex:31995L00 46>. Acesso em: 31 out. 2019. [ Links ]

VEIGA, Fábio da Silva, BRITO, Paulo de, PIERDONÁ, Zélia Luiza, Future Law, Porto, Instituto Iberoamericano de Estudos Jurídicos e Universidade Lusófona do Porto, 2021, v. 2. [ Links ]

1Mestranda em Direito pela Pontifícia Universidade Católica do Rio Grande do Sul - PUC/RS. Especialista em Direito Processual Civil pela Academia Brasileira de Direito Processual Civil - ABDPC. Procuradora do Ministério Público de Contas do Rio Grande do Sul. E-mail: danitoniazzo@terra.com.br; Lattes: http://lattes.cnpq.br/6257252084634239

2Mestrando em Direito pela Pontifícia Universidade Católica do Rio Grande do Sul - PUCRS. Especialista em Direito do Estado pela Universidade Federal do Rio Grande do Sul - UFRGS. Especialista em Direito Tributário pelo Instituto Brasileiro de Direito Tributário - IBET. Advogado e Consultor em Direito Público. E-mail: tales@tbarbosa.com.br; Lattes: http://lattes.cnpq.br/0348263639766304

3Professora titular e Decana Associada da Escola de Direito da Pontifícia Universidade Católica do Rio Grande do Sul - PUCRS. Procuradora Federal/AGU aposentada. Doutora em Direito pela Universidad Complutense de Madrid (1993 com título revalidado pela UFRGS em 1994) e Pós-Doutora pela Universidad San Pablo - CEU de Madri (2006/2008). E-mail: ruaro@pucrs.br; Lattes: http://lattes.cnpq.br/8023231740817826

4Regina Ruaro e Gabrielle Sarlet, refletindo sobre os reflexo da IA nas relações de consumo, apontam que “Um dos principais desafios que se impõe, portanto, é a análise do giro copernicano imposto pela realidade aumentada, pela virtualização, pela personificação de robôs e de avatares, pela invenção de novas trocas simbólicas, pela superexposição da vida privada nas redes sociais, pelo excesso de informações, em particular de informações pessoais de caráter identitário e a consequente discriminação algorítmica, pela reestruturação das transações comerciais e pela necessidade de respostas rápidas e precisas que não encontram precedente algum na civilização ocidental e que determinam o apelo inclusive por uma nova modalidade de juridicização, ou seja, advindos inclusive dos reflexos da digitalização da identidade e, consequentemente, demandam um redimensionamento da efetiva proteção da personalidade no ambiente digital”. RUARO, Regina Linden, SARLET, Gabrielle, “O direito fundamental à proteção de dados sensíveis no sistema normativo brasileiro: uma análise acerca das hipóteses de tratamento e da obrigatoriedade do consentimento livre, esclarecido e informado sob o enfoque da Lei Geral de Proteção de Dados (LGPD)”, in DONEDA, Danilo et al., orgs., Tratado de Proteção de Dados Pessoais, São Paulo, Grupo Gen, 2020, p. 177-191.

5A lei do processo administrativo da Alemanha inseriu normas relativas a esse assunto, com efeito a partir de 01.01.2017.

7Art. 20. O titular dos dados tem direito a solicitar a revisão de decisões tomadas unicamente com base em tratamento automatizado de dados pessoais que afetem seus interesses, incluídas as decisões destinadas a definir o seu perfil pessoal, profissional, de consumo e de crédito ou os aspectos de sua personalidade ”.

8GDPR, art. 4(4) “Definição de perfis”, qualquer forma de tratamento automatizado de dados pessoais que consista em utilizar esses dados para avaliar certos aspectos pessoais de uma pessoa singular, nomeadamente para analisar ou prever aspectos relacionados ao seu desempenho profissional, à sua situação econômica, saúde, preferências pessoais, interesses, fiabilidade, comportamento, localização ou deslocações.

9GDPR, art. 4(4) “Definição de perfis”, qualquer forma de tratamento automatizado de dados pessoais que consista em utilizar esses dados para avaliar certos aspectos pessoais de uma pessoa singular, nomeadamente para analisar ou prever aspectos relacionados ao seu desempenho profissional, à sua situação econômica, saúde, preferências pessoais, interesses, fiabilidade, comportamento, localização ou deslocações.

12Diretiva 95/46/CE sobre Proteção de Dados Pessoais, art. 15. Decisões individuais automatizadas 1. Os Estados-membros reconhecerão a qualquer pessoa o direito de não ficar sujeita a uma decisão que produza efeitos na sua esfera jurídica ou que a afecte de modo significativo, tomada exclusivamente com base num tratamento automatizado de dados destinado a avaliar determinados aspectos da sua personalidade, como por exemplo a sua capacidade profissional, o seu crédito, confiança de que é merecedora, comportamento.

13Diretiva 95/46/CE sobre Proteção de Dados Pessoais, art. 12º. Direito de acesso: - o conhecimento da lógica subjacente ao tratamento automatizado dos dados que lhe digam respeito, pelo menos no que se refere às decisões automatizadas referidas no nº 1 do art. 15º.

14Regulamento (EU) 2016/679 do Parlamento Europeu e do Conselho. Art. 22. Decisões individuais automatizadas, incluindo definição de perfis.

15O Grupo de Trabalho para a Proteção das Pessoas no que diz respeito ao Tratamento de Dados Pessoais. A composição e finalidade do art. 29. O WP foi estabelecido no art. 29 da Diretiva de Proteção de Dados (Diretiva 95/46/CE) e foi lançado em 1996.

16No entanto, a tomada de decisões com base nesse tratamento, incluindo a definição de perfis, deverá ser permitida se expressamente autorizada pelo direito da União ou dos Estados-Membros (...), ou se for necessária para a celebração ou execução de um contrato (...), ou mediante o consentimento explícito do titular.

172. O n° 1 não se aplica se a decisão: a) For necessária para a celebração ou a execução de um contrato entre o titular dos dados e um responsável pelo tratamento; b) For autorizada pelo direito da União ou do Estado-Membro a que o responsável pelo tratamento estiver sujeito, e na qual estejam igualmente previstas medidas adequadas para salvaguardar os direitos e liberdades e os legítimos interesses do titular dos dados; ou c) For baseada no consentimento explícito do titular dos dados.

20Regulamento (EU) 2016/679 do Parlamento Europeu e do Conselho Art. 22. Decisões individuais automatizadas, incluindo definição de perfis. 3. Nos casos aos quais se referem o n. 2, alíneas a) e c), o responsável pelo tratamento aplica medidas adequadas para salvaguardar os direitos e liberdades e legítimos interesses do titular dos dados, designadamente o direito de, pelo menos, obter intervenção humana por parte do responsável, manifestar o seu ponto de vista e contestar a decisão.

21Art. 13. Informações a facultar quando os dados pessoais são recolhidos junto do titular. 2. Para além das informações referidas no n. 1, aquando da recolha dos dados pessoais, o responsável pelo tratamento fornece ao titular as seguintes informações adicionais, necessárias para garantir um tratamentoequitativo e transparente: f) A existência de decisões automatizadas, incluindo a definição de perfis, referida no art. 22º, n. 1 e 4, e, pelo menos nesses casos, informações úteis relativas à lógica subjacente, bem como a importância e as consequências previstas de tal tratamento para o titular dos dados.

22Art. 14. Informações a facultar quando os dados pessoais não são recolhidos junto do titular. g) A existência de decisões automatizadas, incluindo a definição de perfis, referida no art. 22º, n.os1 e 4, e, pelo menos nesses casos, informações úteis relativas à lógica subjacente, bem como a importância e as consequências previstas de tal tratamento para o titular dos dados.

23Art. 15. Direito de acesso do titular de dados. 1. O titular dos dados tem o direito de obter do responsável pelo tratamento a confirmação de que os dados pessoais que lhe digam respeito são ou não objeto de tratamento e, se for esse o caso, o direito de aceder aos seus dados pessoais e às seguintes informações: h) A existência de decisões automatizadas, incluindo a definição de perfis, referida no art. 22º, n.os1 e 4, e, pelo menos nesses casos, informações úteis relativas à lógica subjacente, bem como a importância e as consequências previstas de tal tratamento para o titular dos dados.

24Art. 5º São direitos do cadastrado: IV - conhecer os principais elementos e critérios considerados para a análise de risco, resguardado o segredo empresarial; VI - solicitar ao consulente a revisão de decisão realizada exclusivamente por meios automatizados.

26Vide, referente às decisões administrativas, art. 50, da Lei 9.784/1999.

28I Jornada de Direito Administrativo aprova 40 enunciados. Conselho da Justiça Federal, 10 ago. 2020. Disponível em: <https://www.cjf.jus.br/cjf/noticias/2020/08-agosto/i-jornada-de-direito-administrativo-aprova-40-enunciados>. Acesso em: 12 maio 2021.

29§ 2º Em caso de não oferecimento de informações de que trata o § 1º deste artigo baseado na observância de segredo comercial e industrial, a autoridade nacional poderá realizar auditoria para verificação de aspectos discriminatórios em tratamento automatizado de dados pessoais.

Recebido: 24 de Junho de 2021; Aceito: 27 de Julho de 2021

Creative Commons License Este é um artigo publicado em acesso aberto sob uma licença Creative Commons