A revolução tecnológica verificada nos últimos anos trouxe à tona uma série de novas dinâmicas de mercado que ainda não foram objeto de satisfatória avaliação e regulação, e que demandam do aplicador jurídico o desafio da adaptação cada vez mais frequente de textos normativos analógicos a uma nova realidade social cada vez mais digital e impactada pela introdução de novas aplicações de inteligência artificial.

É incontestável que os algoritmos vêm assumindo vasta participação numa série de atividades no campo negocial. Exsurge um novo paradigma operacional, com máquinas programadas para tomar decisões e assumir posturas típicas de indivíduos. Sistemas decidem como serão feitos os investimentos de um banco, negócios jurídicos são firmados por meio de softwares desenvolvidos em conjunto com sistemas de reconhecimento facial. Cada vez mais tomamos decisões sobre o que vamos consumir (livros, música, filmes) com base em sugestões que nos são apresentadas por aplicações que inteligência artificial criadas para traçar perfis de comportamento.

Antes de prosseguirmos com algumas reflexões acerca de como a tecnologia vem impactando no campo contratual, é preciso estabelecer, o que se entende por uma aplicação de inteligência artificial (IA). Há quem os defina como “um sistema computacional com capacidade de decisão, agindo de forma autônoma a partir de suas capacidades de comunicação com outros agentes e/ou humanos para desempenhar a sua função específica1”.

São, em síntese, agentes com certo grau de autonomia, reatividade e proatividade. Jerry Kaplan argumenta que a essência da inteligência artificial, na verdade, a essência da inteligência, é a capacidade de fazer generalizações apropriadas em tempo hábil, com base em dados limitados2, consoante previsto em sua programação inicial.

Um dos grandes obstáculos à melhor compreensão do tema objeto deste estudo é a dificuldade de lidar com conceitos e ideias de outros campos do saber, que exigem daqueles que se dedicam à pesquisa jurídica atenção com a terminologia empregada. A inteligência artificial muitas vezes se utiliza de algoritmos, ferramenta que pode ser compreendida como uma sequência de etapas utilizada pela inteligência artificial para solucionar um problema ou realizar uma atividade, cruzando dados e fazendo correlações em busca de um padrão3.

 Os algoritmos, por sua vez, podem atuar por meio de machine learning, que é, essencialmente, a atividade da máquina de aprender novos fatos por meio da análise dos dados e da experiência prévia, sem programação explícita para tanto, adaptando a aprendizagem a novas situações4.

Tais tecnologias se alimentam de um combustível essencial: dados. É nesse contexto que assume relevância a expressão Big Data, compreendida como um grande conjunto de dados, cada vez mais alimentado graças à presença de dispositivos sensores na vida cotidiana e ao crescente número de indivíduos conectados a essas tecnologias por meio de redes digitais5. Acumulam-se informações sobre tudo e sobre todos, 24 horas por dia, sete dias por semana, tudo armazenado, catalogado e pronto para ser minerado de acordo com os objetivos dos agentes de tratamento de dados.

A revolução tecnológica tem desafiado o entendimento da dinâmica dos contratos e ensejado questionamentos acerca dos novos arranjos firmados. Se tradicionalmente compreendemos os contratos como negócios jurídicos de “autocomposição dos interesses e da realização pacífica das transações ou do tráfico jurídico, no cotidiano de cada pessoa”6. Precisamos nos aprofundar nos contratos ditos “algorítmicos”, tipo de arranjo negocial nos quais uma ou mais partes usa(m) um algoritmo para determinar se deve(m) ou não se vincular7, isto é, contratos com termos que podem ser determinados com bases em critérios sugeridos ou avaliados pelo algoritmo8.

O smart contract,  um tipo de contrato algorítmico, pode ser compreendido como um contrato autoexecutável aplicável a diferentes tipos de situações, regido por códigos específicos, que permite que as partes possam acordar entre si a negociação de bens e valores, executado de forma automática assim que as condições contratuais previamente definidas se cumprirem9. Não se confundem com os contratos eletrônicos, compreendidos como aqueles em que a proposta e a aceitação são realizadas por meio de sistemas de processamento de dados10, sem interatividade física entre as partes.

Trata-se, assim, de contratos muitas vezes baseados na conduta negocial típica que induz a uma relação contratual, relativizando a exigência de aferição da capacidade civil dos envolvidos, mas sem que nenhum mecanismo explícito de oferta e aceitação tome espaço, o que mitiga a clássica ideia do consentimento de vontades, necessário para a concretização de um contrato. Nesse contexto, a teoria canandense do reliance estabelece que a adequação do negócio jurídico não depende de uma vontade interna do declarante, mas de sua conduta, que enseja a criação de confiança e leva o contratante a crer que houve assunção de uma obrigação11.

Não obstante a evidente e inquestionável utilidade social decorrente do desenvolvimento de tecnologias de inteligência artificial, são também inúmeras as possibilidades de eclosão de danos em uma sociedade pós-moderna marcada pelo risco de sua utilização. A programação, vale dizer, o código algorítimo, não pode se sobrepor a direitos e garantias fundamentais, entre os quais podemos destacar o respeito à dignidade humana e a exigência de solidariedade social nos relacionamentos entre particulares, não importando a sua natureza.

E não nos esqueçamos das questões relativas à transparência, num mundo no qual cada vez mais se ressalta a necessidade de accountability. O receio acerca do avanço da inteligência artificial também é fomentado pela ausência de conhecimento exato de como essas máquinas funcionam. A preocupação com a black box da IA é tão crescente que novas pesquisas têm sido feitas sob a denominação de Explainable Artificial Intelligence (XAI)12, ramo que visa fazer com que a IA vá alem da solução de problemas e que também seja capaz de trazer dados que possam elucidar como suas soluções são tomadas.

Se temos máquinas que são programadas para pensar e se comportar como seres humanos, emulando o modo de comunicação e as nossas reações, não podemos esquecer que estamos diante de um produto de ações de programadores e empresas sujeitas ao ordenamento jurídico em vigor. Dito de outro modo, limitações tecnológicas não podem ser utilizadas como excludentes do dever de observar direitos fundamentais dos envolvidos em todas as etapas da aplicação da inteligência artificial. 

Em sede contratual, os algoritmos podem ser utilizados tanto para fornecer informações relevantes para a pactuação do negócio jurídico como também em uma função de negociação. Nesse sentido, alguns desafios são impostos no que tange ao uso dos dados pelos algoritmos, especialmente considerando que, nesse contexto, muitas conclusões algorítmicas podem acarretar melhores condições contratuais para um dos polos da relação. Como saber que informações estão sendo utilizadas? De que forma tal informação é processada?

É nesse panorama de razoável obscuridade que exsurgem as manifestações de discriminações algorítmicas. Impende evidenciar que a ideia de discriminação algorítmica não se restringe ao cenário em que determinado indivíduo é excluído de um grupo pelo fato de possuir determinada característica, manifestando-se, também, na situação em que alguém é julgado pelas características de um grupo a que pertença, de modo que suas características individuais passam a ser desconsideradas e o sujeito passa a ser visto como um mero membro de um dado grupo13.

Nesse sentido, imagine-se a situação em que determinado indivíduo tem seu financiamento negado em razão da conclusão obtida pelo sistema de credit score, sem que nem sequer tenha conhecimento dos critérios levados a cabo pelo sistema. Ou ainda a hipótese em que determinado consumidor tem uma oferta virtual bloqueada simplesmente por estar situado em determinada cidade ou bairro, ou ainda, que tenha sua taxa de juros definida a partir de análises de dados do cadastro positivo. Esses são pequenos exemplos de como a participação algorítmica nas relações contratuais pode ensejar questionamentos e conclusões obscuras.

No mesmo trilhar, Stefano Rodotà argumenta que: 

A resposta rápida às necessidades imediatas tem realmente como efeito a igualdade substancial ou tende muito mais a congelar cada um na posição na qual se encontra, dando origem a uma discriminação bem mais forte? Se, por exemplo, se verifica que a maioria das famílias que habitam em um determinado bairro lê apenas um tipo de publicação, razões econômicas estimularão a distribuição naquela área apenas de livros e jornais correspondentes aos gostos e interesses individuados naquele momento particular. Por um lado, portanto, dá-se início a um mecanismo que pode bloquear o desenvolvimento daquela comunidade, solidificando-a no seu perfil traçado em uma situação determinada. Por outro lado, penalizam-se os poucos que não correspondem ao perfil geral, iniciando-se assim um perigoso processo de discriminação de minorias. A “categorização” de indivíduos e grupos, além disso, ameaça anular a capacidade de perceber as nuances sutis, os gostos não habituais14. 

A generalização efetuada por muitos algoritmos pode enfrentar inconsistências quando se constata que muitas características não são universalmente compartilhadas por membros de determinado conjunto de pessoas. A ideia de suprimir a individualidade de um sujeito em prol de sua mera inserção em determinado grupo é, inclusive, perspectiva que enfrenta dificuldades sob o prisma kantiano da dignidade da pessoa humana.

Sobre as discriminações algorítmicas, Laura Schertel e Marcela Mattiuzzo listam quatro das principais formas de discriminação que auxiliam na compreensão do cenário: por erro estatístico, por generalização, pelo uso de informações sensíveis e pela limitação do exercício de direitos15.

Nesse contexto, a utilização de critérios como nacionalidade, gênero, posição política, religião, idade ou identidade sexual pode acarretar uma série de discriminações por estarem relacionadas ao íntimo da personalidade de cada indivíduo, além de acirrar estereotipização de grupos e acirrar ânimos sociais.

Mas as espécies de discriminação que merecem atenção quando se estudam as consequências da utilização de algorítimos na prática negocial não se limitam aos exemplos acima apresentados, comumente relacionados a formas diretas de discriminação. É preciso aprofundar os estudos acerca das formas indiretas de discriminação, que ocorrem quando se verificam efeitos discriminatórios, vale dizer, impacto desproporcional em um grupo protegido, a partir da utilização de dados e critérios aparentemente neutros, segundo o senso comum16.

No contexto contemporâneo, a inteligência artificial assume espaço em diversos ramos e possui inúmeras funções, podendo ajudar especialistas a resolver difíceis problemas, a desenvolver novas ferramentas, a aprender por meio de exemplos e representações e a criar oportunidades de mercado, participando, também, o desenvolvimento dos contratos, em quaisquer de suas fases. Essa expansão tem acarretado severos questionamentos quando se constata que a inteligência artificial não é uma tecnologia imune a falhas e que, mesmo quando ausentes vícios em seu funcionamento, sua interferência pode acarretar resultados discriminatórios para determinado indivíduo ou grupo de pessoas.

É nesse panorama que exsurge a ideia de discriminação algorítmica, caracterizada quando determinado indivíduo é excluído de um grupo pelo fato de possuir determinada característica, manifestando-se, também, na situação em que alguém é julgado pelos aspectos de um grupo a que pertença, de modo que sua individualidade passa a ser desconsiderada e o sujeito é visto como um mero membro de um dado grupo. Deve-se então destacar algumas diretrizes axiológicas que podem nortear o emprego de tais aplicações tecnológicas em sede contratual: a necessidade de observância da explicabilidade, supervisão humana em todas as fases do processos realizados por máquinas, não discriminação, auditabilidade, prevenção dos danos e responsabilização.

A tutela do contratante vulnerável também assume destaque, devendo a interpretação dos contratos ser efetuada com base no ordenamento jurídico de forma unitária e sistemática, não importando estarmos diante de contratação analógica ou digital.  Impõe-se, portanto, a necessidade de equalizar os interesses em questão, especialmente a livre-iniciativa com a função social dos contratos e a solidariedade social, conformando as balizas que delimitam o Estado Democrático de Direito e evitando a proliferação de danos injustos e distorções nas relações contratuais.

*Marcos Ehrhardt Jr. é advogado. Doutor em Direito pela UFPE. Professor de Direito Civil da UFAL e do Centro Universitário CESMAC. Editor da Revista Fórum de Direito Civil (RFDC). Vice-presidente do Instituto Brasileiro de Direito Civil (IBDCIVIL). Membro Fundador do Instituto Brasileiro de Direito Contratual – IBDCont. 

**Gabriela Buarque Pereira Silva é mestranda em Direito Público pela UFAL. Advogada. 

Este texto foi extraído e adaptado do artigo “Contratos e algoritmos: alocação de riscos, discriminação e necessidade de supervisão por humanos”, escrito para integrar uma coletânea que tratará sobre aplicações de inteligência artificial, que ainda está em fase de elaboração, com previsão de publicação para dezembro de 2020.

1 CELLA, José Renato Gaziero. DONEDA, Danilo Cesar Maganhoto. Lógica, inteligência artificial e comércio eletrônico. Anais do XVIII Congresso Nacional do CONPEDI, São Paulo. Disponível aqui. Acesso em: 15 jun. 2020.

2 “The essence of AI- indeed the essence of intelligence- is the ability to make appropriate generalizations in a timely fashion based on limited data”.  KAPLAN, Jerry. Artificial Intelligence: What everyone needs to know. Oxford: Oxford University Press, 2016, p. 5.

3 GUTIERREZ, Andriei. É possível confiar em um sistema de inteligência artificial? Práticas em torno da melhoria da sua confiança, segurança e evidências e accountability. In: FRAZÃO, Ana. MULHOLLAND, Caitlin. Inteligência artificial e Direito: Ética, Regulação e Responsabilidade. São Paulo: Thomson Reuters Brasil, 2019, p. 85.

4 CERKA, Paulius; GRIGIENE, Jurgita; SIRBIKYTE, Gintare. Liability for damages caused by artificial intelligence. Computer Law and Security Review. United Kingdom, v. 31, p. 380.

5 ITS Rio 2016. Big Data in the Global South Project Report on the Brazilian Case Studies. Disponível aqui. Acesso em: 3 nov. 2019.

6 LÔBO, Paulo. Direito Civil: Contratos. São Paulo: Saraiva, 2011, p. 15.

7 “Algorithmic contracts are contracts in which one or more parties use an algorithm to determine whether to be bound or how to be bound”. SCHOLZ, Laura Henry. Algorithmic contracts. Stanford Technology Law Review. Vol. 20, n. 128, 2017. Disponível aqui. Acesso em: 28 jun. 2020.

8 Anote-se, neste particular, que as aplicações de inteligência artificial, na forma como descrito acima, estão sendo empregadas como instrumentos para avaliação da alocação de riscos nos contratos, v.g., projeção de cenários, aferição de contingências, entre outros aspectos. Dessa forma, geram informações que fundamentam as decisões dos contratantes, sujeitos de direito personificados (pessoas naturais ou jurídicas).

9 LAUSLAHTI, Kristian. MATTILA, Juri. SEPPALA, Timo. Smart Contracts – How will Blockchain Technology Affect Contractual Practices?” ETLA Reports. N. 68. Disponível aqui. Acesso em: 20 jun. 2020.

10 AZEREDO, João Fábio Azevedo e. Reflexos do emprego de sistemas de inteligência artificial nos contratos. 2014. 221 f. Dissertação (Mestrado em Direito Civil): Faculdade de Direito da Universidade de São Paulo, São Paulo, 2014, p. 37.

11 AZEREDO, João Fábio Azevedo e. Reflexos do emprego de sistemas de inteligência artificial nos contratos. 2014. 221 f. Dissertação (Mestrado em Direito Civil): Faculdade de Direito da Universidade de São Paulo, São Paulo, 2014, p. 120.

12 DIOP, Lamine. CUPE, Jean. Explainable AI: The data scientist’s new challenge. Disponível aqui. Acesso em: 19 nov. 2019.

13 MENDES, Laura Schertel. MATTIUZZO, Marcela. Discriminação Algorítmica: Conceito, Fundamento Legal e Tipologia. Revista de Direito da Univille. Porto Alegre, Volume 16, n. 90, 2019, 39-64, nov-dez 2019, p. 9.  Estamos diante do profiling, no qual se rotulam indivíduos (labeling), que passam a ser tratados como integrantes de um conjunto, de modo impessoal e massificado.

14 RODOTÀ, Stefano. A vida na sociedade de vigilância: a privacidade hoje. Organização, seleção e apresentação de Maria Celina Bodin de Moraes. Rio de Janeiro: Renovar, 2008, p. 83. Quanto mais informações sobre nossos hábitos de acesso, utilização e navegação na internet são mineradas, maior a possibilidade de experimentarmos uma vida digital dentro de uma “bolha”, um ambiente controlado, no qual anúncios, sugestões de filmes, livros e novas amizades são parametrizados para seus interesses, ignorando qualquer coisa que não siga determinado padrão. Isso vem provocando intensa discussão acerca do incremento, ainda que não intencional, da intolerância comportamental, sobretudo em redes sociais, pois as pessoas passam a interagir cada vez menos com pontos de vistas diferentes dos seus.

15 Sobre este tema, tratando especificamente da questão da discriminação algorítmica nos contratos de seguro, Thiago Junqueira anota que “apenas quando um tratamento desigual é baseado em critérios protegidos pelo ordenamento jurídico ocorrerá discriminação. Não obstante o catálogo aberto de signos protegidos contra a discriminação (art. 3º, inc. IV, da CF), é possível reconduzi-los a duas categorias gerais: i) características imutáveis ou alheias ao controle dos indivíduos (e.g., raça, idade, deficiência, origem, dado genético) e ii) escolhas existenciais que possuam significância social (v.g., religião e orientação sexual). Elas têm em comum a marginalização e a opressão histórica de alguns grupos substancialmente minoritários, de modo a justificarem um grau de escrutínio mais rígido para que sejam feitas generalizações – e, a partir disso, tomem-se decisões tendo-as como suporte”. (Cf. JUNQUEIRA, Thiago. Tratamento de dados pessoais e discriminação algorítmica nos seguros. São Paulo: RT, 2020, p. 380).

16 JUNQUEIRA, Thiago. Tratamento de dados pessoais e discriminação algorítmica nos seguros. São Paulo: RT, 2020, p. 383-4.