Falhas da inteligência artificial e o que eles nos ensinam sobre a tecnologia emergente

Falhas da inteligência artificial e o que eles nos ensinam sobre a tecnologia emergente

Atualmente, nos tornamos quase insensíveis à conveniência milagrosa da IA. Não ficamos surpresos quando abrimos a Netflix para encontrar feeds imediatamente e perfeitamente adaptados ao nosso gosto, e não ficamos surpresos quando a tecnologia de reconhecimento facial do Facebook escolhe nosso rosto de uma lista de fotos em grupo. Dez anos atrás, poderíamos ter dado uma desculpa educada e recuarmos rapidamente se ouvíssemos um amigo pedindo a uma pessoa invisível que diminuísse as luzes ou informasse o tempo. Agora, mal piscamos – e talvez nos perguntemos se devemos obter um Echo Dot também.

Nós nos acostumamos tanto à IA incorporando-se silenciosamente a quase todos os aspectos de nossas vidas cotidianas que paramos de ter barreiras em nossa percepção de possibilidade. Em vez de abordar novas reivindicações dos recursos da IA ​​com descrença, consideramos isso com surpresa e pensamento interessados ​​- eu poderia usar isso?

Mas o que acontece quando a IA não funciona tão bem quanto esperamos? O que acontece quando nossa fé quase ilimitada na utilidade da IA ​​é perdida, e as ferramentas de alta tecnologia em que começamos a confiar começam a quebrar sob o peso das responsabilidades que delegamos?

Vamos considerar um exemplo.

A IA não pode curar o câncer – ou pode? Um Estudo de Caso da IBM

Quando o IBM Watson estreou em 2014, encantou investidores, consumidores e entusiastas da tecnologia. Os defensores se gabaram de que os recursos de coleta de informações do Watson o tornariam um recurso inestimável para médicos que, de outra forma, não teriam tempo ou oportunidade de acompanhar o fluxo constante de conhecimento médico. Durante uma demonstração no mesmo ano, Watson deslumbrou profissionais e investidores do setor, analisando uma coleção eclética de sintomas e oferecendo uma série de diagnósticos em potencial, cada um classificado pela confiança do sistema e vinculado à literatura médica relevante. O claro conhecimento da IA ​​sobre doenças raras e sua capacidade de fornecer conclusões diagnósticas foram impressionantes e inspiradoras.

A impressão positiva de Watson estimulou o investimento. Encorajado pelo potencial da IA, o MD Anderson, um centro de câncer da Universidade do Texas, assinou um contrato de vários milhões de dólares com a IBM para aplicar os recursos de computação cognitiva de Watson à sua luta contra o câncer. O Watson for Oncology destinava-se a analisar enormes quantidades de dados de casos e fornecer novas idéias que ajudariam os médicos a fornecer um atendimento melhor e mais eficaz aos pacientes com câncer.


Infelizmente, a ferramenta não apresentou exatamente seu discurso de marketing.

Em 2017, os auditores da Universidade do Texas apresentaram um relatório cáustico, alegando que o Watson não apenas custou ao MD Anderson mais de 62 milhões de dólares, mas também não alcançou seus objetivos. Os médicos criticaram a ferramenta por sua propensão a dar maus conselhos; em um caso memorável relatado pelo Verge, a IA sugeriu que um paciente com sangramento grave recebesse um medicamento que pioraria sua condição.

Felizmente, o paciente era hipotético e nenhuma pessoa real foi ferida; no entanto, os usuários ainda estavam compreensivelmente irritados com a aparente inaptidão de Watson. Como disse um médico particularmente agressivo em um relatório para a IBM: “Este produto é um pedaço de s -. Nós o compramos para marketing e com a esperança de que você alcance a visão. Não podemos usá-lo na maioria dos casos. ”

Mas o fracasso do projeto em entregar seu hype é tudo culpa de Watson? Não exatamente.

A principal falha de Watson estava na implementação, não na tecnologia. Quando o projeto começou, os médicos inseriram dados reais do paciente como pretendido. No entanto, as diretrizes de Watson mudavam com frequência suficiente para atualizar esses casos se tornar uma tarefa árdua; logo, os usuários mudaram para exemplos hipotéticos. Isso significava que Watson só poderia fazer sugestões com base nas preferências e informações de tratamento fornecidas por alguns médicos, em vez dos dados reais de um centro de câncer inteiro, distorcendo os conselhos que fornecia.

Além disso, a capacidade da IA ​​de discernir conexões é útil apenas até certo ponto. Ele pode observar um padrão entre um paciente com uma determinada doença, sua condição e os medicamentos prescritos, mas quaisquer conclusões tiradas dessa análise seriam tênues na melhor das hipóteses. A IA não pode determinar definitivamente se um link é correlação, causa ou mera coincidência – e, portanto, corre o risco de fornecer conclusões diagnósticas sem o apoio baseado em evidências.

Dada a falta de suporte ao usuário e a escassez de informações reais, é de se surpreender que o Watson não tenha fornecido respostas inovadoras?

O que o fracasso de Watson nos ensina?

O problema de Watson é mais humano do que técnico. Existem três lições principais que podemos extrair da falha da IA:

Precisamos verificar nossas expectativas.

Tendemos a acreditar que a IA e a tecnologia emergente podem alcançar o que seus desenvolvedores dizem que podem. No entanto, como demonstra a incapacidade de Watson de separar correlação e causação, o potencial que lemos na cópia de marketing pode estar superinflado. Como usuários, precisamos ter um melhor entendimento e ceticismo das tecnologias emergentes antes de começarmos a confiar nela.


As ferramentas devem ser bem integradas.

Se os médicos tivessem sido capazes de usar a interface do Watson sem precisar revisar continuamente seus envios para obter novas diretrizes, eles poderiam ter fornecido informações mais reais do paciente e usado a ferramenta com mais frequência do que usavam. Isso, por sua vez, pode ter permitido ao Watson ser mais eficaz na função a que foi designado. Considerar as necessidades do usuário humano é tão importante quanto considerar os requisitos técnicos da ferramenta (se não mais).

Nós devemos ser cuidadosos

Se os cientistas do MD Anderson não tivessem sido tão cuidadosos, ou se tivessem seguido Watson cegamente, pacientes reais poderiam estar em risco. Nunca podemos permitir que nossa fé em uma ferramenta emergente seja tão inflada que perdemos de vista as pessoas que elas devem ajudar.

A tecnologia emergente é empolgante, sim – mas também precisamos reservar um tempo para abordar as implicações morais e práticas de como trazemos essa tecnologia aparentemente capaz para nossas vidas. No mínimo, seria sensato ser um pouco mais cético em nossa fé.