Como Saber Se Você Está Falando com um Bot

Como saber se você está conversando com um bot

Este artigo faz parte da série “Expondo Inteligência Artificial” do Lifehacker. Estamos explorando seis tipos diferentes de mídia gerada por IA e destacando as peculiaridades, subprodutos e características comuns que ajudam a diferenciar o conteúdo criado por inteligência artificial do criado por humanos.

Muitos de nós hoje em dia se comunicam por escrito. Você pode trocar mensagens com um match em um aplicativo de namoro ou entrar em contato com um representante da empresa quando precisar de serviço ao cliente, em vez de falar ao telefone com qualquer uma das partes. O problema é que você nunca sabe quem está do outro lado quando a conversa é inteiramente baseada em texto. Na verdade, você pode não estar conversando com uma pessoa.

A conversação com Inteligência Artificial evoluiu muito nos últimos anos, e a introdução de bots como o ChatGPT só acelerou a situação. Esses bots já eram difíceis de identificar antes que a IA inteligente tornasse possível imitar a linguagem humana em um grau assustador. No entanto, mesmo com essa tecnologia avançando rapidamente, ainda está longe de ser perfeita. Há algumas características de bots de conversação que você pode procurar para ajudar a determinar se a "pessoa" do outro lado da conversa é quem diz ser.

Como os bots de conversação funcionam?

Os bots de conversação modernos são alimentados por modelos de linguagem grandes (LLMs). Esses modelos são treinados em conjuntos de dados que contêm uma quantidade enorme de texto: com o tempo, o modelo aprende as relações entre as palavras e as frases, que são usadas para informar suas respostas. Quando você faz uma pergunta ao bot, ele quebra sua entrada no que acha que são as partes mais importantes, então puxa de seu treinamento para adivinhar quais palavras fazem sentido para responder. Ele não entende o que está dizendo, apenas que essa série de palavras faz sentido com base em seu conjunto de dados.

Constituindo isso, os desenvolvedores podem dar a seus bots de conversação instruções específicas sobre como responder às consultas para controlar melhor a experiência do usuário final. Isso é especialmente útil se o desenvolvedor quiser que seu bot de conversação assuma um papel específico, como um representante de serviço ao cliente: você não quer que seu representante fale sobre assuntos não relacionados à empresa, nem que ele entre em discussões com o usuário. Suas instruções, portanto, podem tornar difícil distinguir se a pessoa do outro lado é um empregado bem treinado ou um robô.

Por outro lado, talvez um desenvolvedor faça um bot de namoro, cujas instruções dizem para não capitalizar a primeira palavra de uma resposta, usar "haha" e emoticons de piscar de olhos com frequência e assumir um tom casual. De repente, você não está conversando com um clone do ChatGPT, mas com um bot que não parece tão robótico.

Enquanto fica cada vez mais difícil identificar os bots de conversação, não é impossível. Pelo contrário, há muitos sinais para procurar à medida que você continua a trocar mensagens com pessoas na internet:

Observe as escolhas de palavras estranhas

Uma versão anterior deste artigo aconselhou os leitores a procurar por expressões desajeitadas, pois os melhores bots de conversação da época eram sujeitos às complexidades estranhas da linguagem inglesa. No entanto, desde então, os modelos de linguagem grandes avançaram rapidamente e agora têm um bom domínio do inglês. Não é comum que um bot cuspa algo que o faça parecer que não entende a linguagem que está usando: ele, de fato, não entende, mas aprendeu relações suficientes entre as palavras para saber como arrumá-las de uma forma que faça sentido para os humanos.

No entanto, algumas das palavras que esses modelos decidem usar são estranhas. Como eu explico neste artigo sobre detecção de texto de IA, os modelos da OpenAI frequentemente usam uma série de palavras que não são necessariamente muito comuns em conversas casuais. Você verá coisas como "delve into", "underscores", "groundbreaking", e "tapestry", quando descrevendo conceitos, e enquanto nenhuma dessas coisas é condenatória por si só, ver essas palavras sendo usadas repetidamente pode ser um sinal de que seu "amigo" é, na verdade, alimentado por um modelo de linguagem grande.

Procure por repetições

Os bots desse tipo também tendem a ser extremamente unidimensionais. A conversa humana tende a ser fluida - os assuntos são introduzidos, deixados de lado e depois pegos novamente mais tarde. No entanto, os bots de conversação especializados são geralmente construídos para fins específicos e eles perseguirão esses fins não importa o que você faça. É apenas parte de suas instruções básicas. Se você notar que a "pessoa" com quem você está falando ou conversando continua a voltar à mesma recomendação ou solução não importa o que você diga, você pode estar lidando com um bot. Se eles literalmente repetem a mesma frase cada vez, isso é um indicador ainda mais forte, pois os humanos tendem a mudar como eles expressam as coisas - especialmente se eles sentem que não estão chegando a você.

Outra forma de repetição para procurar? Repetir sua pergunta de volta para você. Se você perguntar "Qual é a capital dos Estados Unidos?", um bot pode responder com "A capital dos Estados Unidos é Washington, D.C.", em vez de simplesmente dizer "Washington, D.C." ou "D.C. Duh". Os bots de conversação adoram incorporar parte de sua mensagem anterior em sua resposta, enquanto nossas respostas em conversas casuais tendem a ser sucintas.

Preste atenção às respostas vagas

Enquanto os bots evoluíram muito, eles ainda podem oferecer respostas vagas e sem sentido às suas perguntas, especialmente se você tentar falar sobre assuntos pesados ou sérios. Novamente, eles vão repetir o que você acabou de dizer para dar a ilusão de que estão prestando atenção. Isso é, na verdade, uma tática antiga. A "terapeuta de chat" ELIZA, desenvolvida nos anos 60, usa isso constantemente. Se você disser "Estou triste", ela responde "Há quanto tempo você está triste?". É uma construção algorítmica simples, mas oferece a ilusão de sensibilidade. Os chatbots agora são baseados em LLMs e não necessariamente são programados dessa maneira tradicional, mas suas respostas ainda podem ser um pouco úteis dependendo do assunto em questão.

Se seu amigo estiver constantemente respondendo às suas mensagens com "aconselhamentos" que parecem ter sido escritos pelo Sr. Rogers de mentira, eles podem ser um bot.

Note a velocidade da resposta

Outro sinal de que você está lidando com IA é a velocidade de suas respostas. Os bots podem gerar respostas muito mais rápido do que os humanos. Se você já pediu ao ChatGPT para escrever um ensaio, pode ver o quão rápido esses modelos são capazes de gerar texto. Se as conversas voltam para você instantaneamente, ou a outra parte é capaz de lhe dar informações instantaneamente que um humano deveria razoavelmente ter que tomar algum tempo para procurar, você está lidando com um bot ou o melhor atendente de serviço ao cliente do universo.

Eles estão sempre disponíveis?

Não é apenas a velocidade da resposta, também. Ao contrário dos humanos, os bots estão sempre disponíveis para conversar - dia e noite. Se a "pessoa" com quem você está conversando sempre parece disposta a conversar, não importa a hora do dia, isso é um grande sinal de alerta. Claro, há pessoas constantemente em seus telefones, mas todos nós tiramos uma folga em algum ponto. Observe se seu parceiro de conversa alguma vez o deixa na espera, ou se cada e qualquer mensagem que você enviar a eles é seguida por uma resposta rápida.

A outra "pessoa" é um pouco demais?

Os chatbots são projetados para ser úteis na tarefa que lhes é atribuída. Por algum motivo, eles muitas vezes interpretam essa tarefa como ser excessivamente amigável e ansioso para agradar, o que parece estranho. Esses bots sempre estão "felizes em ajudar com qualquer coisa de que você precise", sentem muito por você sempre que algo está errado e querem que você saiba "que eles entendem". Enquanto é bom ser empático, a maioria das pessoas não cai no chão para provar isso com quase todas as mensagens. Quando se trata de enviar mensagens por texto, abrace o ceticismo.

Eles cometem os erros errados

Os chatbots modernos não cometem erros de ortografia ou gramática: eles simplesmente não são treinados para isso. Novamente, eles estão escolhendo palavras com base na ordem que faz sentido em seu treinamento, o que será gramaticalmente correto. Essas palavras também estarão todas corretas, então eles não são treinados para fazer erros de digitação. Os digitadores humanos, por outro lado, erram o tempo todo. Com que frequência você tem uma conversa por texto em que a outra pessoa não comete pelo menos um erro de digitação? independentemente de você reconhecer ou não, a ortografia e a gramática perfeitas o tempo todo são um sinal de alerta.

No entanto, isso não significa que os bots são perfeitos. Enquanto sua sintaxe pode ser excelente, eles podem apenas inventar coisas. Chamamos isso de alucinação, e todos os AI fazem isso às vezes. Se você notar que seu parceiro está inventando fatos e insistindo neles, eles podem ser um bot, ou apenas muito teimoso em sua ignorância.

Faça um "Louco Ivan"

Se você suspeitar que está lidando com um bot, mas não tem certeza, há um teste que você pode fazer. No filme A Caça ao Outubro Vermelho, o capitão do submarino russo interpretado por Sean Connery é conhecido por fazer "Loucos Ivans" enquanto navega sob a água - virando seu barco de repente para ver se um submarino inimigo está escondido em sua esteira. Esse tipo de movimento surpresa pode desestabilizar um AI também.

Enquanto a IA conversacional tornou-se extremamente sofisticada e pode ser difícil dizer de uma interação breve que você não está falando com uma pessoa, os bots ainda têm dificuldade com não sequiturs. Isso é especialmente verdadeiro com emoções e relacionamentos humanos. No meio da conversa, pergunte ao seu suposto bot sobre sua família, ou diga que você está deprimido, apenas para ver a reação. No passado, esse tipo de interrupção poderia quebrar a personalidade do bot, mas os chatbots são inteligentes o suficiente hoje para ao menos incorporar a pergunta fora do tópico em sua resposta. Ainda assim, isso pode revelar sua natureza LLM: um bot pode dizer "Oh não! Sinto muito em saber que você está deprimido. Mas vamos ficar no assunto..." ou mergulhar em uma longa série de sugestões para lidar com sua suposta depressão, respostas que não são exatamente o que você esperaria de um conversador humano.

Há uma série de movimentos "Louco Ivan" que você pode fazer aqui. Meu favorito pessoal? Mudar o idioma da conversa. Diga ao seu "amigo" que você preferiria continuar a conversa em outro idioma. Você pode até sugerir que o amigo mencionado que eles são fluentes nesse idioma, mesmo que eles nunca tenham feito isso. Uma pessoa real reagiria com confusão, enquanto um bot pode pular na chance de ajudar você. "Claro, vamos mudar para o islandês! Hvað viltu ræða um?". Eu até encontrei que, mesmo que o bot lute contra a mudança de idioma, eles ainda podem responder a perguntas em outro idioma como se você tivesse perguntado em inglês.

Claro, se estiver realmente conversando com uma pessoa real, esses truques do "Louco Ivan" vão mesmo assustá-la. Estude essa reação: uma reação de "cara... que merda" pode ser tudo o que precisa para saber que eles são 100% humanos.

A introdução de chatbots avançados como o ChatGPT tornou ainda mais difícil distinguir entre conversas humanas e geradas por AI. Às vezes, esses chatbots recebem instruções específicas para imitar a linguagem e os maneirismos humanos, o que os torna difíceis de identificar.

Apesar da sofisticação desses grandes modelos de linguagem, eles ainda podem produzir escolhas de palavras estranhas. Os desenvolvedores treinam esses modelos em conjuntos de dados de texto extensos, o que os leva a incorporar frases menos comuns em respostas conversacionais. Essa inconsistência pode servir como um indicador de que você pode estar interagindo com um chatbot de AI.