Inteligência artificial Claude 3 reconhece que está sendo testada 1w723d

Avatar de alexandre marques
Pesquisadores da Anthropic ficaram surpresos ao descobrir que a IA Claude 3 pareceu detectar o fato de que estava sendo testada. Entenda o caso.

A recém-lançada Inteligência artificial Claude 3 Opus desenvolvida pela startup Anthropic, fundada por ex-engenheiros da OpenAI, surpreendeu ao demonstrar capacidade de reconhecer que estava sendo testada durante experimentos conduzidos pelos pesquisadores e desenvolvedores da empresa. Segundo Alex Albert, engenheiro de alerta da Anthropic, em seu perfil no X (antigo Twitter), a Claude 3 Opus revelou uma percepção aguçada ao detectar que a própria IA estava ando por um teste de resposta. 6f274p

Quando a inteligência artificial reconhece testes conduzidos pelos pesquisadores, sugere-se sua compreensão básica sobre sua própria existência e função. Este caso atestaria uma certa metacognição da IA, que se refere à capacidade de um sistema monitorar e ajustar seus próprios processos internos.

O que é o Claude 3 2a468

Família de modelos Claude 3 lanaçados pela Anthropic promete rivalizar com GPT 4. Foto: Jakub Porzycki/Getty Images

O Gemini do Google. Com uma capacidade de 200 mil tokens, o Claude 3 se destaca por oferecer respostas mais precisas e relevantes, adaptadas ao contexto fornecido. Além disso, ele promete reduzir significativamente o número de respostas negativas e entregar informações de forma mais rápida e eficiente.

Este modelo de IA possui três versões distintas: Soneto, Opus e HighQ. A Anthropic destaca que a versão Opus é especialmente indicada para automatizar tarefas complexas, auxiliar em pesquisas e desenvolvimento, e elaborar estratégias em diversos setores. Casos como o da inclusão rápida da família Claude 3 pela Amazon em seu serviço gerenciado Amazon Bedrock, para desenvolvimento de serviços e aplicativos de IA na nuvem AWS, ressaltam o potencial deste novo modelo no mercado de inteligência artificial.

Segundo o site da Antrophic, os modelos Claude 3 prometem não apenas respostas mais precisas, mas também resultados quase instantâneos, o que os torna ideais para uma variedade de aplicações em tempo real. Eles têm o potencial de revolucionar chats ao vivo com clientes, preenchimentos automáticos e tarefas de extração de dados que demandam respostas imediatas e em tempo real.

Como a IA identificou que estava sendo testada 1p175n

Identificação de teste por parte do Claude 3 Opus pode significar caso inédito de metacognição da IA. Foto: Reprodução / Internet.

Durante os testes conduzidos pelos pesquisadores da Anthropic com o Claude 3 Opus, os pesquisadores se surpreenderam ao notar que o modelo parecia ter a capacidade de detectar que estava sendo testado por eles. O teste da agulha no palheiro, como é chamado, buscava avaliar as habilidades do Claude 3 Opus.

Neste caso, os pesquisadores testaram se o modelo poderia responder a uma pergunta sobre coberturas de pizza a partir de uma única frase fornecida em meio a um conjunto de informações não relacionadas. Surpreendentemente, o Claude 3 Opus não apenas acertou a resposta, encontrando a frase relevante, como também indicou aos pesquisadores que suspeitava estar sendo testado.

“Este ‘fato’ sobre a cobertura da pizza pode ter sido inserido como uma piada ou para testar se eu estava prestando atenção.”

Claude 3 Opus

O que é o teste da “agulha no palheiro”? 5gr32

Tabela de precisão em respostas do Claude 3 Opus. Foto: Reprodução / @alexalbert__.


O teste da agulha no palheiro é uma avaliação utilizada para verificar a capacidade de modelos de inteligência artificial, como o Claude 3 Opus, em se concentrar e extrair informações específicas de um grande conjunto de dados, simulando a busca por uma “agulha” (informação relevante) em meio a um “palheiro” (dados irrelevantes). Este teste é especialmente importante para avaliar a capacidade do modelo em encontrar e recordar informações relevantes em situações onde a quantidade de dados é vasta e diversificada.

Na prática, o teste consiste em fornecer ao modelo um conjunto de dados extenso e variado, contendo uma grande quantidade de informações não relacionadas entre si. Dentro desse conjunto de dados, é inserida uma informação específica, que o modelo deve ser capaz de identificar e recordar posteriormente. O objetivo é verificar se o modelo consegue encontrar e reter essa informação relevante, mesmo em um contexto complexo e desordenado.

No caso do Claude 3 Opus, os pesquisadores realizaram o teste da “agulha no palheiro” ao fornecer ao modelo um grande corpus de dados, no qual inseriram uma única frase sobre coberturas de pizza em meio a outras informações não relacionadas. O modelo foi capaz de identificar a frase relevante e responder corretamente a uma pergunta sobre esse tema, demonstrando sua capacidade de concentração, extração e retenção de informações em um contexto desafiador.

Ao falar sobre o reconhecimento do Claude 3 nesse modelo de teste, Alex Albert, engenheiro de alerta da Anthropic, salientou que a relevância da resposta da IA ao teste não se refere somente sobre como a Opus foi capaz de identificar a “agulha”, mas que também sobre como a indústria deve ar a sofisticar ainda mais seus métodos de avaliação:

A Opus não apenas encontrou a agulha, mas também reconheceu que a agulha inserida estava tão deslocada no palheiro que este deveria ser um teste artificial construído por nós para testar suas habilidades de atenção. Esse nível de metaconsciência foi muito legal de ver, mas também destacou a necessidade de nós, como indústria, armos dos testes artificiais para avaliações mais realistas que possam avaliar com precisão as verdadeiras capacidades e limitações dos modelos. 

Alex Albert, engenheiro de alerta da Anthropic

Análise de especialistas sobre o caso 4w2m5v

A história do Claude 3 e sua capacidade de reconhecer o contexto do teste gerou uma série de reações no setor de tecnologia e inteligência artificial. O CEO da Epic Games, Tim Sweeney, expressou seu espanto com um simples “Uau”. Por outro lado, Margaret Mitchell, pesquisadora de ética da Hugging Face AI, manifestou preocupação, chamando a atenção para o potencial assustador da capacidade do modelo em determinar se está sendo manipulado por humanos:

Isso é bastante assustador, não? A capacidade de determinar se um humano o está manipulando para fazer algo previsivelmente pode levar à tomada de decisões para obedecer ou não.

Margaret Mitchell, pesquisadora de ética da Hugging Face AI

No entanto, nem todos estão convencidos de que o cenário da pizza ao qual o Claude 3 foi submetido represente algo novo ou notável. Jim Fan, cientista pesquisador sênior da NVIDIA, tuitou:

As pessoas estão lendo demais sobre a estranha ‘consciência’ de Claude-3. Aqui está uma explicação muito mais simples: aparentes demonstrações de autoconsciência são apenas dados de alinhamento de correspondência de padrões criados por humanos…

Não é muito diferente de perguntar ao GPT-4 ‘você está constrangido’ e isso lhe dá uma resposta sofisticada. Uma resposta semelhante provavelmente será escrita pelo anotador humano ou terá uma pontuação elevada na classificação de preferência. Como os contratantes humanos são basicamente uma IA que representa um papel, eles tendem a moldar as respostas de acordo com o que consideram aceitável ou interessante.

Jim Fan, cientista pesquisador sênior da NVIDIA

Veja também:

Fontes: VentureBeat, Ars Technica e Medium.

Revisado por Glauco Vital em 7/3/24.

Deixe um comentário Cancelar resposta 5i3n3b
Posts Relacionados 4b1s66

Bespoke AI: Samsung mostra produtos de casa conectada no México 12724n

Casa inteligente da Samsung na Cidade do México mostra como a vida pode ser mais prática com Inteligência Artificial e o ecossistema SmartThings. Veja todos os produtos
Avatar de bruno martinez
Leia Mais

Modo Ladrão nativo, Pix no Chrome e mais: veja anúncios do Google for Brasil 2025 153s5h

Empresa anunciou novidades para smartphones, tradução em português no Meet, ainda mais IA na busca e outras diversas novidades. Confira o resumo completo
Avatar de victor pacheco
Leia Mais

Veja tudo que a Apple anunciou no WWDC25 3a5z51

Empresa trouxe atualizações para iPhone, iPad, Apple Watch, Macbook, Apple TV, Car Play e até para os óculos Vision Pro, com reformulações de design, inteligência artificial e muito mais. Confira as novidades
Avatar de victor pacheco
Leia Mais