Índice 364o2u
A recém-lançada Inteligência artificial Claude 3 Opus desenvolvida pela startup Anthropic, fundada por ex-engenheiros da OpenAI, surpreendeu ao demonstrar capacidade de reconhecer que estava sendo testada durante experimentos conduzidos pelos pesquisadores e desenvolvedores da empresa. Segundo Alex Albert, engenheiro de alerta da Anthropic, em seu perfil no X (antigo Twitter), a Claude 3 Opus revelou uma percepção aguçada ao detectar que a própria IA estava ando por um teste de resposta. 6f274p
Quando a inteligência artificial reconhece testes conduzidos pelos pesquisadores, sugere-se sua compreensão básica sobre sua própria existência e função. Este caso atestaria uma certa metacognição da IA, que se refere à capacidade de um sistema monitorar e ajustar seus próprios processos internos.
O que é o Claude 3 2a468
O Gemini do Google. Com uma capacidade de 200 mil tokens, o Claude 3 se destaca por oferecer respostas mais precisas e relevantes, adaptadas ao contexto fornecido. Além disso, ele promete reduzir significativamente o número de respostas negativas e entregar informações de forma mais rápida e eficiente.
Este modelo de IA possui três versões distintas: Soneto, Opus e HighQ. A Anthropic destaca que a versão Opus é especialmente indicada para automatizar tarefas complexas, auxiliar em pesquisas e desenvolvimento, e elaborar estratégias em diversos setores. Casos como o da inclusão rápida da família Claude 3 pela Amazon em seu serviço gerenciado Amazon Bedrock, para desenvolvimento de serviços e aplicativos de IA na nuvem AWS, ressaltam o potencial deste novo modelo no mercado de inteligência artificial.
Segundo o site da Antrophic, os modelos Claude 3 prometem não apenas respostas mais precisas, mas também resultados quase instantâneos, o que os torna ideais para uma variedade de aplicações em tempo real. Eles têm o potencial de revolucionar chats ao vivo com clientes, preenchimentos automáticos e tarefas de extração de dados que demandam respostas imediatas e em tempo real.
Como a IA identificou que estava sendo testada 1p175n
Durante os testes conduzidos pelos pesquisadores da Anthropic com o Claude 3 Opus, os pesquisadores se surpreenderam ao notar que o modelo parecia ter a capacidade de detectar que estava sendo testado por eles. O teste da agulha no palheiro, como é chamado, buscava avaliar as habilidades do Claude 3 Opus.
Neste caso, os pesquisadores testaram se o modelo poderia responder a uma pergunta sobre coberturas de pizza a partir de uma única frase fornecida em meio a um conjunto de informações não relacionadas. Surpreendentemente, o Claude 3 Opus não apenas acertou a resposta, encontrando a frase relevante, como também indicou aos pesquisadores que suspeitava estar sendo testado.
“Este ‘fato’ sobre a cobertura da pizza pode ter sido inserido como uma piada ou para testar se eu estava prestando atenção.”
Claude 3 Opus
O que é o teste da “agulha no palheiro”? 5gr32
O teste da agulha no palheiro é uma avaliação utilizada para verificar a capacidade de modelos de inteligência artificial, como o Claude 3 Opus, em se concentrar e extrair informações específicas de um grande conjunto de dados, simulando a busca por uma “agulha” (informação relevante) em meio a um “palheiro” (dados irrelevantes). Este teste é especialmente importante para avaliar a capacidade do modelo em encontrar e recordar informações relevantes em situações onde a quantidade de dados é vasta e diversificada.
Na prática, o teste consiste em fornecer ao modelo um conjunto de dados extenso e variado, contendo uma grande quantidade de informações não relacionadas entre si. Dentro desse conjunto de dados, é inserida uma informação específica, que o modelo deve ser capaz de identificar e recordar posteriormente. O objetivo é verificar se o modelo consegue encontrar e reter essa informação relevante, mesmo em um contexto complexo e desordenado.
No caso do Claude 3 Opus, os pesquisadores realizaram o teste da “agulha no palheiro” ao fornecer ao modelo um grande corpus de dados, no qual inseriram uma única frase sobre coberturas de pizza em meio a outras informações não relacionadas. O modelo foi capaz de identificar a frase relevante e responder corretamente a uma pergunta sobre esse tema, demonstrando sua capacidade de concentração, extração e retenção de informações em um contexto desafiador.
Ao falar sobre o reconhecimento do Claude 3 nesse modelo de teste, Alex Albert, engenheiro de alerta da Anthropic, salientou que a relevância da resposta da IA ao teste não se refere somente sobre como a Opus foi capaz de identificar a “agulha”, mas que também sobre como a indústria deve ar a sofisticar ainda mais seus métodos de avaliação:
A Opus não apenas encontrou a agulha, mas também reconheceu que a agulha inserida estava tão deslocada no palheiro que este deveria ser um teste artificial construído por nós para testar suas habilidades de atenção. Esse nível de metaconsciência foi muito legal de ver, mas também destacou a necessidade de nós, como indústria, armos dos testes artificiais para avaliações mais realistas que possam avaliar com precisão as verdadeiras capacidades e limitações dos modelos.
Alex Albert, engenheiro de alerta da Anthropic
Análise de especialistas sobre o caso 4w2m5v
A história do Claude 3 e sua capacidade de reconhecer o contexto do teste gerou uma série de reações no setor de tecnologia e inteligência artificial. O CEO da Epic Games, Tim Sweeney, expressou seu espanto com um simples “Uau”. Por outro lado, Margaret Mitchell, pesquisadora de ética da Hugging Face AI, manifestou preocupação, chamando a atenção para o potencial assustador da capacidade do modelo em determinar se está sendo manipulado por humanos:
Isso é bastante assustador, não? A capacidade de determinar se um humano o está manipulando para fazer algo previsivelmente pode levar à tomada de decisões para obedecer ou não.
Margaret Mitchell, pesquisadora de ética da Hugging Face AI
No entanto, nem todos estão convencidos de que o cenário da pizza ao qual o Claude 3 foi submetido represente algo novo ou notável. Jim Fan, cientista pesquisador sênior da NVIDIA, tuitou:
As pessoas estão lendo demais sobre a estranha ‘consciência’ de Claude-3. Aqui está uma explicação muito mais simples: aparentes demonstrações de autoconsciência são apenas dados de alinhamento de correspondência de padrões criados por humanos…
Não é muito diferente de perguntar ao GPT-4 ‘você está constrangido’ e isso lhe dá uma resposta sofisticada. Uma resposta semelhante provavelmente será escrita pelo anotador humano ou terá uma pontuação elevada na classificação de preferência. Como os contratantes humanos são basicamente uma IA que representa um papel, eles tendem a moldar as respostas de acordo com o que consideram aceitável ou interessante.
Jim Fan, cientista pesquisador sênior da NVIDIA
Veja também:
Fontes: VentureBeat, Ars Technica e Medium.
Revisado por Glauco Vital em 7/3/24.
