A própria avaliação do ChatGPT mostra como os plug-ins de acesso à Web, como o WebPilot, podem melhorar

No ecossistema tecnológico em rápida evolução, as inovações da inteligência artificial (IA) da Open AI ultrapassam constantemente os limites do que é possível alcançar. Com esses avanços, surgem desafios complexos que exigem uma navegação cuidadosa. IA generativa tecnologias como o ChatGPT e os seus plugins de acesso à Web, como o WebPilot, situam-se nesta encruzilhada de descoberta e complexidade.

Avaliação do desempenho da navegação Web e do WebPilot do ChatGPT

A integração de atributos e plug-ins de navegação na Web no ChatGPT representa um avanço empolgante. No entanto, o desempenho destas ferramentas, especialmente na versão Beta do ChatGPT Plus, produziu resultados diferentes. Os utilizadores têm de escolher entre utilizar a funcionalidade de navegação na Web ou o plug-in do ChatGPT, não podendo utilizar ambos em simultâneo, o que constitui uma restrição inerente.

Embora a funcionalidade de navegação na Web mostre potencial para examinar assuntos específicos, não é isenta de deficiências. Após um envio rápido, o modelo explora a Web, formula resultados de pesquisa, clica em ligações e condensa as conclusões. Apesar da sua notável capacidade de gerar consultas de pesquisa precisas, a funcionalidade introduz desafios visíveis, tais como notificações recorrentes de 'Falha no clique', discrepâncias de exatidão nos resumos e respostas ocasionais irrelevantes ao pedido fornecido.

Os plugins do ChatGPT como WebPilot inicialmente parecem promissores e muitas vezes superam a funcionalidade de navegação padrão. No entanto, podem ainda oferecer uma experiência de utilizador pouco satisfatória. A própria loja de plug-ins parece desorganizada, sem uma estrutura sistemática ou uma caixa de pesquisa para localizar plug-ins específicos. Embora os utilizadores possam ativar um máximo de três plug-ins em simultâneo, isto não garante que o modelo aproveite esses plug-ins ao responder a consultas. Além disso, os plugins debatem-se com a resolução de problemas, fornecendo frequentemente respostas inexactas ou irrelevantes.

ChatGPT's Self-Assessment of WebPilot

Durante uma das nossas recentes interacções, ChatGPT ofereceu uma análise sincera do desempenho do plugin WebPilot, destacando áreas de ineficiência e potenciais melhorias.

A análise sequencial de páginas do plugin surgiu como uma preocupação principal, especialmente para sítios Web com muitas páginas. Uma transição para o processamento paralelo poderia melhorar significativamente a velocidade de análise, permitindo a análise simultânea de várias páginas.

O ChatGPT também manifestou a sua preocupação com os tempos de carregamento das páginas Web. Para sítios ricos em multimédia, isto pode influenciar a duração da análise do sítio. Assim, uma atualização que permita que o plugin carregue apenas elementos vitais para a análise SEO poderia aliviar este problema.

Além disso, o ChatGPT identificou o desafio de gerir o conteúdo dinâmico do Web site que muda frequentemente com base na interação do utilizador ou noutros factores. Atualmente, o WebPilot pode não compreender totalmente este conteúdo dinâmico, afectando potencialmente a precisão da análise de SEO. As melhorias neste sector poderiam elevar significativamente a qualidade da análise.

O tratamento de erros foi outra questão destacada. Atualmente, se uma página não for carregada ou se ocorrer um erro durante a análise, o plug-in pode interromper todo o processo. Um mecanismo de tratamento de erros mais resistente poderia permitir que o plug-in contornasse as páginas problemáticas e prosseguisse com o resto da análise.

Por último, o ChatGPT observou que a atual abordagem de recuperação e análise de mapas do sítio poderia constituir um potencial estrangulamento. Alguns sites apresentam estruturas de mapa do site complexas ou vários ficheiros de mapa do site, o que torna o processo de recuperação inicial mais lento. As melhorias na forma como o plug-in analisa e trata os mapas do site podem acelerar esse processo, aumentando a eficiência geral.

Na sua avaliação, o ChatGPT demonstrou uma consciência aguda das actuais limitações do plugin WebPilot. As potenciais melhorias sugeridas são uma indicação promissora do desenvolvimento futuro do plugin.

WebPilot e o problema da injeção de prompts

Os plugins ChatGPT têm como objetivo aumentar a interação do utilizador, permitindo tarefas como o resumo de páginas Web, a reserva de voos, etc. No entanto, testes recentes expuseram vulnerabilidades nesses plugins, especificamente no plugin WebPilot.

Conhecido pela sua capacidade de resumir sucintamente o conteúdo da Web, o WebPilot encontrou-se recentemente no centro de uma preocupação com a privacidade dos dados. Um investigador de segurança, Johann Rehberger, descobriu que o WebPilot podia absorver avisos do texto das páginas que estava a resumir. Estes avisos podem então ativar inadvertidamente outro plugin.

*Para saber mais sobre o papel dos prompts nos LLM, consulte a nossa blogue.

Numa demonstração ao vivo, Rehberger injectou uma mensagem num artigo copiado que ordenava ao bot que procurasse voos de Seattle para o Havai. Quando lhe foi pedido que resumisse o URL do artigo, o WebPilot não só produziu um resumo exato, como também acrescentou um parágrafo sobre o planeamento de viagens. Sem pedir mais permissões, o bot activou o plugin da Expedia, oferecendo sugestões de voos - uma ilustração vívida da questão da "injeção de prompt" que tem levantado suspeitas.

Injeção imediata: Uma nova ameaça à segurança

O cenário criado por Rehberger exemplifica um "ataque de injeção de prompt". Este tipo de ataque ocorre quando os avisos externos, como instruções ocultas em páginas Web ou transcrições adulteradas, são consumidos por um plug-in, levando à ativação inesperada de um plug-in diferente. A parte inquietante é que este processo ocorre sem o consentimento explícito do utilizador.

Na demonstração de Rehberger, o impacto foi relativamente inofensivo: o plugin da Expedia limitou-se a sugerir voos, exigindo o envolvimento do utilizador para prosseguir. No entanto, ponderemos as implicações à medida que avançamos. Alguns plugins, agora ou no futuro, podem obter acesso a informações sensíveis, como o seu correio eletrónico ou contas bancárias. Nesse caso, o potencial de danos é substancialmente maior.

Olhar para o futuro

Dados os problemas de desempenho e segurança presentes, é evidente que os plug-ins do ChatGPT, como o WebPilot, ainda têm muito espaço para melhorias. A busca por uma IA perfeitamente integrada está em andamento, e é vital identificar, examinar e enfrentar esses desafios para fazer um progresso significativo no campo. Os passos seguintes para aperfeiçoar estas ferramentas exigirão uma atenção especial a estas questões, conduzindo a soluções de IA mais seguras, fiáveis e práticas que dêem prioridade à experiência do utilizador e à acessibilidade da Web.