{"id":12994,"date":"2024-08-29T21:44:22","date_gmt":"2024-08-30T02:44:22","guid":{"rendered":"http:\/\/skimai.com\/?p=12994"},"modified":"2024-08-29T21:44:48","modified_gmt":"2024-08-30T02:44:48","slug":"um-artigo-de-investigacao-resumido-sobre-a-cadeia-de-pensamento-da-falta-de-motivacao","status":"publish","type":"post","link":"https:\/\/skimai.com\/pt\/ai-research-paper-summarized-chain-of-thought-lessness-prompting\/","title":{"rendered":"Resumo do artigo de investiga\u00e7\u00e3o sobre IA: \"Cadeia de Pensamento(menos)?\" Prompting"},"content":{"rendered":"<p>A t\u00e9cnica Chain-of-Thought (CoT) tem sido aclamada como um avan\u00e7o na liberta\u00e7\u00e3o das capacidades de racioc\u00ednio dos modelos de linguagem de grande porte (LLMs). Esta t\u00e9cnica, que consiste em fornecer exemplos de racioc\u00ednio passo a passo para guiar os LLM, tem atra\u00eddo uma aten\u00e7\u00e3o significativa na comunidade da IA. Muitos investigadores e profissionais afirmam que a t\u00e9cnica CoT permite que os LLMs resolvam tarefas de racioc\u00ednio complexas de forma mais eficaz, podendo assim colmatar o fosso entre a computa\u00e7\u00e3o autom\u00e1tica e a resolu\u00e7\u00e3o de problemas de tipo humano.<\/p>\n\n\n<p>No entanto, um documento recente intitulado \"<a rel=\"noopener noreferrer\" href=\"https:\/\/arxiv.org\/pdf\/2405.04776\">Cadeia de irreflex\u00e3o? Uma an\u00e1lise da CdT no planeamento<\/a>\" desafia estas afirma\u00e7\u00f5es optimistas. Este trabalho de investiga\u00e7\u00e3o, centrado em tarefas de planeamento, fornece uma an\u00e1lise cr\u00edtica da efic\u00e1cia e da generaliza\u00e7\u00e3o do CoT. Enquanto profissionais de IA, \u00e9 crucial compreender estas conclus\u00f5es e as suas implica\u00e7\u00f5es para o desenvolvimento de aplica\u00e7\u00f5es de IA que exijam capacidades de racioc\u00ednio sofisticadas.<\/p>\n\n\n<div id=\"ez-toc-container\" class=\"ez-toc-v2_0_82_1 counter-hierarchy ez-toc-counter ez-toc-grey ez-toc-container-direction\">\n<div class=\"ez-toc-title-container\">\n<p class=\"ez-toc-title\" style=\"cursor:inherit\">\u00cdndice<\/p>\n<span class=\"ez-toc-title-toggle\"><a href=\"#\" class=\"ez-toc-pull-right ez-toc-btn ez-toc-btn-xs ez-toc-btn-default ez-toc-toggle\" aria-label=\"Alternar o \u00edndice\"><span class=\"ez-toc-js-icon-con\"><span class=\"\"><span class=\"eztoc-hide\" style=\"display:none;\">Alternar<\/span><span class=\"ez-toc-icon-toggle-span\"><svg style=\"fill: #999;color:#999\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" class=\"list-377408\" width=\"20px\" height=\"20px\" viewbox=\"0 0 24 24\" fill=\"none\"><path d=\"M6 6H4v2h2V6zm14 0H8v2h12V6zM4 11h2v2H4v-2zm16 0H8v2h12v-2zM4 16h2v2H4v-2zm16 0H8v2h12v-2z\" fill=\"currentColor\"><\/path><\/svg><svg style=\"fill: #999;color:#999\" class=\"arrow-unsorted-368013\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" width=\"10px\" height=\"10px\" viewbox=\"0 0 24 24\" version=\"1.2\" baseprofile=\"tiny\"><path d=\"M18.2 9.3l-6.2-6.3-6.2 6.3c-.2.2-.3.4-.3.7s.1.5.3.7c.2.2.4.3.7.3h11c.3 0 .5-.1.7-.3.2-.2.3-.5.3-.7s-.1-.5-.3-.7zM5.8 14.7l6.2 6.3 6.2-6.3c.2-.2.3-.5.3-.7s-.1-.5-.3-.7c-.2-.2-.4-.3-.7-.3h-11c-.3 0-.5.1-.7.3-.2.2-.3.5-.3.7s.1.5.3.7z\"\/><\/svg><\/span><\/span><\/span><\/a><\/span><\/div>\n<nav><ul class='ez-toc-list ez-toc-list-level-1' ><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-1\" href=\"https:\/\/skimai.com\/pt\/ai-research-paper-summarized-chain-of-thought-lessness-prompting\/#Understanding_the_Study\" >Compreender o estudo<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-2\" href=\"https:\/\/skimai.com\/pt\/ai-research-paper-summarized-chain-of-thought-lessness-prompting\/#Key_Findings_Unveiled\" >Principais conclus\u00f5es reveladas<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-3\" href=\"https:\/\/skimai.com\/pt\/ai-research-paper-summarized-chain-of-thought-lessness-prompting\/#Beyond_Blocksworld_Extending_the_Investigation\" >Para al\u00e9m do Blocksworld: Alargamento da investiga\u00e7\u00e3o<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-4\" href=\"https:\/\/skimai.com\/pt\/ai-research-paper-summarized-chain-of-thought-lessness-prompting\/#Implications_for_AI_Development\" >Implica\u00e7\u00f5es para o desenvolvimento da IA<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-5\" href=\"https:\/\/skimai.com\/pt\/ai-research-paper-summarized-chain-of-thought-lessness-prompting\/#Recommendations_for_AI_Practitioners\" >Recomenda\u00e7\u00f5es para os profissionais de IA<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-6\" href=\"https:\/\/skimai.com\/pt\/ai-research-paper-summarized-chain-of-thought-lessness-prompting\/#The_Bottom_Line\" >A linha de fundo<\/a><\/li><\/ul><\/nav><\/div>\n<h2 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"Understanding_the_Study\"><\/span>Compreender o estudo<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n<p>Os investigadores escolheram um dom\u00ednio de planeamento cl\u00e1ssico chamado Blocksworld como principal campo de ensaio. No Blocksworld, a tarefa \u00e9 reorganizar um conjunto de blocos de uma configura\u00e7\u00e3o inicial para uma configura\u00e7\u00e3o de objetivo, utilizando uma s\u00e9rie de ac\u00e7\u00f5es de movimento. Este dom\u00ednio \u00e9 ideal para testar as capacidades de racioc\u00ednio e planeamento porque:<\/p>\n\n\n<ol class=\"wp-block-list\">\n<li><p>Permite a cria\u00e7\u00e3o de problemas de complexidade vari\u00e1vel<\/p><\/li><li><p>Tem solu\u00e7\u00f5es claras e verific\u00e1veis por algoritmos<\/p><\/li><li><p>\u00c9 pouco prov\u00e1vel que esteja fortemente representado nos dados de forma\u00e7\u00e3o do LLM<\/p><\/li>\n<\/ol>\n\n\n<figure class=\"wp-block-image\">\n<img decoding=\"async\" src=\"http:\/\/skimai.com\/wp-content\/uploads\/2024\/08\/0052403f-61b9-4bb0-928a-8c1e0b0cc0f6.png\" alt=\"Planeamento da pilha de objectivos Blocksworld\" \/>\n<\/figure>\n\n\n<p>O estudo examinou tr\u00eas LLMs de \u00faltima gera\u00e7\u00e3o: GPT-4, Claude-3-Opus e GPT-4-Turbo. Estes modelos foram testados com mensagens de especificidade vari\u00e1vel:<\/p>\n\n\n<ol class=\"wp-block-list\">\n<li><p><strong>Cadeia de pensamento de tiro zero (Universal): <\/strong>Basta acrescentar \"vamos pensar passo a passo\" ao prompt.<\/p><\/li><li><p><strong>Prova de progress\u00e3o (espec\u00edfica da PDDL):<\/strong> Fornecer uma explica\u00e7\u00e3o geral da corre\u00e7\u00e3o do plano com exemplos.<\/p><\/li><li><p><strong>Algoritmo universal Blocksworld: <\/strong>Demonstra\u00e7\u00e3o de um algoritmo geral para resolver qualquer problema Blocksworld.<\/p><\/li><li><p><strong>Sugest\u00e3o de empilhamento:<\/strong> Centrar-se numa subclasse espec\u00edfica de problemas Blocksworld (table-to-stack).<\/p><\/li><li><p><strong>Empilhamento lexicogr\u00e1fico:<\/strong> Redu\u00e7\u00e3o adicional a uma forma sint\u00e1ctica espec\u00edfica do estado do objetivo.<\/p><\/li>\n<\/ol>\n\n\n<p>Ao testar estas sugest\u00f5es em problemas de complexidade crescente, os investigadores pretendiam avaliar at\u00e9 que ponto os LLMs conseguiam generalizar o racioc\u00ednio demonstrado nos exemplos.<\/p>\n\n\n<figure class=\"wp-block-image\">\n<img decoding=\"async\" src=\"http:\/\/skimai.com\/wp-content\/uploads\/2024\/08\/703d11e4-e594-469f-8f00-bd46a0d6f7ee.png\" \/>\n<\/figure>\n\n\n<h2 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"Key_Findings_Unveiled\"><\/span>Principais conclus\u00f5es reveladas<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n<p>Os resultados deste estudo desafiam muitos dos pressupostos prevalecentes sobre a solicita\u00e7\u00e3o de CoT:<\/p>\n\n\n<ol class=\"wp-block-list\">\n<li><p><strong>Efic\u00e1cia limitada do CoT: <\/strong>Contrariamente \u00e0s afirma\u00e7\u00f5es anteriores, a solicita\u00e7\u00e3o CoT s\u00f3 apresentou melhorias significativas de desempenho quando os exemplos fornecidos eram extremamente semelhantes ao problema de consulta. Assim que os problemas se desviaram do formato exato apresentado nos exemplos, o desempenho caiu drasticamente.<\/p><\/li><li><p><strong>Degrada\u00e7\u00e3o r\u00e1pida do desempenho:<\/strong> \u00c0 medida que a complexidade dos problemas aumentava (medida pelo n\u00famero de blocos envolvidos), a precis\u00e3o de todos os modelos diminu\u00eda drasticamente, independentemente do est\u00edmulo de CoT utilizado. Este facto sugere que os LLM t\u00eam dificuldade em alargar o racioc\u00ednio demonstrado em exemplos simples a cen\u00e1rios mais complexos.<\/p><\/li><li><p><strong>Inefic\u00e1cia das instru\u00e7\u00f5es gerais:<\/strong> Surpreendentemente, as instru\u00e7\u00f5es de CoT mais gerais tiveram um desempenho pior do que as instru\u00e7\u00f5es normais sem quaisquer exemplos de racioc\u00ednio. Este facto contradiz a ideia de que a CoT ajuda os LLM a aprender estrat\u00e9gias generaliz\u00e1veis de resolu\u00e7\u00e3o de problemas.<\/p><\/li><li><p><strong>Compensa\u00e7\u00e3o da especificidade:<\/strong> O estudo concluiu que as instru\u00e7\u00f5es altamente espec\u00edficas podem atingir uma elevada precis\u00e3o, mas apenas num subconjunto muito restrito de problemas. Este facto evidencia um forte compromisso entre os ganhos de desempenho e a aplicabilidade da mensagem.<\/p><\/li><li><p><strong>Falta de uma verdadeira aprendizagem algor\u00edtmica:<\/strong> Os resultados sugerem fortemente que os LLM n\u00e3o est\u00e3o a aprender a aplicar procedimentos algor\u00edtmicos gerais a partir dos exemplos de CoT. Em vez disso, parecem basear-se na correspond\u00eancia de padr\u00f5es, que se desintegra rapidamente quando confrontados com problemas novos ou mais complexos.<\/p><\/li>\n<\/ol>\n\n\n<p>Estas conclus\u00f5es t\u00eam implica\u00e7\u00f5es significativas para os profissionais de IA e para as empresas que pretendem tirar partido das solicita\u00e7\u00f5es de CoT nas suas aplica\u00e7\u00f5es. Sugerem que, embora a CoT possa melhorar o desempenho em determinados cen\u00e1rios restritos, pode n\u00e3o ser a panaceia para tarefas de racioc\u00ednio complexas que muitos esperavam. <\/p>\n\n\n<figure class=\"wp-block-image\">\n<img decoding=\"async\" src=\"http:\/\/skimai.com\/wp-content\/uploads\/2024\/08\/2a9ff0a4-4f7d-4c79-abac-6b08616425a9.png\" \/>\n<\/figure>\n\n\n<h2 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"Beyond_Blocksworld_Extending_the_Investigation\"><\/span>Para al\u00e9m do Blocksworld: Alargamento da investiga\u00e7\u00e3o<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n<p>Para garantir que as suas conclus\u00f5es n\u00e3o se limitavam ao dom\u00ednio Blocksworld, os investigadores alargaram a sua investiga\u00e7\u00e3o a v\u00e1rios dom\u00ednios de problemas sint\u00e9ticos habitualmente utilizados em estudos anteriores sobre CoT:<\/p>\n\n\n<ol class=\"wp-block-list\">\n<li><p><strong>CoinFlip:<\/strong> Uma tarefa que envolve a previs\u00e3o do estado de uma moeda ap\u00f3s uma s\u00e9rie de lan\u00e7amentos.<\/p><\/li><li><p><strong>LastLetterConcatenation:<\/strong> Uma tarefa de processamento de texto que requer a concatena\u00e7\u00e3o das \u00faltimas letras de determinadas palavras.<\/p><\/li><li><p><strong>Aritm\u00e9tica de v\u00e1rios passos:<\/strong> Problemas de simplifica\u00e7\u00e3o de express\u00f5es aritm\u00e9ticas complexas.<\/p><\/li>\n<\/ol>\n\n\n<p>Estes dom\u00ednios foram escolhidos porque permitem a cria\u00e7\u00e3o de problemas com uma complexidade crescente, semelhante \u00e0 do Blocksworld. Os resultados destas experi\u00eancias adicionais foram surpreendentemente consistentes com os resultados do Blocksworld:<\/p>\n\n\n<ul class=\"wp-block-list\">\n<li><p><strong>Falta de generaliza\u00e7\u00e3o:<\/strong> A solicita\u00e7\u00e3o de CoT mostrou melhorias apenas em problemas muito semelhantes aos exemplos fornecidos. \u00c0 medida que a complexidade do problema aumentava, o desempenho diminu\u00eda rapidamente para n\u00edveis compar\u00e1veis ou piores do que os da solicita\u00e7\u00e3o padr\u00e3o.<\/p><\/li><li><p><strong>Correspond\u00eancia de padr\u00f5es sint\u00e1cticos:<\/strong> Na tarefa LastLetterConcatenation, a sugest\u00e3o de CoT melhorou certos aspectos sint\u00e1cticos das respostas (como a utiliza\u00e7\u00e3o das letras corretas), mas n\u00e3o conseguiu manter a precis\u00e3o \u00e0 medida que o n\u00famero de palavras aumentava.<\/p><\/li><li><p><strong>Fracasso apesar de passos interm\u00e9dios perfeitos:<\/strong> Nas tarefas de aritm\u00e9tica, mesmo quando os modelos conseguiam resolver perfeitamente todas as opera\u00e7\u00f5es poss\u00edveis com um s\u00f3 algarismo, n\u00e3o conseguiam generalizar para sequ\u00eancias de opera\u00e7\u00f5es mais longas.<\/p><\/li>\n<\/ul>\n\n\n<p>Estes resultados refor\u00e7am ainda mais a conclus\u00e3o de que os LLM actuais n\u00e3o aprendem verdadeiramente estrat\u00e9gias de racioc\u00ednio generaliz\u00e1veis a partir de exemplos de CoT. Em vez disso, parecem basear-se fortemente na correspond\u00eancia de padr\u00f5es superficiais, que se desintegra quando confrontados com problemas que se desviam dos exemplos demonstrados.<\/p>\n\n\n<h2 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"Implications_for_AI_Development\"><\/span>Implica\u00e7\u00f5es para o desenvolvimento da IA<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n<p>As conclus\u00f5es deste estudo t\u00eam implica\u00e7\u00f5es significativas para o desenvolvimento da IA, em particular para as empresas que trabalham em aplica\u00e7\u00f5es que exigem capacidades complexas de racioc\u00ednio ou planeamento:<\/p>\n\n\n<ol class=\"wp-block-list\">\n<li><p><strong>Reavalia\u00e7\u00e3o da efic\u00e1cia da CdT:<\/strong> O estudo p\u00f5e em causa a no\u00e7\u00e3o de que o CoT induz a \"desbloquear\" capacidades de racioc\u00ednio geral em LLMs. Os criadores de IA devem ser cautelosos quanto a confiar na CoT para tarefas que exijam um verdadeiro racioc\u00ednio algor\u00edtmico ou a generaliza\u00e7\u00e3o para cen\u00e1rios novos.<\/p><\/li><li><p><strong>Limita\u00e7\u00f5es dos actuais LLM:<\/strong> Apesar das suas capacidades impressionantes em muitos dom\u00ednios, os LLMs mais avan\u00e7ados continuam a ter dificuldades em raciocinar de forma consistente e generaliz\u00e1vel. Isto sugere que podem ser necess\u00e1rias abordagens alternativas para aplica\u00e7\u00f5es que exijam um planeamento robusto ou a resolu\u00e7\u00e3o de problemas em v\u00e1rias etapas.<\/p><\/li><li><p><strong>O custo da engenharia r\u00e1pida: <\/strong>Embora os pedidos de CoT altamente espec\u00edficos possam produzir bons resultados para conjuntos de problemas restritos, o esfor\u00e7o humano necess\u00e1rio para elaborar esses pedidos pode superar os benef\u00edcios, especialmente devido \u00e0 sua limitada generaliza\u00e7\u00e3o.<\/p><\/li><li><p><strong>Repensar as m\u00e9tricas de avalia\u00e7\u00e3o:<\/strong> O estudo real\u00e7a a import\u00e2ncia de testar modelos de IA em problemas de complexidade e estrutura vari\u00e1veis. Confiar apenas em conjuntos de testes est\u00e1ticos pode sobrestimar as verdadeiras capacidades de racioc\u00ednio de um modelo.<\/p><\/li><li><p><strong>O fosso entre a perce\u00e7\u00e3o e a realidade:<\/strong> Existe uma discrep\u00e2ncia significativa entre a perce\u00e7\u00e3o das capacidades de racioc\u00ednio dos LLM (frequentemente antropomorfizadas no discurso popular) e as suas capacidades reais, tal como demonstrado neste estudo.<\/p><\/li>\n<\/ol>\n\n\n<h2 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"Recommendations_for_AI_Practitioners\"><\/span>Recomenda\u00e7\u00f5es para os profissionais de IA<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n<p>Tendo em conta estes dados, eis algumas recomenda\u00e7\u00f5es fundamentais para os profissionais de IA e para as empresas que trabalham com LLMs:<\/p>\n\n\n<p><strong><u>Pr\u00e1ticas de avalia\u00e7\u00e3o rigorosas:<\/u><\/strong><\/p>\n\n\n<ul class=\"wp-block-list\">\n<li><p>Implementar estruturas de teste que possam gerar problemas de complexidade vari\u00e1vel.<\/p><\/li><li><p>N\u00e3o se baseie apenas em conjuntos de testes est\u00e1ticos ou benchmarks que possam estar representados nos dados de forma\u00e7\u00e3o.<\/p><\/li><li><p>Avaliar o desempenho num espetro de varia\u00e7\u00f5es de problemas para avaliar a verdadeira generaliza\u00e7\u00e3o.<\/p><\/li>\n<\/ul>\n\n\n<p><strong><u>Expectativas realistas para a CdT:<\/u><\/strong><\/p>\n\n\n<ul class=\"wp-block-list\">\n<li><p>Utilizar judiciosamente os est\u00edmulos do CoT, compreendendo as suas limita\u00e7\u00f5es em termos de generaliza\u00e7\u00e3o.<\/p><\/li><li><p>Tenha em aten\u00e7\u00e3o que as melhorias de desempenho do CoT podem ser limitadas a conjuntos de problemas restritos.<\/p><\/li><li><p>Considerar o compromisso entre o esfor\u00e7o de engenharia imediato e os potenciais ganhos de desempenho.<\/p><\/li>\n<\/ul>\n\n\n<p><strong><u>Abordagens h\u00edbridas:<\/u><\/strong><\/p>\n\n\n<ul class=\"wp-block-list\">\n<li><p>Para tarefas de racioc\u00ednio complexas, considerar a combina\u00e7\u00e3o de LLMs com abordagens algor\u00edtmicas tradicionais ou m\u00f3dulos de racioc\u00ednio especializados.<\/p><\/li><li><p>Explorar m\u00e9todos que possam tirar partido dos pontos fortes dos LLM (por exemplo, compreens\u00e3o da linguagem natural), compensando simultaneamente as suas fraquezas em termos de racioc\u00ednio algor\u00edtmico.<\/p><\/li>\n<\/ul>\n\n\n<p><strong><u>Transpar\u00eancia nas aplica\u00e7\u00f5es de IA:<\/u><\/strong><\/p>\n\n\n<ul class=\"wp-block-list\">\n<li><p>Comunicar claramente as limita\u00e7\u00f5es dos sistemas de IA, especialmente quando envolvem tarefas de racioc\u00ednio ou planeamento.<\/p><\/li><li><p>Evitar exagerar as capacidades dos LLMs, particularmente em aplica\u00e7\u00f5es de seguran\u00e7a cr\u00edtica ou de alto risco.<\/p><\/li>\n<\/ul>\n\n\n<p><strong><u>Investiga\u00e7\u00e3o e desenvolvimento cont\u00ednuos:<\/u><\/strong><\/p>\n\n\n<ul class=\"wp-block-list\">\n<li><p>Investir na investiga\u00e7\u00e3o destinada a melhorar as verdadeiras capacidades de racioc\u00ednio dos sistemas de IA.<\/p><\/li><li><p>Explorar arquitecturas alternativas ou m\u00e9todos de forma\u00e7\u00e3o que possam conduzir a uma generaliza\u00e7\u00e3o mais robusta em tarefas complexas.<\/p><\/li>\n<\/ul>\n\n\n<p><strong><u>Afina\u00e7\u00e3o espec\u00edfica do dom\u00ednio:<\/u><\/strong><\/p>\n\n\n<ul class=\"wp-block-list\">\n<li><p>Para dom\u00ednios problem\u00e1ticos estreitos e bem definidos, considere a possibilidade de afinar os modelos com base em dados e padr\u00f5es de racioc\u00ednio espec\u00edficos do dom\u00ednio.<\/p><\/li><li><p>Tenha em aten\u00e7\u00e3o que este ajuste fino pode melhorar o desempenho no dom\u00ednio, mas n\u00e3o pode ser generalizado para al\u00e9m dele.<\/p><\/li>\n<\/ul>\n\n\n<p>Seguindo estas recomenda\u00e7\u00f5es, os profissionais de IA podem desenvolver aplica\u00e7\u00f5es de IA mais robustas e fi\u00e1veis, evitando as potenciais armadilhas associadas \u00e0 sobrestima\u00e7\u00e3o das capacidades de racioc\u00ednio dos actuais LLM. As conclus\u00f5es deste estudo constituem um valioso lembrete da import\u00e2ncia da avalia\u00e7\u00e3o cr\u00edtica e da avalia\u00e7\u00e3o realista no dom\u00ednio da IA em r\u00e1pida evolu\u00e7\u00e3o.<\/p>\n\n\n<h2 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"The_Bottom_Line\"><\/span><strong>A linha de fundo<\/strong><span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n<p>Este estudo pioneiro sobre o est\u00edmulo da cadeia de pensamento em tarefas de planeamento desafia a nossa compreens\u00e3o das capacidades de LLM e leva a uma reavalia\u00e7\u00e3o das actuais pr\u00e1ticas de desenvolvimento de IA. Ao revelar as limita\u00e7\u00f5es da CoT na generaliza\u00e7\u00e3o a problemas complexos, sublinha a necessidade de testes mais rigorosos e de expectativas mais realistas nas aplica\u00e7\u00f5es de IA. <\/p>\n\n\n<p>Para os profissionais de IA e para as empresas, estas conclus\u00f5es sublinham a import\u00e2ncia de combinar os pontos fortes do LLM com abordagens de racioc\u00ednio especializadas, investindo em solu\u00e7\u00f5es espec\u00edficas do dom\u00ednio sempre que necess\u00e1rio e mantendo a transpar\u00eancia sobre as limita\u00e7\u00f5es do sistema de IA. \u00c0 medida que avan\u00e7amos, a comunidade de IA deve concentrar-se no desenvolvimento de novas arquitecturas e m\u00e9todos de forma\u00e7\u00e3o que possam colmatar a lacuna entre a correspond\u00eancia de padr\u00f5es e o verdadeiro racioc\u00ednio algor\u00edtmico. Este estudo serve como um lembrete crucial de que, embora os LLMs tenham feito progressos not\u00e1veis, alcan\u00e7ar capacidades de racioc\u00ednio semelhantes \u00e0s humanas continua a ser um desafio permanente na investiga\u00e7\u00e3o e desenvolvimento da IA.<\/p>","protected":false},"excerpt":{"rendered":"<p>Chain-of-Thought (CoT) prompting has been hailed as a breakthrough in unlocking the reasoning capabilities of large language models (LLMs). This technique, which involves providing step-by-step reasoning examples to guide LLMs, has garnered significant attention in the AI community. Many researchers and practitioners have claimed that CoT prompting allows LLMs to tackle complex reasoning tasks more [&hellip;]<\/p>\n","protected":false},"author":1003,"featured_media":13048,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"single-custom-post-template.php","format":"standard","meta":{"_et_pb_use_builder":"","_et_pb_old_content":"","_et_gb_content_width":"","footnotes":""},"categories":[100,67,119],"tags":[],"class_list":["post-12994","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-generative-ai","category-ml-nlp","category-prompt-engineering"],"yoast_head":"<!-- This site is optimized with the Yoast SEO plugin v24.1 - https:\/\/yoast.com\/wordpress\/plugins\/seo\/ -->\n<title>AI Research Paper Summarized: &quot;Chain of Thought(lessness)?&quot; Prompting - Skim AI<\/title>\n<meta name=\"description\" content=\"Explore the limitations of Chain-of-Thought prompting in LLMs as revealed by recent research. Understand its effectiveness, challenges, and implications for AI development.\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/skimai.com\/pt\/um-artigo-de-investigacao-resumido-sobre-a-cadeia-de-pensamento-da-falta-de-motivacao\/\" \/>\n<meta property=\"og:locale\" content=\"pt_PT\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"AI Research Paper Summarized: &quot;Chain of Thought(lessness)?&quot; Prompting - Skim AI\" \/>\n<meta property=\"og:description\" content=\"Explore the limitations of Chain-of-Thought prompting in LLMs as revealed by recent research. Understand its effectiveness, challenges, and implications for AI development.\" \/>\n<meta property=\"og:url\" content=\"https:\/\/skimai.com\/pt\/um-artigo-de-investigacao-resumido-sobre-a-cadeia-de-pensamento-da-falta-de-motivacao\/\" \/>\n<meta property=\"og:site_name\" content=\"Skim AI\" \/>\n<meta property=\"article:published_time\" content=\"2024-08-30T02:44:22+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2024-08-30T02:44:48+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/skimai.com\/wp-content\/uploads\/2024\/08\/Chain-of-Thought.png\" \/>\n\t<meta property=\"og:image:width\" content=\"1092\" \/>\n\t<meta property=\"og:image:height\" content=\"612\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/png\" \/>\n<meta name=\"author\" content=\"Greggory Elias\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:label1\" content=\"Escrito por\" \/>\n\t<meta name=\"twitter:data1\" content=\"Greggory Elias\" \/>\n\t<meta name=\"twitter:label2\" content=\"Tempo estimado de leitura\" \/>\n\t<meta name=\"twitter:data2\" content=\"8 minutos\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"Article\",\"@id\":\"https:\/\/skimai.com\/ai-research-paper-summarized-chain-of-thought-lessness-prompting\/#article\",\"isPartOf\":{\"@id\":\"https:\/\/skimai.com\/ai-research-paper-summarized-chain-of-thought-lessness-prompting\/\"},\"author\":{\"name\":\"Greggory Elias\",\"@id\":\"https:\/\/skimai.com\/uk\/#\/schema\/person\/7a883b4a2d2ea22040f42a7975eb86c6\"},\"headline\":\"AI Research Paper Summarized: &#8220;Chain of Thought(lessness)?&#8221; Prompting\",\"datePublished\":\"2024-08-30T02:44:22+00:00\",\"dateModified\":\"2024-08-30T02:44:48+00:00\",\"mainEntityOfPage\":{\"@id\":\"https:\/\/skimai.com\/ai-research-paper-summarized-chain-of-thought-lessness-prompting\/\"},\"wordCount\":1451,\"publisher\":{\"@id\":\"https:\/\/skimai.com\/uk\/#organization\"},\"image\":{\"@id\":\"https:\/\/skimai.com\/ai-research-paper-summarized-chain-of-thought-lessness-prompting\/#primaryimage\"},\"thumbnailUrl\":\"https:\/\/skimai.com\/wp-content\/uploads\/2024\/08\/Chain-of-Thought.png\",\"articleSection\":[\"Generative AI\",\"LLMs \/ NLP\",\"Prompt Engineering\"],\"inLanguage\":\"pt-PT\"},{\"@type\":\"WebPage\",\"@id\":\"https:\/\/skimai.com\/ai-research-paper-summarized-chain-of-thought-lessness-prompting\/\",\"url\":\"https:\/\/skimai.com\/ai-research-paper-summarized-chain-of-thought-lessness-prompting\/\",\"name\":\"AI Research Paper Summarized: \\\"Chain of Thought(lessness)?\\\" Prompting - Skim AI\",\"isPartOf\":{\"@id\":\"https:\/\/skimai.com\/uk\/#website\"},\"primaryImageOfPage\":{\"@id\":\"https:\/\/skimai.com\/ai-research-paper-summarized-chain-of-thought-lessness-prompting\/#primaryimage\"},\"image\":{\"@id\":\"https:\/\/skimai.com\/ai-research-paper-summarized-chain-of-thought-lessness-prompting\/#primaryimage\"},\"thumbnailUrl\":\"https:\/\/skimai.com\/wp-content\/uploads\/2024\/08\/Chain-of-Thought.png\",\"datePublished\":\"2024-08-30T02:44:22+00:00\",\"dateModified\":\"2024-08-30T02:44:48+00:00\",\"description\":\"Explore the limitations of Chain-of-Thought prompting in LLMs as revealed by recent research. Understand its effectiveness, challenges, and implications for AI development.\",\"breadcrumb\":{\"@id\":\"https:\/\/skimai.com\/ai-research-paper-summarized-chain-of-thought-lessness-prompting\/#breadcrumb\"},\"inLanguage\":\"pt-PT\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/skimai.com\/ai-research-paper-summarized-chain-of-thought-lessness-prompting\/\"]}]},{\"@type\":\"ImageObject\",\"inLanguage\":\"pt-PT\",\"@id\":\"https:\/\/skimai.com\/ai-research-paper-summarized-chain-of-thought-lessness-prompting\/#primaryimage\",\"url\":\"https:\/\/skimai.com\/wp-content\/uploads\/2024\/08\/Chain-of-Thought.png\",\"contentUrl\":\"https:\/\/skimai.com\/wp-content\/uploads\/2024\/08\/Chain-of-Thought.png\",\"width\":1092,\"height\":612,\"caption\":\"Chain of Thought\"},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\/\/skimai.com\/ai-research-paper-summarized-chain-of-thought-lessness-prompting\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Home\",\"item\":\"https:\/\/skimai.com\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"AI Research Paper Summarized: &#8220;Chain of Thought(lessness)?&#8221; Prompting\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/skimai.com\/uk\/#website\",\"url\":\"https:\/\/skimai.com\/uk\/\",\"name\":\"Skim AI\",\"description\":\"The AI Agent Workforce Platform\",\"publisher\":{\"@id\":\"https:\/\/skimai.com\/uk\/#organization\"},\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/skimai.com\/uk\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"pt-PT\"},{\"@type\":\"Organization\",\"@id\":\"https:\/\/skimai.com\/uk\/#organization\",\"name\":\"Skim AI\",\"url\":\"https:\/\/skimai.com\/uk\/\",\"logo\":{\"@type\":\"ImageObject\",\"inLanguage\":\"pt-PT\",\"@id\":\"https:\/\/skimai.com\/uk\/#\/schema\/logo\/image\/\",\"url\":\"http:\/\/skimai.com\/wp-content\/uploads\/2020\/07\/SKIM-AI-Header-Logo.png\",\"contentUrl\":\"http:\/\/skimai.com\/wp-content\/uploads\/2020\/07\/SKIM-AI-Header-Logo.png\",\"width\":194,\"height\":58,\"caption\":\"Skim AI\"},\"image\":{\"@id\":\"https:\/\/skimai.com\/uk\/#\/schema\/logo\/image\/\"},\"sameAs\":[\"https:\/\/www.linkedin.com\/company\/skim-ai\"]},{\"@type\":\"Person\",\"@id\":\"https:\/\/skimai.com\/uk\/#\/schema\/person\/7a883b4a2d2ea22040f42a7975eb86c6\",\"name\":\"Greggory Elias\",\"url\":\"https:\/\/skimai.com\/pt\/author\/gregg\/\"}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"Resumo do artigo de investiga\u00e7\u00e3o sobre IA: \"Cadeia de Pensamento(menos)?\" Sugest\u00e3o - AI de leitura r\u00e1pida","description":"Explorar as limita\u00e7\u00f5es da indu\u00e7\u00e3o da Cadeia de Pensamento nos LLM, reveladas por investiga\u00e7\u00e3o recente. Compreender a sua efic\u00e1cia, desafios e implica\u00e7\u00f5es para o desenvolvimento da IA.","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/skimai.com\/pt\/um-artigo-de-investigacao-resumido-sobre-a-cadeia-de-pensamento-da-falta-de-motivacao\/","og_locale":"pt_PT","og_type":"article","og_title":"AI Research Paper Summarized: \"Chain of Thought(lessness)?\" Prompting - Skim AI","og_description":"Explore the limitations of Chain-of-Thought prompting in LLMs as revealed by recent research. Understand its effectiveness, challenges, and implications for AI development.","og_url":"https:\/\/skimai.com\/pt\/um-artigo-de-investigacao-resumido-sobre-a-cadeia-de-pensamento-da-falta-de-motivacao\/","og_site_name":"Skim AI","article_published_time":"2024-08-30T02:44:22+00:00","article_modified_time":"2024-08-30T02:44:48+00:00","og_image":[{"width":1092,"height":612,"url":"https:\/\/skimai.com\/wp-content\/uploads\/2024\/08\/Chain-of-Thought.png","type":"image\/png"}],"author":"Greggory Elias","twitter_card":"summary_large_image","twitter_misc":{"Escrito por":"Greggory Elias","Tempo estimado de leitura":"8 minutos"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/skimai.com\/ai-research-paper-summarized-chain-of-thought-lessness-prompting\/#article","isPartOf":{"@id":"https:\/\/skimai.com\/ai-research-paper-summarized-chain-of-thought-lessness-prompting\/"},"author":{"name":"Greggory Elias","@id":"https:\/\/skimai.com\/uk\/#\/schema\/person\/7a883b4a2d2ea22040f42a7975eb86c6"},"headline":"AI Research Paper Summarized: &#8220;Chain of Thought(lessness)?&#8221; Prompting","datePublished":"2024-08-30T02:44:22+00:00","dateModified":"2024-08-30T02:44:48+00:00","mainEntityOfPage":{"@id":"https:\/\/skimai.com\/ai-research-paper-summarized-chain-of-thought-lessness-prompting\/"},"wordCount":1451,"publisher":{"@id":"https:\/\/skimai.com\/uk\/#organization"},"image":{"@id":"https:\/\/skimai.com\/ai-research-paper-summarized-chain-of-thought-lessness-prompting\/#primaryimage"},"thumbnailUrl":"https:\/\/skimai.com\/wp-content\/uploads\/2024\/08\/Chain-of-Thought.png","articleSection":["Generative AI","LLMs \/ NLP","Prompt Engineering"],"inLanguage":"pt-PT"},{"@type":"WebPage","@id":"https:\/\/skimai.com\/ai-research-paper-summarized-chain-of-thought-lessness-prompting\/","url":"https:\/\/skimai.com\/ai-research-paper-summarized-chain-of-thought-lessness-prompting\/","name":"Resumo do artigo de investiga\u00e7\u00e3o sobre IA: \"Cadeia de Pensamento(menos)?\" Sugest\u00e3o - AI de leitura r\u00e1pida","isPartOf":{"@id":"https:\/\/skimai.com\/uk\/#website"},"primaryImageOfPage":{"@id":"https:\/\/skimai.com\/ai-research-paper-summarized-chain-of-thought-lessness-prompting\/#primaryimage"},"image":{"@id":"https:\/\/skimai.com\/ai-research-paper-summarized-chain-of-thought-lessness-prompting\/#primaryimage"},"thumbnailUrl":"https:\/\/skimai.com\/wp-content\/uploads\/2024\/08\/Chain-of-Thought.png","datePublished":"2024-08-30T02:44:22+00:00","dateModified":"2024-08-30T02:44:48+00:00","description":"Explorar as limita\u00e7\u00f5es da indu\u00e7\u00e3o da Cadeia de Pensamento nos LLM, reveladas por investiga\u00e7\u00e3o recente. Compreender a sua efic\u00e1cia, desafios e implica\u00e7\u00f5es para o desenvolvimento da IA.","breadcrumb":{"@id":"https:\/\/skimai.com\/ai-research-paper-summarized-chain-of-thought-lessness-prompting\/#breadcrumb"},"inLanguage":"pt-PT","potentialAction":[{"@type":"ReadAction","target":["https:\/\/skimai.com\/ai-research-paper-summarized-chain-of-thought-lessness-prompting\/"]}]},{"@type":"ImageObject","inLanguage":"pt-PT","@id":"https:\/\/skimai.com\/ai-research-paper-summarized-chain-of-thought-lessness-prompting\/#primaryimage","url":"https:\/\/skimai.com\/wp-content\/uploads\/2024\/08\/Chain-of-Thought.png","contentUrl":"https:\/\/skimai.com\/wp-content\/uploads\/2024\/08\/Chain-of-Thought.png","width":1092,"height":612,"caption":"Chain of Thought"},{"@type":"BreadcrumbList","@id":"https:\/\/skimai.com\/ai-research-paper-summarized-chain-of-thought-lessness-prompting\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Home","item":"https:\/\/skimai.com\/"},{"@type":"ListItem","position":2,"name":"AI Research Paper Summarized: &#8220;Chain of Thought(lessness)?&#8221; Prompting"}]},{"@type":"WebSite","@id":"https:\/\/skimai.com\/uk\/#website","url":"https:\/\/skimai.com\/uk\/","name":"IA de desnata\u00e7\u00e3o","description":"A plataforma de for\u00e7a de trabalho de agentes de IA","publisher":{"@id":"https:\/\/skimai.com\/uk\/#organization"},"potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/skimai.com\/uk\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"pt-PT"},{"@type":"Organization","@id":"https:\/\/skimai.com\/uk\/#organization","name":"IA de desnata\u00e7\u00e3o","url":"https:\/\/skimai.com\/uk\/","logo":{"@type":"ImageObject","inLanguage":"pt-PT","@id":"https:\/\/skimai.com\/uk\/#\/schema\/logo\/image\/","url":"http:\/\/skimai.com\/wp-content\/uploads\/2020\/07\/SKIM-AI-Header-Logo.png","contentUrl":"http:\/\/skimai.com\/wp-content\/uploads\/2020\/07\/SKIM-AI-Header-Logo.png","width":194,"height":58,"caption":"Skim AI"},"image":{"@id":"https:\/\/skimai.com\/uk\/#\/schema\/logo\/image\/"},"sameAs":["https:\/\/www.linkedin.com\/company\/skim-ai"]},{"@type":"Person","@id":"https:\/\/skimai.com\/uk\/#\/schema\/person\/7a883b4a2d2ea22040f42a7975eb86c6","name":"Greggory Elias","url":"https:\/\/skimai.com\/pt\/author\/gregg\/"}]}},"_links":{"self":[{"href":"https:\/\/skimai.com\/pt\/wp-json\/wp\/v2\/posts\/12994","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/skimai.com\/pt\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/skimai.com\/pt\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/skimai.com\/pt\/wp-json\/wp\/v2\/users\/1003"}],"replies":[{"embeddable":true,"href":"https:\/\/skimai.com\/pt\/wp-json\/wp\/v2\/comments?post=12994"}],"version-history":[{"count":0,"href":"https:\/\/skimai.com\/pt\/wp-json\/wp\/v2\/posts\/12994\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/skimai.com\/pt\/wp-json\/wp\/v2\/media\/13048"}],"wp:attachment":[{"href":"https:\/\/skimai.com\/pt\/wp-json\/wp\/v2\/media?parent=12994"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/skimai.com\/pt\/wp-json\/wp\/v2\/categories?post=12994"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/skimai.com\/pt\/wp-json\/wp\/v2\/tags?post=12994"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}