WebPilot과 같은 웹 액세스 플러그인이 어떻게 개선될 수 있는지 보여주는 ChatGPT의 자체 평가

빠르게 진화하는 기술 생태계에서 Open AI의 인공지능(AI) 혁신은 달성 가능한 것의 한계를 지속적으로 넓혀가고 있습니다. 이러한 발전에는 신중한 탐색이 필요한 복잡한 과제가 수반됩니다. 제너레이티브 AI ChatGPT와 같은 기술 및 WebPilot과 같은 관련 웹 액세스 플러그인은 이러한 검색과 복잡성의 교차로에 있습니다.

ChatGPT의 웹 브라우징 및 웹 파일럿 성능 평가하기

웹 브라우징 속성과 플러그인을 ChatGPT에 통합한 것은 흥미로운 혁신입니다. 그러나 이러한 도구의 성능, 특히 ChatGPT 플러스 베타 버전에서의 성능은 다양한 결과를 낳았습니다. 사용자는 웹 브라우징 기능 또는 ChatGPT 플러그인 중 하나를 선택해야 하며, 두 가지를 동시에 사용할 수 없어 내재적인 제약이 존재합니다.

웹 브라우징 기능은 특정 주제를 조사하는 데 잠재력을 보여주지만 단점이 없는 것은 아닙니다. 프롬프트 제출 후 이 모델은 웹을 탐색하고, 검색 결과를 공식화하고, 링크를 클릭하고, 결과를 압축합니다. 이 기능은 정확한 검색어를 생성하는 놀라운 능력에도 불구하고 반복되는 '클릭 실패' 알림, 요약의 정확도 불일치, 간혹 제공된 프롬프트에 대한 관련 없는 응답과 같은 눈에 띄는 문제를 야기합니다.

ChatGPT의 플러그인은 다음과 같습니다. 웹파일럿 는 처음에는 유망해 보이며 표준 브라우징 기능보다 성능이 뛰어난 경우가 많습니다. 하지만 여전히 압도적인 사용자 경험을 제공하지 못합니다. 플러그인 스토어 자체는 체계적인 구조나 특정 플러그인을 찾을 수 있는 검색창이 없는 등 무질서해 보입니다. 사용자가 동시에 최대 3개의 플러그인을 활성화할 수 있지만, 쿼리에 응답할 때 모델이 이러한 플러그인을 활용한다는 보장은 없습니다. 게다가 플러그인은 문제 해결에 어려움을 겪으며 부정확하거나 관련 없는 응답을 제공하는 경우가 많습니다.

웹파일럿에 대한 ChatGPT의 자체 평가

최근 저희와의 대화 중 ChatGPT는 WebPilot 플러그인의 성능에 대한 솔직한 리뷰를 통해 비효율적인 부분과 잠재적인 개선 사항을 강조했습니다.

플러그인의 순차적 페이지 분석은 특히 페이지 수가 많은 웹사이트의 주요 관심사로 떠올랐습니다. 병렬 처리로 전환하면 분석 속도가 크게 향상되어 여러 페이지를 동시에 분석할 수 있습니다.

ChatGPT는 웹페이지 로딩 시간에 대한 우려도 제기했습니다. 멀티미디어가 풍부한 사이트의 경우 사이트 분석 기간에 영향을 미칠 수 있습니다. 따라서 플러그인이 SEO 분석에 필수적인 요소만 로드할 수 있도록 업데이트하면 이 문제를 완화할 수 있습니다.

또한 ChatGPT는 사용자 상호 작용이나 기타 요인에 따라 자주 변경되는 동적 웹사이트 콘텐츠를 관리하는 데 어려움이 있음을 확인했습니다. 현재로서는 WebPilot이 이러한 동적 콘텐츠를 완전히 이해하지 못해 SEO 분석의 정확성에 영향을 미칠 수 있습니다. 이 부문을 개선하면 분석 품질을 크게 향상시킬 수 있습니다.

오류 처리는 또 다른 주요 문제였습니다. 현재는 분석 중에 페이지가 로드되지 않거나 오류가 발생하면 플러그인이 전체 프로세스를 중단할 수 있습니다. 보다 탄력적인 오류 처리 메커니즘을 사용하면 플러그인이 문제가 있는 페이지를 우회하고 나머지 분석을 계속 진행할 수 있습니다.

마지막으로 ChatGPT는 현재의 사이트맵 검색 및 분석 방식이 잠재적인 병목 현상을 일으킬 수 있다고 지적했습니다. 일부 웹사이트는 복잡한 사이트맵 구조나 여러 개의 사이트맵 파일을 갖추고 있어 초기 검색 프로세스가 느려질 수 있습니다. 플러그인이 사이트맵을 구문 분석하고 처리하는 방식을 개선하면 이 프로세스를 신속하게 처리하여 전반적인 효율성을 향상시킬 수 있습니다.

이번 평가에서 ChatGPT는 WebPilot 플러그인의 현재 한계를 예리하게 인식하고 있었습니다. 제안된 잠재적 개선 사항은 향후 플러그인의 발전 가능성을 시사합니다.

웹 파일럿과 프롬프트 주입 문제

ChatGPT 플러그인은 사용자 상호작용을 강화하여 웹 페이지 요약, 항공편 예약 등과 같은 작업을 가능하게 하는 것을 목표로 합니다. 하지만 최근 테스트에서 이러한 플러그인, 특히 WebPilot 플러그인의 취약점이 노출되었습니다.

웹 콘텐츠를 간결하게 요약하는 기능으로 잘 알려진 WebPilot은 최근 데이터 프라이버시 문제의 중심에 서게 되었습니다. 보안 연구원인 요한 레버거가 그 주인공입니다, 웹 파일럿이 요약하는 페이지의 텍스트에서 프롬프트를 흡수할 수 있다는 사실을 발견했습니다.. 그러면 이러한 프롬프트가 실수로 다른 플러그인을 활성화할 수 있습니다.

*LLM에서 프롬프트의 역할에 대해 자세히 알아보려면 다음을 확인하세요. 블로그.

라이브 데모에서 리버거는 복사한 기사에 시애틀에서 하와이로 가는 항공편을 검색하도록 봇에 명령하는 프롬프트를 삽입했습니다. 기사의 URL을 요약해 달라는 요청에 WebPilot은 정확한 요약을 생성했을 뿐만 아니라 여행 계획에 대한 단락도 추가했습니다. 이 봇은 추가 권한을 요청하지 않고도 익스피디아 플러그인을 활성화하여 항공편 추천을 제공했는데, 이는 최근 이슈가 되고 있는 '프롬프트 인젝션' 문제를 생생하게 보여주는 예시입니다.

프롬프트 인젝션: 새로운 보안 위협

레버거가 만든 시나리오는 "프롬프트 인젝션 공격"의 예시입니다. 이 유형의 공격은 웹 페이지에 숨겨진 지침이나 변조된 스크립트 등의 외부 프롬프트가 한 플러그인에 의해 소비되어 다른 플러그인이 예기치 않게 활성화될 때 발생합니다. 불안한 부분은 이 과정이 사용자의 명시적인 동의 없이 발생한다는 점입니다.

레버거의 데모에서는 그 영향이 비교적 무해했습니다. Expedia 플러그인은 단순히 항공편을 추천하는 데 그쳤고, 추가 진행을 위해서는 사용자의 참여가 필요했습니다. 하지만 앞으로 나아갈 때 그 의미를 깊이 생각해 보세요. 일부 플러그인은 현재 또는 향후에 이메일이나 은행 계좌와 같은 민감한 정보에 액세스할 수 있습니다. 이러한 경우 피해가 발생할 가능성이 훨씬 더 큽니다.

앞으로의 전망

현재 존재하는 성능 및 보안 문제를 고려할 때 WebPilot과 같은 ChatGPT 플러그인에는 여전히 개선의 여지가 상당히 많다는 것이 분명합니다. 원활하게 통합된 AI를 향한 여정은 현재 진행 중이며, 현장에서 의미 있는 진전을 이루기 위해서는 이러한 과제를 파악하고 면밀히 조사하여 해결하는 것이 중요합니다. 이러한 도구를 개선하기 위한 후속 단계에서는 이러한 문제에 집중하여 사용자 경험과 웹 접근성을 우선시하는 보다 안전하고 신뢰할 수 있으며 실용적인 AI 솔루션으로 나아가야 할 것입니다.