실시간 프로덕션 모델 - 벤치마크 테스트와 어떻게 다른가요?

        
실시간 프로덕션 모델과 벤치마크 테스트란 무엇인가요?
      
    실시간 생산 모델은 사용자가 생산 중에 수집한 데이터를 가지고 현재 생산 능력을 분석하고 미래의 생산 결과를 예측할 수 있는 모델입니다. 이는 생산을 최적화하고 '출시 전' 성능을 평가하기 위한 모델로, 즉 성능 예측 도구입니다. 생산 모델은 다양한 형태를 취하지만, 최근 인기를 얻고 있는 생산 모델링 방법 중 하나는 머신 러닝 알고리즘입니다. 머신 러닝 알고리즘은 과거 데이터를 학습한 다음 과거 데이터에서 얻은 교훈에 비추어 현재 생산 상태를 평가하고 예측함으로써 생산 모델을 만듭니다. 

이 글에서는 텍스트 분석을 위한 머신 러닝이라는 생산 모델의 예를 살펴볼 것입니다. 이러한 유형의 머신 러닝 생산 모델은 다음과 같은 형태를 취합니다:

• 생산 프로세스: 텍스트 데이터 분석, 즉 기사.
• 생산 제품/출력물: 가장 많은 것을 간결하게 요약한 것
  기사에서 중요한 사실을 확인합니다.
• 프로덕션 모델: 머신러닝 알고리즘을 적용하여
  기사.

이 생산 모델은 과거 기사에서 관련 정보를 학습한 다음 이 학습한 정보를 적용하여 새 기사를 요약합니다. 실시간 생산 모델과 달리 벤치마크 테스트는 생산의 최종 결과물을 소급하여 평가하는 데 사용됩니다. 생산 프로세스와 최종 제품에 대한 데이터를 수집하고 이 데이터를 사용하여 표준 테스트 세트를 실행하여 제품 품질과 성능을 결정합니다. 벤치마크 테스트는 다른 회사의 유사 제품을 "능가"하거나 이전 성능 벤치마크를 능가하는 것을 목표로 하는 경쟁 기반 테스트이며, "출시 후" 성능을 측정합니다.

벤치마크 테스트에는 다음이 포함됩니다:

• 프로덕션 전반에 걸쳐 미리 정해진 시간에 데이터를 수집합니다.
• 반복 가능한 데이터 수집 - 모든 프로덕션과 제품에 대해 동일한 데이터를 수집합니다.
• 데이터에 대해 사전 정의된 표준화된 테스트 세트를 수행합니다.
• 최종 제품에 점수를 매기고 이 점수를 다른 제품과 비교합니다.

벤치마크 테스트와 생산 모델의 전반적인 주요 차이점은 "내 제품이 다른 제품과 비교하여 얼마나 잘 작동했는가"와 "최상의 제품을 생산하기 위해 현재 생산을 어떻게 최적화할 수 있는가"라는 질문의 차이입니다.

1. 데이터 요구 사항 - 실시간 생산 모델에 필요한 데이터는 무엇인가요?

    
잘 개발되고 훈련된 생산 모델은 많은 이점을 제공하지만, 이러한 모델도 쉽게 해가 될 수 있습니다. 제대로 개발되지 않은 모델은 오해의 소지가 있거나 편향되거나 심지어 말도 안 되는 결과를 도출할 가능성이 있습니다. 생산 모델의 품질을 결정하는 결정적인 요소는 학습에 사용되는 데이터의 품질입니다. 머신 러닝 알고리즘을 제작할 때 가장 중요한 질문은 항상 모델을 적절하게 학습시키는 데 필요한 데이터의 종류와 양이 얼마인가 하는 것입니다.

텍스트 분석에 필요한 데이터는 다음과 같이 분류할 수 있습니다:

• 애플리케이션에 따라 교육에 필요한 기사, 즉 학술 논문과 신문, 블로그 중 어떤 기사가 필요한가요?
• 텍스트에 대해 어떤 문맥이 필요한지, 즉 글 내에서 어떤 단어, 단어 조합 및 단어 정의가 가장 관련성이 높은지?
• 알고리즘이 학습을 위해 얼마나 많은 기사를 사용해야 하나요?

일반적으로 학습 데이터는 많을수록 좋으며, 데이터에는 가능한 한 많은 컨텍스트가 필요합니다. 또한 학습 데이터는 현재 사용 사례와 일치해야 합니다. 즉, 분석할 텍스트가 과학 블로그 게시물인 경우 생산 모델에 대한 학습 데이터에는 과학 기사와 관련 블로그 게시물이 모두 포함되어야 합니다. 학습 데이터의 분포가 분석 대상 텍스트의 주제와 일치할수록 더 나은 요약 정보를 얻을 수 있습니다.

2. 데이터 튜닝 - 프로덕션 모델에 대한 학습 데이터는 어떻게 수집되나요?

    Data tuning relates to how and what data is input into the benchmark test /

production model. This is straightforward for benchmark testing: determine the data to collect during production and how often to collect it. The data needs of the benchmark test are derived from the relative accuracy of previous benchmark tests.


Contrast this with production modeling, where machine learning algorithms are used to predict outputs during production. In this case, data tuning is finding the right data to collect to train the production model. For
text analysis, this involves:

• 충분히 많은 양의 관련 문서 세트를 선택합니다.
• Providing a lexicon, or context, for the articles - the words, groups of words, and word definitions that convey the most relevant information.
• 기사에서 학습 - 데이터 집합을 반복하여 어떤 어휘집의 하위 집합이 가장 좋은 정보 요약을 담고 있는지 알아보세요.
• 이 어휘집을 새 문서에 적용하기: 프로덕션 모델 실행하기.

3. 데이터 불균형 - 실시간 생산 모델에 적합한 학습 데이터를 어떻게 선택할 수 있을까요?

    
실시간 프로덕션 모델을 위한 학습 데이터 세트를 조정하는 것은 간단한 작업이 아닙니다. 학습을 위해 수집된 모든 데이터가 유용한 것은 아니며, 종종 다운셀렉션이 필요합니다. 데이터는 요약되는 텍스트와 관련이 있어야 하지만, 너무 구체적이어서 관련 정보의 제한된 하위 집합을 찾아내거나 너무 모호해서 너무 많은 정보를 찾아내서도 안 됩니다. 또한 학습 데이터에는 항상 불균형이 존재합니다. 하나의 특정 사용 사례를 대상으로 하는 충분한 양의 학습 데이터 세트를 찾는 것은 거의 불가능하므로 학습 데이터는 연구 중인 주제의 분포에 가장 잘 맞도록 주제별로 균형을 맞춰야 합니다.

학습 데이터를 선택하는 과정에서 다음과 같은 몇 가지 함정이 발생할 수 있습니다:

• 너무 광범위한 입력 문서 세트를 선택하면 요약이 너무 길거나 모호해집니다.
• 너무 좁은 입력 문서 세트를 선택하면 핵심 정보가 누락된 요약이 생성됩니다.
• 품질이 낮은 기사, 즉 의견에 기반한 출처를 선택하면 편향된 요약이 작성될 수 있습니다.
• 입력 기사에 적용할 어휘를 잘못 선택하면 말도 안 되는 요약이 생성됩니다.

올바른 학습 데이터 세트를 찾는 것은 간단한 작업이 아니며 학습 데이터의 양, 학습 데이터의 관련성, 최적의 컨텍스트에서 절충점을 찾아야 합니다.

4. 새로운 어휘 - 다양한 프로덕션 모델에서 트레이닝 데이터를 어떻게 적용하나요?

    
올바른 학습 집합을 찾고 이 학습 집합을 주어진 사용 사례에 맞게 조정하는 것은 많은 비용과 시간이 소요되는 작업일 수 있습니다. 학습 세트 개발과 관련된 비용 때문에 애플리케이션 전반에서 학습 데이터를 확장하고자 하는 욕구가 생깁니다. 이상적으로는 한 문서 세트에 대해 학습된 생산 모델을 다른 애플리케이션으로 확장할 수 있습니다. 목표는 여러 프로덕션 모델 사용 사례에 적용할 수 있도록 학습 데이터를 수집, 구성 및 컨텍스트를 제공하는 것입니다.

그러나 새 생산 모델은 이전 생산 모델의 문맥을 이해할 수 없습니다. 기존 모델에서 학습되지 않은 어휘가 어휘집에 새로 추가될 때마다 정확도가 떨어집니다. 따라서 텍스트 분석 생산 모델을 다시 조정해야 합니다. 즉, 새로운 어휘를 학습시켜야 합니다. 그렇다고 해서 기존 생산 모델을 새로운 도메인에 완전히 적용할 수 없다는 뜻은 아닙니다. 사용 사례 전반에서 정확도 손실을 완화하기 위한 몇 가지 전략이 존재하며, 여기에는 다음과 같은 것들이 포함됩니다:

• 학습 데이터 어휘를 특정 문자 조합이나 빈도가 높은 단어와 같은 하위 그룹으로 세분화합니다.
• 공동 학습: 각 문서에 대해 서로 다른 두 가지 컨텍스트로 학습 데이터 세트를 생성합니다.
• 트림 손실 최소화: 어떤 기사가 전체 정확도 손실을 줄이는지 추정하여 새 모델을 훈련할 기사의 하위 집합을 결정합니다.

5. 시간 지연 - 프로덕션 모델을 실행하는 데 걸리는 시간은 얼마나 되나요?

    
실시간 생산 모델은 종종 '실시간'이라는 이름을 붙이지만, 사용 가능한 최신 생산 데이터를 활용하기 때문에 실제로는 다양한 시간 범위에서 실행될 수 있습니다. 예를 들어, 프로덕션 모델은 정보의 추세를 분석하도록 설계되었기 때문에 며칠 분량의 학습 데이터가 필요할 수 있으며, 실제로는 다양한 데이터 요구 사항에 따라 런타임이 정의됩니다. 그러나 일단 실행되면 이 프로덕션 모델은 단 몇 분 만에 실행되어 새로운 데이터를 분석할 수 있습니다.

텍스트 분석의 시간 지연은 모델에 대한 기대치와 관련이 있습니다:

• 프로덕션 모델을 학습시키는 데 얼마나 걸리나요 / 얼마나 많은 학습 데이터를 수집해야 하나요?
• How often does the model need to predict performance - hourly, daily, weekly, etc.?
• 얼마나 많은 데이터가 모델링될까요, 짧은 블로그, 저널 기사, 책 한 장 등?
• 얼마나 많은 사람의 개입이 필요한가 - 모델 출력의 정확성을 확인하고 작업자가 해석하는 빈도는 얼마나 되는가?

프로덕션 모델링은 사전 예방적 또는 예측적 성과 측정을 제공합니다. 더 나은 최종 제품을 만드는 방법을 결정하기 위해 '미리' 성능을 평가합니다. 앞서 제시한 텍스트 분석의 경우, 생산 모델은 텍스트 문서에 포함된 어떤 정보가 주어진 애플리케이션과 가장 관련성이 높은지 예측합니다. 생산 모델이 실행되고 제품이 생산되면 벤치마크 테스트를 실행하여 최종 제품의 가치를 평가할 수 있습니다. 프로덕션 모델은 다음과 같은 몇 가지 주요 이점을 제공합니다:

• 생산 과정에서 생산 방식이 최적화되어 생산 비용이 절감됩니다.
• 데이터와 작업자의 상호 작용이 줄어들어 출력의 편향성이 감소합니다.
• 제작 과정에서 더 많은 학습 데이터가 수집됨에 따라 시간이 지남에 따라 정확도가 향상됩니다.
• 실시간으로 프로덕션을 변경할 수 있어 민첩성이 향상됩니다.

머신 러닝 알고리즘이 점점 더 정교해짐에 따라 생산 모델링은 생산에 유익할 뿐만 아니라 필수적인 도구가 될 것입니다. 따라서 생산 모델링을 조기에 도입하는 것은 위험은 낮고 보상은 매우 높으며, 생산 모델은 향후 생산 방식을 형성하는 데 중요한 역할을 하게 될 것입니다.

Skim AI에 대해 자세히 알아보세요.

    
AI-enabled research management system for market-intelligence.
       
        
                    무료 상담