Produktionsmodelle in Echtzeit - Wie unterscheiden sie sich von Benchmark-Tests?

        
Was sind Echtzeit-Produktionsmodelle und Benchmark-Tests?
      
    Bei Echtzeit-Produktionsmodellen handelt es sich um Modelle, die es den Nutzern ermöglichen, anhand der während der Produktion erfassten Daten sowohl die aktuellen Produktionskapazitäten zu analysieren als auch künftige Produktionsergebnisse vorherzusagen. Es handelt sich um Modelle zur Optimierung der Produktion und zur Bewertung der Leistung "vor der Freigabe", d. h. es sind Werkzeuge zur Leistungsvorhersage. Es gibt viele Formen von Produktionsmodellen, aber eine Methode zur Produktionsmodellierung, die immer beliebter wird, sind Algorithmen des maschinellen Lernens. Algorithmen des maschinellen Lernens erstellen Produktionsmodelle, indem sie aus vergangenen Daten lernen und dann unter Berücksichtigung der aus den vergangenen Daten gewonnenen Erkenntnisse Bewertungen und Vorhersagen zum aktuellen Produktionsstatus treffen. 

 

Für die Zwecke dieses Artikels wird ein beispielhaftes Produktionsmodell untersucht: maschinelles Lernen für die Textanalyse. Diese Art des maschinellen Lernens hat die Form eines Produktionsmodells:

• Der Produktionsprozess: Analyse von Textdaten, d. h. eines Artikels.
• Das Produktionsprodukt / der Output: eine kurze Zusammenfassung der wichtigsten
  wichtige Fakten in dem Artikel.
• Das Produktionsmodell: der Algorithmus für maschinelles Lernen, der auf die
  Artikel.

Dieses Produktionsmodell lernt relevante Informationen aus vergangenen Artikeln und wendet diese Informationen dann an, um neue Artikel zusammenzufassen. Im Gegensatz zu Echtzeit-Produktionsmodellen werden Benchmark-Tests verwendet, um das Endergebnis der Produktion rückwirkend zu bewerten. Es werden Daten sowohl über den Produktionsprozess als auch über das Endprodukt gesammelt, und anhand dieser Daten wird ein Standardsatz von Tests durchgeführt, um die Produktqualität und -leistung zu bestimmen. Benchmark-Tests sind wettbewerbsorientiert, mit dem Ziel, entweder ähnliche Produkte anderer Unternehmen zu "schlagen" oder frühere Leistungsbenchmarks zu übertreffen, und messen die Leistung "nach der Veröffentlichung".

Benchmark-Tests umfassen:

• Erfassen von Daten zu festgelegten Zeitpunkten während der Produktion.
• Erfassen von wiederholbaren Daten - für jede Produktion und jedes Produkt werden die gleichen Daten erfasst.
• Durchführung einer vordefinierten, standardisierten Reihe von Tests mit den Daten.
• Bewertung des Endprodukts und Vergleich dieser Bewertung mit anderen Produkten.

Der Hauptunterschied zwischen Benchmark-Tests und Produktionsmodellen ist der Unterschied zwischen der Frage "wie gut hat mein Produkt im Vergleich zu anderen Produkten abgeschnitten" und der Frage "wie kann ich meine derzeitige Produktion optimieren, um das bestmögliche Produkt herzustellen".

1. Datenbedarf - Welche Daten werden für Echtzeit-Produktionsmodelle benötigt?

    
Ein gut entwickeltes und trainiertes Produktionsmodell bietet eine Fülle von Vorteilen, aber diese Modelle können genauso gut auch nachteilig sein. Ein schlecht entwickeltes Modell kann zu irreführenden, verzerrten oder sogar unsinnigen Ergebnissen führen. Der entscheidende Faktor für die Qualität des Produktionsmodells ist die Qualität der Daten, die zum Trainieren des Modells verwendet werden. Bei der Entwicklung von Algorithmen für maschinelles Lernen stellt sich immer die Frage, welche und wie viele Daten das Modell benötigt, um angemessen trainiert werden zu können.

Der Datenbedarf für die Textanalyse lässt sich wie folgt aufschlüsseln:

• Welche Artikel werden je nach Anwendung für die Schulung benötigt, d. h. wissenschaftliche Artikel, Zeitungen oder Blogs?
• Welcher Kontext wird für den Text benötigt, d. h. welche Wörter, Wortkombinationen und Wortdefinitionen innerhalb des Artikels sind am wichtigsten?
• Wie viele Artikel muss der Algorithmus für das Training verwenden?

Im Allgemeinen sind mehr Trainingsdaten besser, und die Daten müssen so viel Kontext wie möglich enthalten. Außerdem sollten die Trainingsdaten dem aktuellen Anwendungsfall entsprechen. Das heißt, wenn es sich bei dem zu analysierenden Text um einen wissenschaftlichen Blogbeitrag handelt, sollten die Trainingsdaten für das Produktionsmodell sowohl wissenschaftliche Artikel als auch entsprechende Blogbeiträge enthalten. Je besser die Verteilung der Trainingsdaten mit dem Thema des zu analysierenden Textes übereinstimmt, desto besser werden die zusammenfassenden Informationen sein.

2. Daten-Tuning - Wie werden die Trainingsdaten für die Produktionsmodelle gesammelt?

    Data tuning relates to how and what data is input into the benchmark test /

production model. This is straightforward for benchmark testing: determine the data to collect during production and how often to collect it. The data needs of the benchmark test are derived from the relative accuracy of previous benchmark tests.


Contrast this with production modeling, where machine learning algorithms are used to predict outputs during production. In this case, data tuning is finding the right data to collect to train the production model. For
text analysis, this involves:

• Auswahl einer ausreichend großen Menge relevanter Artikel.
• Providing a lexicon, or context, for the articles - the words, groups of words, and word definitions that convey the most relevant information.
• Lernen aus den Artikeln - Iteration über den Datensatz, um herauszufinden, welche Teilmenge des Lexikons die beste Zusammenfassung der Informationen enthält.
• Anwendung dieses Lexikons auf neue Artikel: Durchführung des Produktionsmodells.

3. Datenungleichgewicht - Wie können die richtigen Trainingsdaten für Echtzeit-Produktionsmodelle ausgewählt werden?

    
Die Abstimmung des Trainingsdatensatzes für Echtzeit-Produktionsmodelle ist keine triviale Aufgabe. Nicht alle für das Training gesammelten Daten werden nützlich sein, und oft ist eine Auswahl nach unten erforderlich. Die Daten müssen für den zusammenzufassenden Text relevant sein, dürfen aber nicht so spezifisch sein, dass nur eine begrenzte Teilmenge relevanter Informationen gefunden wird, aber auch nicht so vage, dass zu viele Informationen gefunden werden. Außerdem wird es immer ein Ungleichgewicht in den Trainingsdaten geben. Es ist unwahrscheinlich, einen ausreichend großen Trainingsdatensatz zu finden, der auf einen bestimmten Anwendungsfall abzielt, daher müssen die Trainingsdaten auf verschiedene Themenbereiche verteilt werden, um der Verteilung des untersuchten Themas bestmöglich zu entsprechen.

Bei der Auswahl der Trainingsdaten können verschiedene Fallstricke auftreten, wie z. B.:

• Auswahl einer zu breiten Palette von Input-Artikeln, was zu langen oder zu vagen Zusammenfassungen führt.
• Auswahl einer zu engen Gruppe von Eingangsartikeln, was zu Zusammenfassungen führt, denen wichtige Informationen fehlen.
• Auswahl von Artikeln schlechter Qualität, d. h. von meinungsbasierten Quellen, was zu voreingenommenen Zusammenfassungen führt.
• Auswahl des falschen Lexikons für die Eingabeartikel, was zu unsinnigen Zusammenfassungen führt.

Die Suche nach dem richtigen Trainingsdatensatz ist keine triviale Aufgabe und erfordert Kompromisse bei der Menge der Trainingsdaten, der Relevanz der Trainingsdaten und dem optimalen Kontext.

4. Neue Vokabulare - Wie werden Ausbildungsdaten in verschiedenen Produktionsmodellen angewendet?

    
Die Suche nach dem richtigen Trainingsset und die Abstimmung dieses Trainingssets auf den jeweiligen Anwendungsfall kann eine teure und zeitaufwändige Aufgabe sein. Die mit der Entwicklung von Trainingssätzen verbundenen Kosten führen zu dem Wunsch, die Trainingsdaten anwendungsübergreifend zu erweitern. Idealerweise könnte ein Produktionsmodell, das mit einem Satz von Artikeln trainiert wurde, auf andere Anwendungen ausgeweitet werden. Das Ziel ist es, die Trainingsdaten zu sammeln, zu organisieren und in einen Kontext zu stellen, so dass sie für mehrere Anwendungsfälle des Produktionsmodells verwendet werden können.

Allerdings kann das neue Produktionsmodell den Kontext des alten Produktionsmodells nicht verstehen. Jedes neue Wort im Lexikon, auf das das alte Modell nicht trainiert wurde, führt zu einem Verlust an Genauigkeit. Daher müssen die Produktionsmodelle für die Textanalyse neu abgestimmt werden, d. h. sie müssen ein neues Vokabular erhalten, auf das sie trainiert werden. Das bedeutet jedoch nicht, dass alte Produktionsmodelle für neue Bereiche völlig unbrauchbar sind. Es gibt mehrere Strategien, um den Verlust an Genauigkeit in verschiedenen Anwendungsfällen zu verringern, darunter:

• Aufteilung des Lexikons der Trainingsdaten in Untergruppen, z. B. bestimmte Buchstabenkombinationen oder Wörter mit hoher Häufigkeit.
• Co-Training: Erstellung des Trainingsdatensatzes mit zwei verschiedenen Kontexten für jeden Artikel.
• Trimmed Loss Minimization: Bestimmung der Teilmenge von Artikeln für das Training des neuen Modells durch Abschätzung, welche Artikel den Gesamtverlust an Genauigkeit verringern.

5. Zeitlatenz - Wie lange brauchen die Produktionsmodelle für die Ausführung?

    
Obwohl Echtzeit-Produktionsmodelle oft den Namen "Echtzeit" tragen, weil sie die aktuellsten verfügbaren Produktionsdaten nutzen, können sie in der Tat auf vielen Zeitskalen laufen. In der Praxis wird die Laufzeit durch unterschiedliche Datenanforderungen bestimmt. Ein Produktionsmodell kann z. B. für die Analyse von Informationstrends konzipiert sein und benötigt daher Trainingsdaten für mehrere Tage. Einmal ausgeführt, kann dieses Produktionsmodell jedoch in wenigen Minuten ausgeführt werden, um neue Daten zu analysieren.

 

Die Latenzzeit für die Textanalyse hängt davon ab, welche Erwartungen an das Modell gestellt werden:

• Wie lange dauert es, das Produktionsmodell zu trainieren / wie viele Trainingsdaten müssen gesammelt werden?
• How often does the model need to predict performance - hourly, daily, weekly, etc.?
• Wie viele Daten sollen modelliert werden, ein kurzer Blog, ein Zeitschriftenartikel, ein Buchkapitel usw.?
• Wie viel menschliche Interaktion ist erforderlich - wie oft werden die Modellergebnisse auf ihre Genauigkeit überprüft und von einem menschlichen Bediener interpretiert?

Die Produktionsmodellierung bietet proaktive oder vorausschauende Leistungsmessungen. Sie bewerten die Leistung "vor der Kurve", um zu ermitteln, wie ein besseres Endprodukt erstellt werden kann. Im vorliegenden Fall der Textanalyse sagen Produktionsmodelle voraus, welche in einem Textartikel enthaltenen Informationen für eine bestimmte Anwendung am relevantesten sind. Sobald die Produktionsmodelle ausgeführt und ein Produkt erstellt wurde, können Benchmark-Tests durchgeführt werden, um den Wert des Endprodukts zu bewerten. Produktionsmodelle bieten mehrere wichtige Vorteile, wie zum Beispiel:

• Geringere Produktionskosten, da die Produktionsverfahren während der Produktion optimiert werden.
• Geringere Verzerrung der Ergebnisse, da die Interaktion des Bedieners mit den Daten reduziert wird.
• Die Genauigkeit wird im Laufe der Zeit verbessert, da während der Produktion mehr Trainingsdaten gesammelt werden.
• Erhöhte Agilität, da Änderungen in der Produktion in Echtzeit vorgenommen werden können.

Mit der zunehmenden Verfeinerung der Algorithmen des maschinellen Lernens wird die Produktionsmodellierung nicht nur zu einem nützlichen, sondern zu einem unverzichtbaren Werkzeug für die Produktion. Die frühzeitige Einführung von Produktionsmodellen ist daher mit geringem Risiko verbunden und bietet das Potenzial für sehr hohe Gewinne, und Produktionsmodelle werden eine entscheidende Rolle bei der Gestaltung der Produktion der Zukunft spielen.

Erfahren Sie mehr über Skim AI.

    
AI-enabled research management system for market-intelligence.
       
        
                    Kostenlose Beratung