Modelos de producción en tiempo real: ¿en qué se diferencian de las pruebas de referencia?

        
¿Qué son los modelos de producción en tiempo real y las pruebas comparativas?
      
    Los modelos de producción en tiempo real son modelos que permiten a los usuarios tomar datos recogidos durante la producción y analizar tanto las capacidades de producción actuales como predecir los resultados de producción futuros. Se trata de modelos destinados a optimizar la producción y evaluar el rendimiento "antes del lanzamiento", lo que significa que son herramientas de rendimiento predictivo. Aunque los modelos de producción adoptan muchas formas, uno de los métodos que está ganando popularidad son los algoritmos de aprendizaje automático. Los algoritmos de aprendizaje automático crean modelos de producción aprendiendo de datos anteriores y, a continuación, realizando evaluaciones y predicciones sobre el estado actual de la producción a la luz de las lecciones aprendidas de los datos anteriores. 

 

Para los fines de este artículo, se explorará un modelo de producción de ejemplo: el aprendizaje automático para el análisis de textos. Este tipo de modelo de producción de aprendizaje automático adopta la forma de:

• El proceso de producción: análisis de datos textuales, es decir, un artículo.
• El producto de producción/resultado: un resumen conciso de lo más
  hechos importantes en el artículo.
• El modelo de producción: el algoritmo de aprendizaje automático aplicado a la
  artículo.

Este modelo de producción aprende información relevante de artículos anteriores y, a continuación, aplica esta información aprendida para resumir artículos nuevos. A diferencia de los modelos de producción en tiempo real, las pruebas de referencia se utilizan para evaluar retroactivamente el resultado final de la producción. Se recopilan datos, tanto del proceso de producción como del producto final, y se ejecuta un conjunto estándar de pruebas utilizando estos datos para determinar la calidad y el rendimiento del producto. Las pruebas de referencia se basan en la competencia, con el objetivo de "batir" a productos similares de otras empresas o superar referencias de rendimiento anteriores, y miden el rendimiento "después del lanzamiento".

Las pruebas comparativas implican:

• Recogida de datos en momentos predeterminados a lo largo de la producción.
• Recopilación de datos repetibles: se recopilan los mismos datos para cada producción y producto.
• Realización de un conjunto predefinido y normalizado de pruebas con los datos.
• Puntuar el producto final y comparar esta puntuación con la de otros productos.

La diferencia clave general entre las pruebas de referencia y los modelos de producción es la diferencia entre preguntarse "qué tal ha funcionado mi producto frente a otros productos" y "cómo puedo optimizar mi producción actual para fabricar el mejor producto posible".

1. Necesidades de datos - ¿Qué datos necesitan los modelos de producción en tiempo real?

    
Un modelo de producción bien desarrollado y entrenado proporciona una gran cantidad de beneficios; sin embargo, estos modelos pueden ser igualmente perjudiciales. Un modelo mal desarrollado tiene el potencial de producir resultados engañosos, sesgados o incluso sin sentido. El factor decisivo en la calidad del modelo de producción es la calidad de los datos utilizados para entrenarlo. Al producir cualquier algoritmo de aprendizaje automático, la pregunta clave siempre va a ser qué y cuántos datos necesita el modelo para entrenarse adecuadamente.

Las necesidades de datos para el análisis de textos pueden desglosarse en:

• ¿Qué artículos se necesitan para la formación en función de la aplicación, es decir, artículos académicos frente a periódicos frente a blogs?
• ¿Qué contexto se necesita sobre el texto, es decir, qué palabras, combinaciones de palabras y definiciones de palabras dentro del artículo son las más relevantes?
• ¿Cuántos artículos necesita utilizar el algoritmo para entrenarse?

En general, más datos de formación es mejor, y los datos necesitan tanto contexto como sea posible. Además, los datos de entrenamiento deben coincidir con el caso de uso actual. Es decir, si el texto que se va a analizar es una entrada de un blog científico, los datos de entrenamiento para el modelo de producción deben incluir tanto artículos científicos como entradas de blog relacionadas. Cuanto más se acerque la distribución de los datos de entrenamiento al tema del texto que se va a analizar, mejor será la información resumida.

2. Ajuste de datos - ¿Cómo se recopilan los datos de entrenamiento para los modelos de producción?

    Data tuning relates to how and what data is input into the benchmark test /

production model. This is straightforward for benchmark testing: determine the data to collect during production and how often to collect it. The data needs of the benchmark test are derived from the relative accuracy of previous benchmark tests.


Contrast this with production modeling, where machine learning algorithms are used to predict outputs during production. In this case, data tuning is finding the right data to collect to train the production model. For
text analysis, this involves:

• Seleccionar un conjunto suficientemente amplio de artículos pertinentes.
• Providing a lexicon, or context, for the articles - the words, groups of words, and word definitions that convey the most relevant information.
• Aprender de los artículos: iterar sobre el conjunto de datos para descubrir qué subconjunto del léxico captura el mejor resumen de la información.
• Aplicación de este léxico a nuevos artículos: ejecución del modelo de producción.

3. Desequilibrio de datos: ¿cómo seleccionar los datos de formación adecuados para los modelos de producción en tiempo real?

    
Ajustar el conjunto de datos de entrenamiento para los modelos de producción en tiempo real no es una tarea trivial. No todos los datos recogidos para el entrenamiento serán útiles, por lo que suele ser necesaria una selección a la baja. Los datos tienen que ser relevantes para el texto que se está resumiendo, pero no tan específicos como para encontrar un subconjunto limitado de información relevante, pero tampoco tan vagos como para encontrar demasiada información. Además, siempre habrá un desequilibrio en los datos de entrenamiento. Es improbable encontrar un conjunto de datos de entrenamiento lo suficientemente amplio y orientado a un caso de uso concreto, por lo que los datos de entrenamiento deben estar equilibrados entre temas para ajustarse lo mejor posible a la distribución del tema estudiado.

Durante la selección de los datos de entrenamiento pueden surgir varios escollos, como:

• Elección de un conjunto demasiado amplio de artículos de entrada, lo que da lugar a resúmenes demasiado largos o vagos.
• Elección de un conjunto demasiado reducido de artículos de entrada, lo que da lugar a resúmenes que omiten información clave.
• Elección de artículos de mala calidad, es decir, fuentes basadas en la opinión, lo que da lugar a resúmenes sesgados.
• Elección de un léxico erróneo para aplicar a los artículos de entrada, lo que da lugar a resúmenes sin sentido.

Encontrar el conjunto de datos de formación adecuado no es una tarea trivial y requerirá compromisos en la cantidad de datos de formación, la relevancia de los datos de formación y el contexto óptimo.

4. Nuevos vocabularios - ¿Cómo se aplican los datos de formación en los distintos modelos de producción?

    
Encontrar el conjunto de entrenamiento adecuado y ajustarlo al caso de uso concreto puede ser una tarea costosa y que requiere mucho tiempo. El coste asociado al desarrollo de conjuntos de entrenamiento da lugar al deseo de extender los datos de entrenamiento entre aplicaciones. Lo ideal sería que un modelo de producción entrenado con un conjunto de artículos pudiera extenderse a otras aplicaciones. El objetivo es recopilar, organizar y contextualizar los datos de formación para que puedan aplicarse a múltiples casos de uso del modelo de producción.

Sin embargo, el nuevo modelo de producción no puede comprender el contexto del antiguo modelo de producción. Cada palabra nueva dentro del léxico que no ha sido entrenada por el modelo antiguo induce una pérdida de precisión. Por lo tanto, los modelos de producción de análisis de texto necesitan ser reajustados, es decir, recibir un nuevo vocabulario sobre el que entrenarse. Esto no quiere decir, sin embargo, que los antiguos modelos de producción sean completamente inaplicables a los nuevos dominios. Existen varias estrategias para mitigar la pérdida de precisión en los distintos casos de uso:

• Descomponer el léxico de los datos de formación en subgrupos, como combinaciones específicas de letras o palabras de alta frecuencia.
• Coformación: creación del conjunto de datos de formación con dos contextos diferentes para cada artículo.
• Minimización de la pérdida recortada: determinación del subconjunto de artículos para entrenar el nuevo modelo mediante la estimación de los artículos que reducen la pérdida global de precisión.

5. Latencia temporal: ¿cuánto tardan en ejecutarse los modelos de producción?

    
Aunque los modelos de producción en tiempo real suelen llevar el nombre de "tiempo real", porque aprovechan los datos de producción más actualizados disponibles, en realidad pueden funcionar a muchas escalas temporales. En la práctica, las distintas necesidades de datos definen el tiempo de ejecución; por ejemplo, un modelo de producción puede estar diseñado para analizar tendencias en la información y, por tanto, necesitar días de datos de entrenamiento. Pero, una vez ejecutado, este modelo de producción puede ejecutarse en cuestión de minutos para analizar nuevos datos.

 

El tiempo de latencia del análisis de textos está relacionado con las expectativas del modelo:

• ¿Cuánto tiempo se tarda en entrenar el modelo de producción / cuántos datos de entrenamiento hay que recopilar?
• How often does the model need to predict performance - hourly, daily, weekly, etc.?
• ¿Cuántos datos se modelarán, un breve blog, un artículo de revista, un capítulo de libro, etc.?
• Cuánta interacción humana se requiere: ¿con qué frecuencia comprueba un operador humano la precisión e interpretación de los resultados del modelo?

La modelización de la producción proporciona medidas proactivas o predictivas del rendimiento. Evalúan el rendimiento "antes de la curva" para determinar cómo crear un producto final mejor. En el caso presentado del análisis de textos, los modelos de producción predicen qué información contenida en un artículo de texto es más relevante para una aplicación determinada. Una vez que se han ejecutado los modelos de producción y se ha elaborado un producto, pueden realizarse pruebas comparativas para evaluar el valor del producto final. Los modelos de producción ofrecen varias ventajas clave, como:

• Reducción de los costes de producción gracias a la optimización de los métodos de fabricación durante la producción.
• Menor sesgo en los resultados al reducirse la interacción del operador humano con los datos.
• Mejora de la precisión a lo largo del tiempo a medida que se recopilan más datos de entrenamiento durante la producción.
• Mayor agilidad, ya que los cambios en la producción pueden realizarse en tiempo real.

A medida que los algoritmos de aprendizaje automático se vayan perfeccionando, el modelado de la producción se convertirá en una herramienta no sólo beneficiosa, sino vital para la producción. Por lo tanto, la adopción temprana del modelado de producción es de bajo riesgo con el potencial de recompensas muy altas, y los modelos de producción desempeñarán un papel fundamental en la configuración de la forma de producir en el futuro.

Más información sobre Skim AI.

    
AI-enabled research management system for market-intelligence.
       
        
                    Consulta gratuita