Modelos de produção em tempo real - Em que é que diferem dos testes de referência?

        
O que são modelos de produção em tempo real e testes de referência?
      
    Os modelos de produção em tempo real são modelos que permitem aos utilizadores utilizar os dados recolhidos durante a produção e analisar as capacidades de produção actuais e prever os resultados de produção futuros. Estes modelos destinam-se a otimizar a produção e a avaliar o desempenho "pré-lançamento", o que significa que são ferramentas de previsão do desempenho. Embora os modelos de produção assumam muitas formas, um método de modelação da produção que está a ganhar popularidade são os algoritmos de aprendizagem automática. Os algoritmos de aprendizagem automática criam modelos de produção aprendendo com dados anteriores e, em seguida, fazendo avaliações e previsões sobre o estado atual da produção à luz das lições aprendidas com os dados anteriores. 

 

Para efeitos do presente artigo, será explorado um exemplo de modelo de produção: a aprendizagem automática para análise de texto. Este tipo de modelo de produção de aprendizagem automática assume a forma de:

• O processo de produção: análise de dados textuais, ou seja, um artigo.
• O produto de produção/resultado: um resumo conciso dos principais
  factos importantes no artigo.
• O modelo de produção: o algoritmo de aprendizagem automática aplicado ao
  artigo.

Esse modelo de produção aprende informações relevantes de artigos anteriores e, em seguida, aplica essas informações aprendidas para resumir novos artigos. Ao contrário dos modelos de produção em tempo real, os testes de benchmark são utilizados para avaliar retroativamente o resultado final da produção. São recolhidos dados, tanto sobre o processo de produção como sobre o produto final, e é executado um conjunto padrão de testes utilizando estes dados para determinar a qualidade e o desempenho do produto. Os testes de referência baseiam-se na concorrência, com o objetivo de "bater" os produtos semelhantes de outras empresas ou de ultrapassar os padrões de desempenho anteriores, e medem o desempenho "pós-lançamento".

Os testes de referência envolvem:

• Recolha de dados em momentos pré-determinados ao longo da produção.
• Recolha de dados que podem ser repetidos - são recolhidos os mesmos dados para cada produção e produto.
• Realização de um conjunto predefinido e normalizado de testes nos dados.
• Pontuação do produto final e comparação dessa pontuação com a de outros produtos.

A principal diferença geral entre testes de referência e modelos de produção é a diferença entre perguntar "qual o desempenho do meu produto em relação a outros produtos" e "como posso otimizar a minha produção atual para produzir o melhor produto possível".

1. Necessidades de dados - Que dados são necessários para os modelos de produção em tempo real?

    
Um modelo de produção bem desenvolvido e treinado proporciona uma série de benefícios; no entanto, estes modelos também podem ser prejudiciais. Um modelo mal desenvolvido tem o potencial de produzir resultados enganadores, tendenciosos ou mesmo sem sentido. O fator decisivo na qualidade do modelo de produção é a qualidade dos dados utilizados para o treinar. Ao produzir qualquer algoritmo de aprendizagem automática, a questão principal será sempre quais e quantos dados são necessários para treinar adequadamente o modelo?

As necessidades de dados para a análise de texto podem ser divididas em

• Que artigos são necessários para a formação com base na aplicação, ou seja, artigos académicos versus jornais versus blogues?
• Que contexto é necessário sobre o texto, ou seja, que palavras, combinações de palavras e definições de palavras do artigo são mais relevantes?
• Quantos artigos é que o algoritmo precisa de utilizar para treinar?

Em geral, mais dados de treino são melhores, e os dados precisam de ter o máximo de contexto possível. Além disso, os dados de treino devem corresponder ao caso de utilização atual. Ou seja, se o texto a analisar for uma publicação num blogue científico, os dados de formação para o modelo de produção devem incluir artigos científicos e publicações em blogues relacionados. Quanto mais a distribuição dos dados de treino corresponder ao assunto do texto que está a ser analisado, melhor será a informação resumida.

2. Afinação de dados - Como são recolhidos os dados de treino para os modelos de produção?

    Data tuning relates to how and what data is input into the benchmark test /

production model. This is straightforward for benchmark testing: determine the data to collect during production and how often to collect it. The data needs of the benchmark test are derived from the relative accuracy of previous benchmark tests.


Contrast this with production modeling, where machine learning algorithms are used to predict outputs during production. In this case, data tuning is finding the right data to collect to train the production model. For
text analysis, this involves:

• Seleção de um conjunto suficientemente grande de artigos relevantes.
• Providing a lexicon, or context, for the articles - the words, groups of words, and word definitions that convey the most relevant information.
• Aprender com os artigos - iterar sobre o conjunto de dados para descobrir qual o subconjunto do léxico que capta o melhor resumo da informação.
• Aplicação deste léxico a novos artigos: execução do modelo de produção.

3. Desequilíbrio de dados - Como selecionar os dados de treino correctos para modelos de produção em tempo real?

    
Ajustar o conjunto de dados de treino para modelos de produção em tempo real não é uma tarefa trivial. Nem todos os dados recolhidos para treino serão úteis, sendo muitas vezes necessária uma seleção. Os dados precisam de ser relevantes para o texto que está a ser resumido, mas não tão específicos que encontrem um subconjunto limitado de informação relevante, mas também não tão vagos que encontrem demasiada informação. Além disso, haverá sempre um desequilíbrio nos dados de treino. É improvável encontrar um conjunto de dados de treino suficientemente grande direcionado para um caso de utilização específico, pelo que os dados de treino devem ser equilibrados entre tópicos para melhor corresponderem à distribuição do tópico em estudo.

Durante a seleção dos dados de treino, podem ser encontradas várias armadilhas, tais como:

• Escolher um conjunto demasiado vasto de artigos de entrada, o que leva a resumos demasiado longos ou demasiado vagos.
• Seleção de um conjunto demasiado restrito de artigos de entrada, o que leva a resumos que não contêm informações essenciais.
• Seleção de artigos de má qualidade, ou seja, fontes baseadas em opiniões, que conduzem a resumos tendenciosos.
• Escolher o léxico errado para aplicar aos artigos de entrada, o que leva a resumos sem sentido.

Encontrar o conjunto de dados de treino correto não é uma tarefa trivial e exigirá compromissos quanto à quantidade de dados de treino, à relevância dos dados de treino e ao contexto ideal.

4. Novos vocabulários - Como é que os dados de formação são aplicados em diferentes modelos de produção?

    
Encontrar o conjunto de treino correto e ajustá-lo a um determinado caso de utilização pode ser uma tarefa dispendiosa e morosa. O custo associado ao desenvolvimento de conjuntos de formação dá origem ao desejo de alargar os dados de formação a todas as aplicações. Idealmente, um modelo de produção treinado num conjunto de artigos poderia ser alargado a outras aplicações. O objetivo é recolher, organizar e contextualizar os dados de formação de modo a que possam ser aplicados em vários casos de utilização de modelos de produção.

No entanto, o novo modelo de produção não consegue compreender o contexto do modelo de produção antigo. Cada palavra nova no léxico que não tenha sido treinada pelo modelo antigo induz uma perda de precisão. Por conseguinte, os modelos de produção de análise de texto têm de ser reajustados, ou seja, têm de receber um novo vocabulário para serem treinados. No entanto, isto não quer dizer que os modelos de produção antigos sejam completamente inaplicáveis a novos domínios. Existem várias estratégias para atenuar a perda de precisão nos casos de utilização, incluindo

• Dividir o léxico dos dados de treino em subgrupos, como combinações de letras específicas ou palavras de elevada frequência.
• Co-formação: criação do conjunto de dados de formação com dois contextos diferentes para cada artigo.
• Trimmed Loss Minimization: determinar qual o subconjunto de artigos para treinar o novo modelo, estimando quais os artigos que reduzem a perda global de precisão.

5. Tempo de latência - Quanto tempo demoram os modelos de produção a ser executados?

    
Embora os modelos de produção em tempo real sejam frequentemente designados por "tempo real", porque utilizam os dados de produção mais actualizados disponíveis, podem, de facto, ser executados em várias escalas temporais. Na prática, as diferentes necessidades de dados definem o tempo de execução; por exemplo, um modelo de produção pode ser concebido para analisar tendências na informação e, por conseguinte, necessitar de dias de dados de formação. Mas, uma vez executado, este modelo de produção pode ser executado numa questão de minutos para analisar novos dados.

 

O tempo de latência da análise de texto está relacionado com as expectativas do modelo:

• Quanto tempo demora a formação do modelo de produção / quantos dados de formação devem ser recolhidos?
• How often does the model need to predict performance - hourly, daily, weekly, etc.?
• Que quantidade de dados será modelada, um pequeno blogue, um artigo de jornal, um capítulo de livro, etc.?
• Quanta interação humana é necessária - com que frequência os resultados do modelo são verificados quanto à exatidão e interpretados por um operador humano?

A modelação da produção fornece medidas proactivas, ou preditivas, do desempenho. Avaliam o desempenho "antes da curva" para determinar como criar um produto final melhor. No caso apresentado da análise de texto, os modelos de produção prevêem quais as informações contidas num artigo de texto que são mais relevantes para uma determinada aplicação. Uma vez executados os modelos de produção e produzido um produto, podem ser efectuados testes de referência para avaliar o valor do produto final. Os modelos de produção oferecem várias vantagens importantes, tais como

• Redução dos custos de produção, uma vez que os métodos de produção são optimizados durante a produção.
• Redução da distorção nos resultados, uma vez que a interação do operador humano com os dados é reduzida.
• Maior precisão ao longo do tempo à medida que mais dados de treino são compilados durante a produção.
• Maior agilidade, uma vez que as alterações à produção podem ser efectuadas em tempo real.

À medida que os algoritmos de aprendizagem automática se tornam cada vez mais refinados, a modelação da produção tornar-se-á não só uma ferramenta benéfica, mas também vital para a produção. Por conseguinte, a adoção precoce da modelação da produção é de baixo risco com o potencial de recompensas muito elevadas, e os modelos de produção desempenharão um papel fundamental na definição da forma como a produção é feita no futuro.

Saiba mais sobre o Skim AI.

    
AI-enabled research management system for market-intelligence.
       
        
                    Consulta gratuita