| Name: | Description: | Size: | Format: | |
|---|---|---|---|---|
| 4.26 MB | Adobe PDF |
Authors
Advisor(s)
Abstract(s)
Nowadays, customer reviews play a vital role in determining the success of businesses,
particularly in the hospitality industry, where online feedback is both abundant and
influential. However, the high volume of reviews presents a challenge for hotel owners
and managers, who need efficient ways to extract useful insights. This dissertation
addresses this issue by developing the FeedbackFunnel, a Natural Language Processing
(NLP) model capable of analysing and summarizing customer reviews to provide concise
and meaningful information.
The model integrates three components: sentiment analysis, feature synthesis, and multidocument
summarization. Each component was rigorously tested and improved
individually to enhance performance.
The Sentiment analysis was conducted using logistic regression combined with a TFIDF
unigram model, chosen for its effectiveness in accurately classifying sentiments.
The Feature synthesis for sentence creation component synthesized key features from
sentiment analysis into sentences, summarizing the most notable positive and negative
aspects of the reviews.
For the summarization component, the pre-trained “sshleifer/distilbart-cnn-6-6” model
was used to generate concise summaries from multiple reviews.
To validate the performance of the models, traditional metrics such as accuracy were
used for sentiment analysis, while more advanced measures like embedding-based
similarity scores and perplexity were employed to assess the quality and coherence of
the generated summaries.
The developed model produced promising results by effectively capturing both positive
and negative aspects mentioned in the review, even when the general sentiment leaned
in one direction. However, there are still areas that can be improved. Enhancing the
sentence creation component by using a pre-trained model to generate sentences could
improve the coherence and richness of the generated content, moving beyond the current
rigid and simplistic structure. Additionally, fine-tuning the summarization component on
a domain-specific dataset could significantly improve the model’s performance.
Atualmente, os comentários deixados pelos clientes desempenham um papel vital na determinação do sucesso de um negócio, especialmente na indústria da hospitalidade, onde o feedback online é abundante e influente. No entanto, o elevado volume de comentários representa um desafio para os proprietários e gestores de hotéis, que necessitam de formas eficientes para extrair informações úteis. Esta dissertação pretende solucionar o problema ao desenvolver o FeedbackFunnel , um modelo de Processamento de Linguagem Natural (NLP) capaz de analisar e resumir as opiniões dos clientes, fornecendo informações concisas e significativas. O modelo é constituído por três componentes: análise de sentimentos, síntese de features e sumarização multidocumento. De forma a aumentar o seu desempenho, cada componente foi rigorosamente testado e melhorado individualmente. A análise de sentimentos foi realizada utilizando regressão logística combinada com um modelo de unigramas TF-IDF, escolhido pela sua eficácia em classificar sentimentos com precisão. A componente de síntese de features para criação de frases, condensou característicaschave da análise de sentimentos em frases, resumindo os aspetos positivos e negativos mais notáveis das opiniões. Para a componente de sumarização, foi utilizado o modelo pré-treinado “sshleifer/distilbart-cnn-6-6” para gerar resumos concisos a partir dos vários comentários. Para validar o desempenho dos modelos, foram utilizadas métricas tradicionais como a precisão para a análise de sentimentos, enquanto métricas mais avançadas, como pontuações de similaridade baseadas em embeddings e perplexidade, foram empregues para avaliar a qualidade e a coerência dos resumos gerados. O modelo desenvolvido produziu resultados promissores ao capturar efetivamente tanto os aspetos positivos quanto os negativos referidos nos comentários, mesmo quando o sentimento geral tendia numa direção. No entanto, existem ainda áreas que podem ser melhoradas. Melhorar a componente de criação de frases ao utilizar um modelo prétreinado poderia aumentar a coerência e a riqueza do conteúdo gerado, ultrapassando a atual estrutura rígida e simplista. Além disso, realizar o fine-tuning na componente de sumarização com um dataset específico para o domínio poderia melhorar significativamente o desempenho do modelo.
Atualmente, os comentários deixados pelos clientes desempenham um papel vital na determinação do sucesso de um negócio, especialmente na indústria da hospitalidade, onde o feedback online é abundante e influente. No entanto, o elevado volume de comentários representa um desafio para os proprietários e gestores de hotéis, que necessitam de formas eficientes para extrair informações úteis. Esta dissertação pretende solucionar o problema ao desenvolver o FeedbackFunnel , um modelo de Processamento de Linguagem Natural (NLP) capaz de analisar e resumir as opiniões dos clientes, fornecendo informações concisas e significativas. O modelo é constituído por três componentes: análise de sentimentos, síntese de features e sumarização multidocumento. De forma a aumentar o seu desempenho, cada componente foi rigorosamente testado e melhorado individualmente. A análise de sentimentos foi realizada utilizando regressão logística combinada com um modelo de unigramas TF-IDF, escolhido pela sua eficácia em classificar sentimentos com precisão. A componente de síntese de features para criação de frases, condensou característicaschave da análise de sentimentos em frases, resumindo os aspetos positivos e negativos mais notáveis das opiniões. Para a componente de sumarização, foi utilizado o modelo pré-treinado “sshleifer/distilbart-cnn-6-6” para gerar resumos concisos a partir dos vários comentários. Para validar o desempenho dos modelos, foram utilizadas métricas tradicionais como a precisão para a análise de sentimentos, enquanto métricas mais avançadas, como pontuações de similaridade baseadas em embeddings e perplexidade, foram empregues para avaliar a qualidade e a coerência dos resumos gerados. O modelo desenvolvido produziu resultados promissores ao capturar efetivamente tanto os aspetos positivos quanto os negativos referidos nos comentários, mesmo quando o sentimento geral tendia numa direção. No entanto, existem ainda áreas que podem ser melhoradas. Melhorar a componente de criação de frases ao utilizar um modelo prétreinado poderia aumentar a coerência e a riqueza do conteúdo gerado, ultrapassando a atual estrutura rígida e simplista. Além disso, realizar o fine-tuning na componente de sumarização com um dataset específico para o domínio poderia melhorar significativamente o desempenho do modelo.
Description
Keywords
Artificial Intelligence Hospitality industry Hotels Multi-document NLP Pre-trained Reviews Sentiment analysis Summarization Análise de sentimentos Comentários Hotéis Indústria da hospitalidade Inteligência artificial Multidocumento Pré-treinado Sumarização