| Name: | Description: | Size: | Format: | |
|---|---|---|---|---|
| DM_AntonioCosta_MEI_2019 | 3.15 MB | Adobe PDF |
Authors
Abstract(s)
User Experience is one of the main aspects that maintain a customer loyal to cloud based
solutions or SaaS (Software as a Service). With the rise of the natural language processing
techniques, the industry is looking at automated chatbot solutions to boost and expand their
services. This thesis presents a practical case study of the implementation of a chatbot solution to
complement a CRM (Customer Relationship Management) software called FOXAIO, and then
quantify, following the most appropriate guides and solutions available, the User Experience
(UX) optimisation.
In order to create a robust and scalable solution based on the constraints created by the
company in the case, we reviewed the current deep learning techniques, tools and libraries
available to help the development process. The most proven techniques in the field of Natural
Language Processing (NLP) will be introduced.
To achieve the goals of this solution without "reinventing the wheel", we present possible
architectures to use at the top of some open source and available tools on the market, with a
special relief in the framework RASA. Also we discussed some of possible techniques to create
the intent classifier, where we detail the better performance in the top of the rasa tensorflow
embedding pipeline for this particular case.
The conversational system, also, required a channel to interact with the final user. To achieve
that, we also implemented a basic chat interface created on the top of the socket protocol, which
communicate with the conversation system. In any case, it would be possible to extend to the
other channel’s available on the market, like messenger, slack, telegram.
Finally, we detail with a few use cases, that’s hypothetically possible to improve the user
experience of an existing software system (FOXAIO) using a conversational interface on the top
of that. Also, we achieved some highlights about the preference to use a conversational interface
because of his simplicity, defended by a better score in the SUS scale, 70 against 58 to the
traditional UI, and good indicatives by the HEART framework.
O User Experience é possivelmente um dos principais aspetos para fidelizar um cliente numa solução cloud, as chamadas soluções SaaS (Software as a Service). O crescimento acentuado deste tipo de soluções aquece a rivalidade entre competidores e cada vez mais pretende-se oferecer as formas mais revolucionárias para premiar a qualidade de um serviço. Com o crescimento acentuado das técnicas na área do NLP (Natural Language Processing) a indústria começa a olhar para os chatbots como uma possível solução de automatizar, impulsionar e expandir as suas ofertas. A presente tese visa a apresentar uma implementação prática de um chatbot sobre um software com semelhanças de um CRM (Customer Relationship Management) existente intitulado por FOXAIO. Com o objetivo de desenvolver uma solução robusta e escalável tendo em atenção as condições elaboradas pela empresa em questão, um longo e detalhado estudo foi elaborado sobre as mais diversas técnicas de deep learning usadas no ramo de Processamento de Linguagem Natural (NLP). Atribuindo um particular ênfase às redes neurais recorrentes (RNN) e com a devida extensão Long Short Term Memory (LSTM) que juntas, formam e trabalham muito bem na resolução dos problemas de um sistema de inteligência artificial, como é o caso. Para a sua implementação sobre um software já existente, foi necessário o desenvolvimento de uma pequena interface conversacional com o objetivo de mais tarde a complementar sobre a interface do utilizador do mesmo. Para esse efeito, foi implementado um canal sobre o sistema conversacional de comunicação em protocolo de socket, criando uma classe para o efeito que mais tarde seria útil para gerar logs de análise. Durante a implementação do sistema conversacional foram feitas várias comparações sobre as variantes dos seus módulos desde o Dialog Management (DM) ao Intent Classifier onde várias arquiteturas foram expostas e comparadas com o intuito de corresponder à melhor solução possível para um chatbot de língua portuguesa em primeira instância, foi optado pela escolha de um Dialog Management híbrido face ao domínio e à existência de conversas contextuais contínuas onde, por exemplo, se torna bastante difícil de desenvolver sobre outros paradigmas. Quanto ao Intent Classifier, foi usada a técnica rasa tensorflow embedding, esta técnica (que treina palavras do princípio) usada obteve melhores resultados para o particular caso estudado na presente tese (CRM), do que por exemplo o uso um modelo de dados com palavras já treinadas. Finalmente, conseguimos apresentar hipoteticamente, possíveis melhorias do UX no uso de uma interface conversacional sobre uma interface tradicional, usando as várias ferramentas de análise disponíveis, onde por exemplo com o auxílio da framework HEART (criada pelo Google), conseguimos obter indicativos bastante satisfatórios por 34 pessoas que fizeram os primeiros testes no chatbot desenvolvido. Examinando o feedback desses mesmos utilizadores em ambiente de teste, conseguimos obter um resultado na escala de SUS (System Usability Scale) com um valor de 70, enquanto a interface tradicional arrecadou 58, notando então que as pessoas se sentiram mais capazes no uso do sistema conversacional.
O User Experience é possivelmente um dos principais aspetos para fidelizar um cliente numa solução cloud, as chamadas soluções SaaS (Software as a Service). O crescimento acentuado deste tipo de soluções aquece a rivalidade entre competidores e cada vez mais pretende-se oferecer as formas mais revolucionárias para premiar a qualidade de um serviço. Com o crescimento acentuado das técnicas na área do NLP (Natural Language Processing) a indústria começa a olhar para os chatbots como uma possível solução de automatizar, impulsionar e expandir as suas ofertas. A presente tese visa a apresentar uma implementação prática de um chatbot sobre um software com semelhanças de um CRM (Customer Relationship Management) existente intitulado por FOXAIO. Com o objetivo de desenvolver uma solução robusta e escalável tendo em atenção as condições elaboradas pela empresa em questão, um longo e detalhado estudo foi elaborado sobre as mais diversas técnicas de deep learning usadas no ramo de Processamento de Linguagem Natural (NLP). Atribuindo um particular ênfase às redes neurais recorrentes (RNN) e com a devida extensão Long Short Term Memory (LSTM) que juntas, formam e trabalham muito bem na resolução dos problemas de um sistema de inteligência artificial, como é o caso. Para a sua implementação sobre um software já existente, foi necessário o desenvolvimento de uma pequena interface conversacional com o objetivo de mais tarde a complementar sobre a interface do utilizador do mesmo. Para esse efeito, foi implementado um canal sobre o sistema conversacional de comunicação em protocolo de socket, criando uma classe para o efeito que mais tarde seria útil para gerar logs de análise. Durante a implementação do sistema conversacional foram feitas várias comparações sobre as variantes dos seus módulos desde o Dialog Management (DM) ao Intent Classifier onde várias arquiteturas foram expostas e comparadas com o intuito de corresponder à melhor solução possível para um chatbot de língua portuguesa em primeira instância, foi optado pela escolha de um Dialog Management híbrido face ao domínio e à existência de conversas contextuais contínuas onde, por exemplo, se torna bastante difícil de desenvolver sobre outros paradigmas. Quanto ao Intent Classifier, foi usada a técnica rasa tensorflow embedding, esta técnica (que treina palavras do princípio) usada obteve melhores resultados para o particular caso estudado na presente tese (CRM), do que por exemplo o uso um modelo de dados com palavras já treinadas. Finalmente, conseguimos apresentar hipoteticamente, possíveis melhorias do UX no uso de uma interface conversacional sobre uma interface tradicional, usando as várias ferramentas de análise disponíveis, onde por exemplo com o auxílio da framework HEART (criada pelo Google), conseguimos obter indicativos bastante satisfatórios por 34 pessoas que fizeram os primeiros testes no chatbot desenvolvido. Examinando o feedback desses mesmos utilizadores em ambiente de teste, conseguimos obter um resultado na escala de SUS (System Usability Scale) com um valor de 70, enquanto a interface tradicional arrecadou 58, notando então que as pessoas se sentiram mais capazes no uso do sistema conversacional.
Description
Dissertação de Mestrado em Engenharia Informática
Keywords
Conversational Interfaces Deep Learning Natural Language Processing Chat- bots User Experience CRM
Pedagogical Context
Citation
Publisher
Instituto Politécnico do Porto. Escola Superior de Tecnologia e Gestão