Publication
Web scraping and analysis of car data
| datacite.subject.fos | Engenharia e Tecnologia | pt_PT |
| dc.contributor.advisor | Araújo, Susana Cláudia Nicola de | |
| dc.contributor.author | Silva, João Luís Magalhães da | |
| dc.date.accessioned | 2024-12-02T16:09:09Z | |
| dc.date.available | 2024-12-02T16:09:09Z | |
| dc.date.issued | 2024-10-29 | |
| dc.description.abstract | The growth of online car marketplaces has created challenges in efficiently gathering and analyzing car data due to price fluctuations and increasing digital reliance. This thesis tackles the problem through web scraping and data analysis to assist in market insights. A review of web scraping tools like BeautifulSoup, Requests, and Selenium, alongside data analysis libraries such as Pandas, was conducted. A system was developed to scrape car data from Standvirtual and analyze key attributes like price and mileage. The data was processed using Python tools, and a Flask-based server application was built for easy access, with offline analysis supported through Excel. Challenges such as incomplete data and anti-scraping measures were resolved with advanced extraction techniques and error handling. Further improvements include optimizing the scraping process and integrating machine learning models for more accurate price predictions. In conclusion, the project demonstrates the potential of web scraping for car market analysis, providing a foundation for future predictive analytics and real-time data applications. | pt_PT |
| dc.description.abstract | O crescimento dos sites de venda de automóveis online criou desafios na recolha e análise de dados de veículos devido à oscilação de preços e à dependência digital. Este projeto aborda este problema por meio de técnicas de web scraping e análise de dados para obter mais informações e conhecimento sobre o mercado. Foi realizado um estudo sobre a ferramentas de web scraping, como Requests, BeautifulSoup e Selenium, juntamente com bibliotecas de análise de dados como Pandas. Um sistema foi desenvolvido para realizar um agregamento de dados de automóveis do site Stanvirtual e analisar os detalhes chave como preço e quilometragem. Estes dados foram processados utilizando bibliotecas Python, foi também desenvolvida uma aplicação em Flask para facilitar o acesso a esta análise, assim como um ficheiro excel com o propósito de realizar a análise offline. Desafios como dados incompletos e medidas anti-scraping foram resolvidos com técnicas de extração e tratamento de erros. Melhorias futuras incluem a otimização do processo de agregamento de dados e a integração de modelos de machine learning para previsões de preços mais precisas. Concluindo, o projeto demonstra o potencial do web scraping para a análise de mercado automóvel, fornecendo uma base para futuras aplicações de análise preditiva e processamento de dados em tempo real. | pt_PT |
| dc.identifier.tid | 203733142 | pt_PT |
| dc.identifier.uri | http://hdl.handle.net/10400.22/26596 | |
| dc.language.iso | eng | pt_PT |
| dc.subject | Web scraping | pt_PT |
| dc.subject | Data analysis | pt_PT |
| dc.subject | Application | pt_PT |
| dc.subject | Data extraction | pt_PT |
| dc.subject | Data insertion | pt_PT |
| dc.subject | Python libraries | pt_PT |
| dc.subject | Car data | pt_PT |
| dc.subject | Agregamento de dados | pt_PT |
| dc.subject | Análise de dados | pt_PT |
| dc.subject | Aplicação | pt_PT |
| dc.subject | Extração de dados | pt_PT |
| dc.subject | Inserção de dados | pt_PT |
| dc.subject | Bibliotecas Python | pt_PT |
| dc.subject | Dados de automóveis | pt_PT |
| dc.title | Web scraping and analysis of car data | pt_PT |
| dc.title.alternative | Agregamento e análise de dados de automóveis | pt_PT |
| dc.type | master thesis | |
| dspace.entity.type | Publication | |
| rcaap.rights | openAccess | pt_PT |
| rcaap.type | masterThesis | pt_PT |
| thesis.degree.name | Mestrado em Engenharia Eletrotécnica e de Computadores | pt_PT |