| Name: | Description: | Size: | Format: | |
|---|---|---|---|---|
| 3.96 MB | Adobe PDF |
Authors
Advisor(s)
Abstract(s)
The growth of online car marketplaces has created challenges in efficiently gathering
and analyzing car data due to price fluctuations and increasing digital reliance. This
thesis tackles the problem through web scraping and data analysis to assist in market
insights. A review of web scraping tools like BeautifulSoup, Requests, and Selenium,
alongside data analysis libraries such as Pandas, was conducted.
A system was developed to scrape car data from Standvirtual and analyze key
attributes like price and mileage. The data was processed using Python tools, and
a Flask-based server application was built for easy access, with offline analysis supported
through Excel.
Challenges such as incomplete data and anti-scraping measures were resolved
with advanced extraction techniques and error handling. Further improvements
include optimizing the scraping process and integrating machine learning models for
more accurate price predictions.
In conclusion, the project demonstrates the potential of web scraping for car
market analysis, providing a foundation for future predictive analytics and real-time
data applications.
O crescimento dos sites de venda de automóveis online criou desafios na recolha e análise de dados de veículos devido à oscilação de preços e à dependência digital. Este projeto aborda este problema por meio de técnicas de web scraping e análise de dados para obter mais informações e conhecimento sobre o mercado. Foi realizado um estudo sobre a ferramentas de web scraping, como Requests, BeautifulSoup e Selenium, juntamente com bibliotecas de análise de dados como Pandas. Um sistema foi desenvolvido para realizar um agregamento de dados de automóveis do site Stanvirtual e analisar os detalhes chave como preço e quilometragem. Estes dados foram processados utilizando bibliotecas Python, foi também desenvolvida uma aplicação em Flask para facilitar o acesso a esta análise, assim como um ficheiro excel com o propósito de realizar a análise offline. Desafios como dados incompletos e medidas anti-scraping foram resolvidos com técnicas de extração e tratamento de erros. Melhorias futuras incluem a otimização do processo de agregamento de dados e a integração de modelos de machine learning para previsões de preços mais precisas. Concluindo, o projeto demonstra o potencial do web scraping para a análise de mercado automóvel, fornecendo uma base para futuras aplicações de análise preditiva e processamento de dados em tempo real.
O crescimento dos sites de venda de automóveis online criou desafios na recolha e análise de dados de veículos devido à oscilação de preços e à dependência digital. Este projeto aborda este problema por meio de técnicas de web scraping e análise de dados para obter mais informações e conhecimento sobre o mercado. Foi realizado um estudo sobre a ferramentas de web scraping, como Requests, BeautifulSoup e Selenium, juntamente com bibliotecas de análise de dados como Pandas. Um sistema foi desenvolvido para realizar um agregamento de dados de automóveis do site Stanvirtual e analisar os detalhes chave como preço e quilometragem. Estes dados foram processados utilizando bibliotecas Python, foi também desenvolvida uma aplicação em Flask para facilitar o acesso a esta análise, assim como um ficheiro excel com o propósito de realizar a análise offline. Desafios como dados incompletos e medidas anti-scraping foram resolvidos com técnicas de extração e tratamento de erros. Melhorias futuras incluem a otimização do processo de agregamento de dados e a integração de modelos de machine learning para previsões de preços mais precisas. Concluindo, o projeto demonstra o potencial do web scraping para a análise de mercado automóvel, fornecendo uma base para futuras aplicações de análise preditiva e processamento de dados em tempo real.
Description
Keywords
Web scraping Data analysis Application Data extraction Data insertion Python libraries Car data Agregamento de dados Análise de dados Aplicação Extração de dados Inserção de dados Bibliotecas Python Dados de automóveis