Scraping (Price Analysis)
A ideia dessa aplicação é permitir a coleta das informações(preço, descrição, fotos, screenshots, etc) de produtos de diversas categorias em martketplaces online para tomada de decição.
Esse projeto foi dividido em três partes:
O front-end(React) era onde usuário final conseguia ver todas as informações coletadas de cada produto, variações de preço por categoria e ainda filtrar essas informações entre localizações, já que também era coletado os preços de frete para cada local, além de comparar os dados históricos e ter visões comparativas por características do produto.
No Back-end(Ruby on rails) era feito o armazenamento de todas as informações online no banco de dados(Postgresql) e exisita o scheduler que chamava o microserviço(que irei falar mais a frente), em horários específicos para a coleta, mantendo a base sempre atualizada.
No Micro Serviço(NodeJS) era onde realmente acontecia o scraping de coleta de cada marketplace. Esse micro serviço recebia a url do produto que deveria ser coletado e através do script que criei, era possível puxar as informações de preço, foto, screenshot, parcelamento, descrição, frete, entre outros.
Com essa solução o cliente conseguia fazer a tomada de decição em relação aos produtos selecionados para identificar o melhor caminho para aumentar as suas vendas.
