Lendo preços direto do screenshot com modelos de visão, em 100+ marketplaces

O produto de monitoramento de preços já guarda um screenshot de cada oferta como evidência. Tirar título, preço, parcelamento e vendedor do HTML de cada marketplace exigia um conjunto de seletores por site, atualizado na mão toda vez que um layout mudava.

Criei o bot de extração por visão e a auditoria com IA, e construí o pipeline que combina OCR com LLM.

Um bot de navegador captura a página do produto e o Gemini Vision devolve título, preços, parcelamento e vendedor em JSON, guiado por uma config de prompt por marketplace. Em vez de escrever essas configs na mão, um agente Claude por marketplace leu dois screenshots e rascunhou a config, e um harness de teste checou cada uma contra o Gemini. Um segundo pipeline roda PaddleOCR primeiro e usa um LLM via LiteLLM pra estruturar o texto, caindo pra outro modelo quando a validação falha. Uma auditoria relê preços e vendedores a partir dos screenshots e grava as correções de volta no banco.

Cada leitura agora custa tokens e depende de um provedor de modelo, onde um seletor CSS não custava nada. Assumi isso porque regenerar uma config quando o layout muda é barato, e mantive a conta visível: modelos da linha flash primeiro, fallback só quando a validação falha, e tokens e custo registrados em toda chamada.

158 configs de marketplace rascunhadas por agentes e validadas por harness, dado de preço estruturado lido do mesmo screenshot que serve de prova, e um loop de auditoria que corrige o banco no lugar de uma pessoa.