Usando cross-validation para treinar e avaliar uma rede neural

Já falamos sobre resampling em um post anterior (veja aqui). Neste post veremos como aplicar validação cruzada, ou cross-validation, durante o treino de uma rede neural. Usaremos Keras para criar a rede neural e Scikit-Learn para aplicar a validação cruzada, ambas bibliotecas Python.

Modelando casos raros com oversampling, undersampling e synthetic sampling

Muitas vezes precisamos criar um modelo para identificar a ocorrência de um evento raro, por exemplo, classificar transações fraudulentas de cartão de credito ou prever a ocorrência de doenças. Na minha opinião, eventos raros são os tipos de casos mais interessantes para se estudar, pois podemos causar melhorias de grade impacto em processos de negócio ao encontrar o modelo certo.

Resampling: separando os dados entre treino, validação e teste

Quando estamos construindo um modelo estatístico ou de machine learning precisamos estimar quão bom ele é, baseado em alguma métrica. Adicionalmente, este teste de “qualidade” deve ser executado em dados que não foram usados na construção do modelo, assim poderemos inferir o comportamento do modelo em dados novos (que nunca foram vistos).