Criando sua própria cost function para penalizar overfitting com Python scikit-learn

Cost functions (ou funções de custo) são usadas pelos algoritmos de aprendizado de máquina para tomada de decisões, por exemplo, definir a melhor configuração dos hiper parâmetros de um modelo ou até mesmo escolher as melhores variáveis preditoras/independentes (em modelos de classificação ou regressão).

Métricas para avaliação de modelos

É comum validarmos os modelos de aprendizado de máquina sob duas perspectivas: Processual e matemática. O ponto de vista processual trata a questão da melhoria que o modelo trouxe para o processo de negócio em que o mesmo foi inserido. O levantamento destas informações geralmente está ligado a avaliação de dados básicos como tempo, custo ou lucro do processo antes e depois da implantação do modelo. Eventualmente testes de hipóteses podem auxiliar nestas atividades de comparação.