Manipulando dados com Python

Às vezes precisamos de uma ajuda para alavancar nossos estudos em programação. Este curso é para você que já sabe manipular dados usando SQL e agora deseja fazer o mesmo em Python.

Conteúdo programático

Conhecendo o pacote Pandas
Importando e exportando dados
Filtrando linhas e colunas
Criando novas colunas
Unindo bases (horizontal e vertical)
Utilizando funções de agrupamento

Duração
3h

Número máximo de alunos na transmissão
5

Transmissão
Ao vivo na data selecionada durante a inscrição

Instrutor
Weslley Moura

Mestre em engenharia da computação, professor de cursos relacionados a análise de dados e co-fundador da empresa Pepsoft Sistemas. Profissional apaixonado pela ciência existente nos dados e suas aplicações práticas. Nos últimos anos vem dedicando seu tempo a projetos de aprendizagem de máquina e mantém seu site pessoal com dicas e aulas relacionadas ao tema em Hacking Analytics.

Sentiment analysis com tensorflow 2.0 e word embedding layer

maio 2, 2020por Weslley Moura

Word embedding é uma forma muito interessante para criar uma representação numérica para um texto. Ao contrário de abordagens clássicas como one hot encoding ou TD-IDF, word embedding consegue representar as palavras e seu contexto com meio de um embedding…

Preparando dados para dashboard – Exemplo Google Data Studio

abril 27, 2020por Weslley Moura

Nem sempre os dados estão no formato correto para criação de relatórios. É muito comum termos que realizar algumas limpezas e transformações para que tenhamos menos trabalho durante a criação daquele dashboard! Neste artigo vou exibir um caso de uso…

Time series forecasting com Python

abril 26, 2020por Weslley Moura

Neste artigo vou passar pelas principais etapas de modelagem para criação de um modelo de forecasting. O notebook foi escrito em Python e possui conceitos importantes sobre decomposição de série temporal, diferenciação, estacionariedade e visualizações. O material está disponível em…

Um modelo completo de machine learning (de ponta a ponta)

abril 21, 2020por Weslley Moura

Se você está começando a estudar machine learning, é comum que tenha várias dúvidas sobre como treinar e usar seus modelos. As pessoas falam sobre uma série de termos, como análise exploratória de dados, data transformation, feature selection, model selection,…

Redes neurais autoencoders – Feed Forward

abril 2, 2020por Weslley Moura

Autoencoder é uma classe de arquitetura de rede neural que tem como objetivo aprender como comprimir/reduzir um conjunto de dados (etapa conhecida como encoder) e, em seguida, aprende a reconstruir os dados a partir da versão que foi previamente reduzida…

Redes neurais do zero – Parte 3 de 3

abril 1, 2020por Weslley Moura

Finalizando esta série de implementação de redes neurais do zero, criaremos um modelo de classificação com várias camadas ocultas. A aprendizagem de máquina que usa diversos módulos (neste caso camadas) para aprender uma determinada função com base nos dados de…

Redes neurais do zero – Parte 2 de 3

março 31, 2020por Weslley Moura

Esta é a segunda parte de uma série de posts sobre redes neurais do zero! Desta vez, iremos criar uma rede neural conhecida como Multi Layer Perceptron (MLP). Além do código, também estou esquematizando os cálculos que devemos fazer nas…

Redes neurais do zero – Parte 1 de 3

março 30, 2020por Weslley Moura

Nesta série de posts vou mostrar como criar modelos de redes neurais de forma manual, usando a biblioteca numpy. Vou criar os notebooks no Google colab e fazer o passo a passo da rede neural, incluindo explicações sobre os tipos…

Comparando textos com TF-IDF e Cosine Similarity no Gensim

março 1, 2020por Weslley Moura

Neste artigo vou utilizar gensim para criar uma modelo capaz de identificar a similaridade entre textos. A ideia é que você consiga identificar o(s) texto(s) mais similares(s) a um determinado texto de entrada.

Outros serviços Amazon AWS para a certificação AWS Certified Cloud Practitioner

fevereiro 16, 2020fevereiro 19, 2020por Weslley Moura

Neste artigo estou listando uma série de serviços AWS que serão solicitados na prova de certificação AWS Certified Cloud Practitioner. Em breve criarei outro post agrupando todos os artigos que publiquei sobre esta certificação.

AWS CloudTrail

fevereiro 9, 2020por Weslley Moura

AWS CloudTrail é um serviço da Amazon AWS que permite monitorar todas as requisições API feitas em uma conta AWS. Estas requisições são representadas eventos, que por sua vez são gravados em arquivos de log dentro do S3 a cada…

AWS Compute services

janeiro 29, 2020fevereiro 9, 2020por Weslley Moura

AWS oferece uma série de recursos relacionados ao processamento de tarefas. Em geral, estes recursos oferecem CPU e RAM para a execução de tarefas na nuvem. Embora EC2 seja um dos recursos mais conhecidos desta classe de serviços da Amazon…

AWS VPC – Virtual Private Cloud

janeiro 27, 2020fevereiro 11, 2020por Weslley Moura

Como o próprio nome sugere, Virtual Private Cloud (VPC) é um segmento isolado da infraestrutura da Amazon AWS no qual você pode provisionar seus recursos. É possível criar até 5 VPCs por conta AWS/região. Neste artigo, vou listar os principais…

AWS Identity and Access Management Service (IAM)

janeiro 24, 2020janeiro 30, 2020por Weslley Moura

Este serviço da Amazon AWS atua nos processos de autenticação e gerenciamento de acesso aos recursos de uma conta ou serviço da Amazon. Neste artigo, pretendo mostrar os recursos básicos deste serviço para que você tenha uma visão geral do mesmo.

AWS Database Foundation

janeiro 23, 2020abril 1, 2020por Weslley Moura

Os serviços de database da Amazon AWS estão divididos entre bancos de dados relacionais (relational databses), bancos de dados não relacional (non-relational databases) e serviços de migração de dados (database migration services). Neste artigo iremos descrever cada um destes serviços.

Inferência Estatística – Teste de hipóteses

janeiro 22, 2020abril 10, 2020por Weslley Moura

Na minha jornada de estudos de A/B testing, acabei percebendo que eu precisava conhecer mais a fundo o tema teste de hipóteses (pode ser o seu caso também). Você aceita ou rejeita a hipótese de ler este artigo?

AWS Storage e Data Services

janeiro 21, 2020por Weslley Moura

Amazon AWS oferece uma série de serviços relacionados ao armazenamento e acesso aos dados. Podemos categorizar estes serviços entre Amazon Storage (S3, Glacier, EC2 Instance Storage, EBS, EFS e Cloudfront) e Amazon Data Services (AWS Storage Gateway e AWS Snowball).…

Amazon Elastic Load Balancer (ELB)

janeiro 20, 2020abril 1, 2020por Weslley Moura

A função do Elastic Load Balancer (ELB) é rotear e balancear as requisições de acesso/uso a um determinado serviço entre todos os recursos disponíveis para atender aquele serviço. O caso mais clássico é o roteamento e balanceamento de acessos HTTP…

Séries temporais com LSTM

dezembro 9, 2018abril 1, 2020por Weslley Moura

Recentemente tenho escrito muitos artigos (independentes) sobre os temas séries temporais e redes neurais. Neste artigo estou unindo os dois temas para fazer previsões de séries temporais com LSTM.

Guia prático para séries temporais

novembro 3, 2018novembro 4, 2018por Weslley Moura

Em alguns posts anteriores já abordei o assunto de séries temporais do ponto de vista de engenharia de dados (acesse) e do ponto de vista de amostragem (acesse). Agora estou compartilhando um guia completo para criação de modelos de séries…

Predição e inferência com regressão linear

maio 11, 2018maio 14, 2018por Weslley Moura

É muito comum a utilização de regressão linear em modelos preditivos. Porém, análise de regressão linear também é usada em inferência estatística para entendermos como as variáveis estão correlacionadas e qual o significado desta possível relação. Neste artigo sobre regressão linear…

SNA com NetworkX

abril 29, 2018abril 29, 2018por Weslley Moura

Python possui um excelente pacote para trabalharmos com Social Network Analysis chamado NetworkX. Este post apresenta um resumão sobre SNA + NetworkX, com base no curso ministrado pela universidade de Michigan e disponibilizado no site da Coursera.

Word Embedding

janeiro 31, 2018abril 1, 2020por Weslley Moura

Word Embedding é uma abordagem de mineração de textos em que as palavras são representadas de forma matemática em um vetor. Diferentemente da abordagem mais simples utilizada no modelo conhecido como bag of words, na qual as palavras costumam ser representadas…

O coeficiente de Gini

novembro 22, 2017por Weslley Moura

Neste artigo vamos explorar o coeficiente de Gini ou Gini index, muito utilizado para avaliação de modelos estatísticos. Faremos uma implementação do zero com Python e depois passaremos em cada ponto para explicar sua construção.

LSTM Encoder-Decoder com Attention para prever sequências

outubro 29, 2017por Weslley Moura

Temas como LSTM, Encoder-Decoder e Attention estão muito quentes no mundo de deep learning. Que tal passarmos pelos pontos principais destes assuntos com teoria e prática na medida certa?

Análise de sentimento com Multilayer Perceptron Model baseado em Bag-of-Words

outubro 27, 2017por Weslley Moura

Faremos um modelo de análise de sentimento em textos de revisões (reviews) de filmes. Nosso objetivo é classificar a opinião da pessoa que assistiu o filme como “opinião positiva” ou “opinião negativa”. Já ouviu falar de “bag of words”?

[Up|Down]sampling em séries temporais

outubro 15, 2017abril 1, 2020por Weslley Moura

Nem sempre temos os dados na granularidade em que precisamos. Neste artigo vamos ver como transformar nossas séries temporais mensais em séries temporais diárias ou anuais com o uso das técnicas de Resampling e Interpolation!

Time series forecasting: uma gentil introdução e sua engenharia de dados

julho 23, 2017abril 1, 2020por Weslley Moura

Demorou, mas finalmente cheguei no tema time series forecasting! Neste artigo veremos as principais nomenclaturas usadas neste campo do aprendizado de máquina e como preparar nossos dados para realizar a previsão de séries temporais. Aqui o tempo é quem manda.…

Recurrent Neural Network: a memória das Redes Neurais

julho 7, 2017por Weslley Moura

Neste artigo vamos discutir sobre uma pergunta-chave dentro do tema de redes neurais: Se nosso cérebro é capaz de guardar informações já aprendidas para usar posteriormente em outras situações, será que as redes neurais artificiais também têm esta capacidade? Sua…

Criando um modelo com R Services

março 6, 2017abril 1, 2020por Weslley Moura

Olá pessoal! Neste post vou falar um pouco sobre o recurso R Services, que pertence à plataforma Microsoft SQL Server. Em breve uma versão similar deste artigo, porém um pouco mais completa do ponto de vista teórico, será publicada na…

Criando sua própria cost function para penalizar overfitting com Python scikit-learn

março 1, 2017março 10, 2017por Weslley Moura

Cost functions (ou funções de custo) são usadas pelos algoritmos de aprendizado de máquina para tomada de decisões, por exemplo, definir a melhor configuração dos hiper parâmetros de um modelo ou até mesmo escolher as melhores variáveis preditoras/independentes (em modelos…

Métricas para avaliação de modelos

janeiro 6, 2017janeiro 13, 2017por Weslley Moura

É comum validarmos os modelos de aprendizado de máquina sob duas perspectivas: Processual e matemática. O ponto de vista processual trata a questão da melhoria que o modelo trouxe para o processo de negócio em que o mesmo foi inserido.…

One Hot Encoding com Python

dezembro 12, 2016dezembro 12, 2016por Weslley Moura

One Hot encoding é uma transformação que fazemos nos dados para representarmos uma variável categórica de forma binária (indica presença ou ausência de um valor).

Desvendando o classificador Naive Bayes

outubro 13, 2016março 5, 2017por Weslley Moura

Em problemas de classificação queremos encontrar a hipótese “h” para um determinada observação “o”, ou seja, queremos definir/prever uma classe para um dada observação. Uma maneira de se fazer isso é analisando o histórico dos dados e assim calcular a…

Usando cross-validation para treinar e avaliar uma rede neural

outubro 9, 2016abril 1, 2020por Weslley Moura

Já falamos sobre resampling em um post anterior (veja aqui). Neste post veremos como aplicar validação cruzada, ou cross-validation, durante o treino de uma rede neural. Usaremos Keras para criar a rede neural e Scikit-Learn para aplicar a validação cruzada, ambas…

Seu primeiro modelo de redes neurais: teoria e prática na medida certa

outubro 9, 2016por Weslley Moura

Redes Neurais O campo de estudo das redes neurais, em inglês também conhecido como Neural Networks ou Multilayer Perceptrons, tem como objetivo investigar como modelos biológicos simples do nosso cérebro podem ser usados para resolver problemas computacionais complexos (por exemplo, prever…

Configurando Amazon EC2 para rodar modelos de deep learning com Keras

setembro 25, 2016outubro 8, 2016por Weslley Moura

Neste post vamos utilizar os serviços da Amazon (Amazon Web Services – AWS) para subir uma instância que rode Keras para criar nosso projeto de aprendizado de máquina. Este cenário pode ser útil para processamento de grandes volumes de dados…

Extraindo o máximo dos algoritmos com data transformation

setembro 18, 2016setembro 24, 2016por Weslley Moura

Cada algoritmo de machine learning pode “aprender” melhor de acordo com o formato dos dados que recebe como entrada. Neste post vamos entender como podemos preparar nossos dados para extrair o máximo de “conhecimento” de cada algoritmo, tarefa conhecida como…

Análise exploratória de dados com R

setembro 17, 2016por Weslley Moura

Antes de começar a usar algoritmos de machine learning é importante entender a estrutura dos dados que temos em mãos. Por exemplo, presença de missing values, distribuição de variáveis, correlação, desvio padrão, etc. Chamamos esta atividade de análise exploratória de dados.

Análise exploratória em Python com Pandas, Matplotlib e Numpy

setembro 17, 2016abril 1, 2020por Weslley Moura

Python é uma linguagem muito utilizada em atividades de análise de dados. Atualmente, vem disputando o posto de “linguagem preferida dos cientistas de dados” com o R.

Dê vida aos seus dados com Social Network Analysis

setembro 11, 2016abril 1, 2020por Weslley Moura

Neste post vou te ensinar a fazer isso aqui com a sua rede do Facebook: https://weslleymoura.github.io/

Aprendendo a aprender Machine Learning: É aqui que a sua ficha cai

setembro 10, 2016abril 1, 2020por Weslley Moura

Sim, neste post vamos aprender a estudar Machine Learning (ML). Na prática, o que vamos fazer é dar um passo para trás (sem retroceder), sair da confusão, olhar o problema por fora e por um outro ângulo. O nome disso…

Modelando casos raros com oversampling, undersampling e synthetic sampling

setembro 7, 2016abril 1, 2020por Weslley Moura

Muitas vezes precisamos criar um modelo para identificar a ocorrência de um evento raro, por exemplo, classificar transações fraudulentas de cartão de credito ou prever a ocorrência de doenças. Na minha opinião, eventos raros são os tipos de casos mais…

Tratando missing values

setembro 6, 2016setembro 18, 2016por Weslley Moura

Neste post vou falar um pouco sobre limpeza de dados, mais especificamente sobre tratamento de valores ausentes (os famosos missing values). O motivo para se preocupar com esta tarefa é bem simples: se colocar sujeira no modelo, não espere nada…

Feature selection: escolhendo as variáveis para o modelo

setembro 5, 2016setembro 18, 2016por Weslley Moura

Nas primeiras atividades de um projeto de modelagem é comum que se faça um brainstorming para levantar todas as variáveis que poderiam ajudar a resolver o problema em questão. Na sequência, você precisa escolher apenas aquelas que realmente serão úteis.…

Resampling: separando os dados entre treino, validação e teste

setembro 4, 2016abril 1, 2020por Weslley Moura

Quando estamos construindo um modelo estatístico ou de machine learning precisamos estimar quão bom ele é, baseado em alguma métrica. Adicionalmente, este teste de “qualidade” deve ser executado em dados que não foram usados na construção do modelo, assim poderemos inferir o…

Model tuning: Otimizando os hiper parâmetros do modelo

setembro 4, 2016setembro 18, 2016por Weslley Moura

Muitas tarefas devem ser realizadas até chegarmos em um modelo ideal para resolver um determinado problema. No entanto, quando encontramos este modelo ideal ainda podemos tentar refiná-lo, testando diferentes configurações de seus hiper parâmetros. A este processo de refinamento/melhoria damos…

Model selection: escolhendo o melhor modelo para a sua solução final

setembro 3, 2016setembro 18, 2016por Weslley Moura

Olá pessoal. Neste post vou falar sobre model selection, ou seja, como escolher o melhor modelo dentre aqueles que você resolveu testar.

Ensemble: Combinando modelos para melhorar o resultado

setembro 3, 2016setembro 18, 2016por Weslley Moura

Considero ensemble um tópico avançado em machine learning. Já li muitos depoimentos de pessoas dizendo que ganharam competições do Kaggle usando este tipo de técnica. Então vamos à nossa missão de desmitificar e mostrar a aplicação de ensemble!

Colocando seu modelo de aprendizagem de máquina em produção

setembro 1, 2016abril 1, 2020por Weslley Moura

Acabei de desenvolver e testar o meu modelo de machine learning! Agora é só colocar em produção e comemorar. […] Ops, como é que coloca em produção mesmo?

Criando uma aplicação para análise de dados em 10 minutos com Shiny App

agosto 31, 2016abril 1, 2020por Weslley Moura

Olá pessoal. Neste primeiro post em português vou mostrar como criar um protótipo da sua própria aplicação de análise de dados. É isso mesmo, você vai aprender a criar seu próprio “data product”. Veja aqui como será nosso produto final:…

Simple linear regression from scratch

agosto 23, 2016setembro 18, 2016por Weslley Moura

Okay, I know that real problems usually aren’t linear nor simple. However, looking into linear regression model it’s a nice way to figure out what’s going on inside regression models in general. This is a mandatory knowledge for every data…

Implementing clustering from scratch

agosto 20, 2016março 1, 2017por Weslley Moura

Hi everyone! In this tutorial we are going to perform (step by step) a clustering algorithm. K-Means is the most known and probably the most used clustering algorithm, so we are going to implement it from scratch.