Embed Size (px)
Citation preview
Globalcode – Open4education
De Dev Sênior a Data Scientist Júnior:3 coisas que aprendi
Rodrigo Vieira - [email protected] Software
Globalcode – Open4education
1: Estude Estatística
Globalcode – Open4education
O Sinal e o Ruído
“Pra mim, data scientist é um nome mais sexy para estatista”
Nate Silver, autor de “O Sinal e o Ruído”
Globalcode – Open4education
Globalcode – Open4education
Dado um dataset suficientemente grande, você sempre vai encontrar dados que “validam” a sua hipótese
Estatística ajuda no senso crítico
Globalcode – Open4education
Onde aprender?
Globalcode – Open4education
2 - Veja seus dados
http://www.boostlabs.com/
Globalcode – Open4education
Visualização é fundamental
➢ O trabalho do data scientist é encontrar insights nos dados, ou seja, encontrar algo que ninguém tinha visto antes.
➢ Visualização de dados é a chave para geração de insights e “momentos a-ha” na fase de exploração e análise
➢ Uma boa visualização de dados também permite comunicar os seus achados de forma clara e muitas vezes surpreendente
Globalcode – Open4education
Pareidolia
Globalcode – Open4education
Nosso cérebro adora encontrar padrões
Globalcode – Open4education
“Garbage In, Garbage Out”
ALGORITMO EXCELENTE DADOS RUINS RESULTADOS
RUINS
Globalcode – Open4education
Desenvolva seu arsenal de visualizações
d3js.org
Globalcode – Open4education
3: Não esqueça de Science em Data Science
● Entenda o básico do método científico e design de experimentos
● Não descarte experimentos/resultados que deram errado (aliás, não descarte nada)
● Entenda a hipótese-nula e suas implicações
● Reproducibilidade é fundamental
Globalcode – Open4education
jupyter.org
Notebooks + data science =
Globalcode – Open4education
Perguntas?
Globalcode – Open4education
Globalcode – Open4education
Isso merece até um livro
Globalcode – Open4education
3: Não esqueça de Science em Data Science
O Método Científico:
1. Observe um fenômeno
2. Crie hipóteses a partir de modelos
3. Defina e execute experimentos para validar suas hipóteses
4. Analise os resultados, itere
Globalcode – Open4education
3: Não esqueça de Science em Data Science
O Método Científico:
1. Observe um fenômeno
2. Crie hipóteses a partir de modelos
3. Defina e execute experimentos para validar suas hipóteses
4. Analise os resultados, itere
Globalcode – Open4education
Livro recomendado
Globalcode – Open4education
Agenda
1. Estude estatística2. Visualização de dados é fundamental3. Não esqueça de “science” em Data Science4. Perguntas
Globalcode – Open4education
“Boa reputação” não basta para dados
✓ Valide sempre os dados de entrada e saída
✓ Aprenda a limpar dados de forma correta
✓ Aprenda a lidar com dados enviesados
✓ Testes automatizados são muito úteis pra pré- e pós-processamento
