Aprendizado de Máquina e Avaliação de Desempenho: uma ... · Aprendizado de Máquina e Avaliação de Desempenho: uma dupla dinâmica engajada da teoria à prática Edmundo de

1/38

Preliminaries Performance Evaluation Examples Modeling Machine Learning Projects Startup - TGR Summary

Aprendizado de Máquina e Avaliação deDesempenho:

uma dupla dinâmica engajada da teoria àprática

Edmundo de Souza e Silva1

Universidade Federal do Rio de Janeiro1Programa de Engenharia de Sistemas e Computação, COPPE

2015

E. de Souza e Silva Semana PESC

2/38


Performance Evaluation and Machine Learnig: TheDynamic Duo


3/38


Preliminaries

What is Computer System Modeling and Analysis?What is Machine Learning?Can we take advantage of both areas?What problems we address?Is this useful in practice?


3/38


Preliminaries



3/38


Preliminaries



3/38


Preliminaries



3/38


Preliminaries



4/38


Performance Evaluation


5/38



Modeling and analysis is an essential ingredient of thedesign process of most systemsDevising new systems: generally needs analysis of itsperformance

What are the advantages of the new architecture?which scheduling policies to use?what speed to operate servers?On what conditions can the system efficiently operate

We want to predict behavior ofan algorithma protocola new computer architecturecustomers accessing some system...

We want to perform tradeoff analysis


5/38








5/38








5/38








6/38


Examples

including research work ofour group


7/38


Disk clusters

Assume that the MTBF of a single disk is 300.000 hours.Probabilidade that a failure occurs in one disk unit duringone hour = 3.33310−6. (in one month: 0.0023942)Question: if you have 1000 disks, what is the probabilitythat one disk fails in one month?Answer: 0.90902Question: if you have 100.000 disks, what is the probabilitythat one disk fails in one hour? (common in disc clusters)Answer: 0.99966 −→ you WILL have a disk failedsomewhere in your cluster!!!


7/38


Disk clusters



7/38


Disk clusters



7/38


Disk clusters



7/38


Disk clusters



8/38


Disk clusters in Data Centers

Data centers consume a lot of powerQuestion: How can we reduce power consumption?Note: not all data in a large data center is accessedsimultaneously→ disks are not used all the time.Question: can we reduce power consumption by puttingsome disks to sleep?Answer: YES, but there are tradeoffs to investigate.What are the tradeoffs?


8/38





8/38





8/38





8/38





8/38





9/38


Another example

2 movie theaters competing with each other. They showthe same movieCustomers that arrive to see movie choose one of thetheaters with equal probability (theaters are identical)Question: after some time:( ) both theathers will receive approx. same amount ofcustomers (and make approx. same amount of money( ) one theater will get much more customers (make muchmore money) than the otherQuestion: can we calculate the probability that one theatermakes more than D dollars than the other?Answer: YES.


9/38


Another example



9/38


Another example



9/38


Another example



9/38


Another example



9/38


Another example

2 movie theaters competing with each other. They showthe same movieCustomers that arrive to see movie choose one of thetheaters with equal probability (theaters are identical)Question: after some time:( ) both theathers will receive approx. same amount ofcustomers (and make approx. same amount of money( ) one theater will get much more customers (make muchmore money) than the otherQuestion: can we calculate the probability that one theatermakes more than D dollars than the other?Answer: YES.After a long time there is a 80% chance one of the theatersgot more than 20.000 customers than the other!


10/38


Modeling Cycle

the real system the model

λ1 + δλ2/δy = z

mentalabstraction

the future

measurementexperimentation

prediction

modelrefinement

the objectives

estimation


11/38


Machine Learning


12/38


Big Data

Large amount of data produced and consumed everydaysocial networksonline video streamingmicroblogginggenome informationmeasurements

How to obtain insights from data?What can we learn from the data?


13/38


Machine Learning

What is

Murphy:Set is methods that can automatically detectpatterns in data


14/38


Big Data

Large amount of data produced and consumed everydaysocial networksonline video streamingmicroblogginggenome informationmeasurements

How to obtain insights from data?

data insight?


15/38


Machine Learning

What isMurphy:Set is methods that can automatically detect patterns in data

Uncovered patterns→:

predict future dataperform decision makingplanning


15/38


Machine Learning

What isMurphy:Set is methods that can automatically detect patterns in data

Uncovered patterns→:

predict future dataperform decision makingplanning


16/38


Obtaining insights from traces

Machine learning = automatic pattern recognitionPerformance evaluation = model building and analysismachine learning tools can help to solve performanceevaluation problems (and vice versa)

traces recommendations

models(performance evaluation)

machine learning


17/38


Time Series

Given a time series, how to parameterize model to predictfuture values?

inferring customer behaviormodeling network channel lossesmodeling trafficgenerating workload...

Note: we have traces of time series of one or morevariables.Is there a structure behind the data?


17/38


Time Series





17/38


Time Series





17/38


Time Series





17/38


Time Series





17/38


Time Series





17/38


Time Series





17/38


Time Series





18/38


Summary

Recall from Performance EvaluationMachine Learning


λ1 + δλ2/δy = z

mentalabstraction

the future

measurementexperimentation

prediction

modelrefinement

the objectives

estimation


18/38


Summary

Recall from Performance EvaluationMachine Learning


λ1 + δλ2/δy = z

mentalabstraction

the future

lots of dataBIGDATA

prediction

the objectives

estimation


19/38


Projects of our Group


20/38


Distance Learning Initiative

P&D - servicevideoaula@RNP


21/38



More than 800 videolectures (approximately 40-90 minuteseach)Technology completely developed at the universityCEDERJ Computer Science course started in 2005It has been a service of the RNP since 2011:Videoaula@RNPDesigns started as a research project (CNPq - FAPERJprojects) and later made into a product (supported byRNP) and transfered to RNP.


21/38





21/38





21/38





22/38


The Service videoaula@RNPExample


23/38


The Service videoaula@RNPExample


24/38


Videoaula@RNP ServiceUsage

Daily access: almost 7,000 accesses in one day (Feb)Reached more than 110,000 accesses in one month


25/38


Project supported by GOOGLE

Project

An Intelligent Recommendation System based on VideoLectures for Distance Education


26/38


Project supported by Google

Empresa investe em estudos académicos do...... ao comportamento de alunos de videoaulas


26/38




27/38



Reportagem Folha do estado de São Paulo, 10 de Junhode 2015http://www1.folha.uol.com.br/tec/2015/06/

1633848-google-dara-bolsas-de-mestrado-e-

doutorado-em-computacao-no-brasil.shtml


http://www1.folha.uol.com.br/tec/2015/06/1633848-google-dara-bolsas-de-mestrado-e-

http://www1.folha.uol.com.br/tec/2015/06/1633848-google-dara-bolsas-de-mestrado-e-

doutorado-em-computacao-no-brasil.shtml

28/38


Project: Recommendation System forVideolecturesOur Objectives

Develop an Intelligent Recommendation System based onVideoLectures for Distance EducationResearch Goals:

To adapt the videolecture material according to individualuser’s needs.Automatically make suggestions to each student inrealtime:

additional written material on the subjectadditional explanation from short videosadditional exercises

Give important feedback to faculty involved on each class


28/38








28/38








28/38








28/38








28/38








29/38


The System

Facial Features

webcam

EEG (NeuroSky/Emotiv)

Filter

videolecture

Facial expressionclassifier

Sync

hron

izer

Loggenerator

RECOMMENDER

reco

mm

enda

tion

s

Affectiva EDA/GSR

Filter

IR webcam

Pupil Diameter


30/38


Startup - Measurements and Planning

TGR - Tecnologia em Gestão e Planejamento de Redes

Measurements and Analysis


31/38


Parceria Universidade/Empresa

Assunto científico de interesse internacional:Artigos recentes têm sido publicados em veículosinternacionais de renome (2012, 2013)"much remains to be done to improve our understanding ofbroadband services"Transferência de novas técnicas desenvolvidas no LANDpara TGRDesenvolvimento teórico aliado a experimentação emcampoGanhos para a sociedade: tópico de interesse paraformuladores de políticas públicas e consumidoresPesquisa de ponta: Tese de mestrado 2015: Caracterização emodelos para avaliar o desempenho de redes de acesso residencialbaseados em aprendizado de máquina .


31/38





31/38



Assunto científico de interesse internacional:Artigos recentes têm sido publicados em veículosinternacionais de renome (2012, 2013)"much remains to be done to improve our understanding ofbroadband services"Communications of the ACM - November 2012Transferência de novas técnicas desenvolvidas no LANDpara TGRDesenvolvimento teórico aliado a experimentação emcampoGanhos para a sociedade: tópico de interesse paraformuladores de políticas públicas e consumidoresPesquisa de ponta: Tese de mestrado 2015: Caracterização emodelos para avaliar o desempenho de redes de acesso residencialbaseados em aprendizado de máquina .


31/38



Assunto científico de interesse internacional:Artigos recentes têm sido publicados em veículosinternacionais de renome (2012, 2013)"much remains to be done to improve our understanding ofbroadband services"Impact of Home Networks on End-to-End Performance(HomNets 2010)Transferência de novas técnicas desenvolvidas no LANDpara TGRDesenvolvimento teórico aliado a experimentação emcampoGanhos para a sociedade: tópico de interesse paraformuladores de políticas públicas e consumidoresPesquisa de ponta: Tese de mestrado 2015: Caracterização emodelos para avaliar o desempenho de redes de acesso residencialbaseados em aprendizado de máquina .E. de Souza e Silva Semana PESC

31/38



Assunto científico de interesse internacional:Artigos recentes têm sido publicados em veículosinternacionais de renome (2012, 2013)"much remains to be done to improve our understanding ofbroadband services"Broadband Internet Performance: A View From theGateway (ACM/SIGCOMM 2011)Transferência de novas técnicas desenvolvidas no LANDpara TGRDesenvolvimento teórico aliado a experimentação emcampoGanhos para a sociedade: tópico de interesse paraformuladores de políticas públicas e consumidoresPesquisa de ponta: Tese de mestrado 2015: Caracterização emodelos para avaliar o desempenho de redes de acesso residencialbaseados em aprendizado de máquina .E. de Souza e Silva Semana PESC

31/38



Assunto científico de interesse internacional:Artigos recentes têm sido publicados em veículosinternacionais de renome (2012, 2013)"much remains to be done to improve our understanding ofbroadband services"Speed Measurements of Residential Internet Access(IEEE/PAM 2012)Transferência de novas técnicas desenvolvidas no LANDpara TGRDesenvolvimento teórico aliado a experimentação emcampoGanhos para a sociedade: tópico de interesse paraformuladores de políticas públicas e consumidoresPesquisa de ponta: Tese de mestrado 2015: Caracterização emodelos para avaliar o desempenho de redes de acesso residencialbaseados em aprendizado de máquina .E. de Souza e Silva Semana PESC

31/38



Assunto científico de interesse internacional:Artigos recentes têm sido publicados em veículosinternacionais de renome (2012, 2013)"much remains to be done to improve our understanding ofbroadband services"Measuring Home Broadband Performance(Communications of the ACM - November 2012)Transferência de novas técnicas desenvolvidas no LANDpara TGRDesenvolvimento teórico aliado a experimentação emcampoGanhos para a sociedade: tópico de interesse paraformuladores de políticas públicas e consumidoresPesquisa de ponta: Tese de mestrado 2015: Caracterização emodelos para avaliar o desempenho de redes de acesso residencialbaseados em aprendizado de máquina .E. de Souza e Silva Semana PESC

31/38



Assunto científico de interesse internacional:Artigos recentes têm sido publicados em veículosinternacionais de renome (2012, 2013)"much remains to be done to improve our understanding ofbroadband services"The Realities of Home Broadband (CACM Nov 2012)Transferência de novas técnicas desenvolvidas no LANDpara TGRDesenvolvimento teórico aliado a experimentação emcampoGanhos para a sociedade: tópico de interesse paraformuladores de políticas públicas e consumidoresPesquisa de ponta: Tese de mestrado 2015: Caracterização emodelos para avaliar o desempenho de redes de acesso residencialbaseados em aprendizado de máquina .


31/38



Assunto científico de interesse internacional:Artigos recentes têm sido publicados em veículosinternacionais de renome (2012, 2013)"much remains to be done to improve our understanding ofbroadband services"Mixture Models of Endhost Network Traffic (Infocom 2013)Transferência de novas técnicas desenvolvidas no LANDpara TGRDesenvolvimento teórico aliado a experimentação emcampoGanhos para a sociedade: tópico de interesse paraformuladores de políticas públicas e consumidoresPesquisa de ponta: Tese de mestrado 2015: Caracterização emodelos para avaliar o desempenho de redes de acesso residencialbaseados em aprendizado de máquina .


31/38



Assunto científico de interesse internacional:Artigos recentes têm sido publicados em veículosinternacionais de renome (2012, 2013)"much remains to be done to improve our understanding ofbroadband services"Predicting user dissatisfaction with Internet applicationperformance at end-hosts (Infocom 2013)Transferência de novas técnicas desenvolvidas no LANDpara TGRDesenvolvimento teórico aliado a experimentação emcampoGanhos para a sociedade: tópico de interesse paraformuladores de políticas públicas e consumidoresPesquisa de ponta: Tese de mestrado 2015: Caracterização emodelos para avaliar o desempenho de redes de acesso residencialbaseados em aprendizado de máquina .E. de Souza e Silva Semana PESC

31/38





31/38





31/38





31/38





32/38


Produtos Iniciais

Ferramenta de medição e diagnóstico da qualidade dabanda larga.Software para diagnosticar problemas de instalação emanutençãoSoftware para dimensionamento da capacidade da redeConhecer o tráfego do clienteEntender o comportamento do usuário de banda larga


32/38


Produtos Iniciais

Ferramenta de medição e diagnóstico da qualidade dabanda larga. Garantia de Qualidade→ economia derecursosSoftware para diagnosticar problemas de instalação emanutençãoSoftware para dimensionamento da capacidade da redeConhecer o tráfego do clienteEntender o comportamento do usuário de banda larga


32/38


Produtos Iniciais



32/38


Produtos Iniciais

Ferramenta de medição e diagnóstico da qualidade dabanda larga.Software para diagnosticar problemas de instalação emanutenção Redução de custosSoftware para dimensionamento da capacidade da redeConhecer o tráfego do clienteEntender o comportamento do usuário de banda larga


32/38


Produtos Iniciais



32/38


Produtos Iniciais

Ferramenta de medição e diagnóstico da qualidade dabanda larga.Software para diagnosticar problemas de instalação emanutençãoSoftware para dimensionamento da capacidade da redePlanejamento futuro→ economia de recursosConhecer o tráfego do clienteEntender o comportamento do usuário de banda larga


32/38


Produtos Iniciais



32/38


Produtos Iniciais

Ferramenta de medição e diagnóstico da qualidade dabanda larga.Software para diagnosticar problemas de instalação emanutençãoSoftware para dimensionamento da capacidade da redeConhecer o tráfego do cliente Planejamento→ economiade recursosEntender o comportamento do usuário de banda larga


32/38


Produtos Iniciais



33/38


Projeto

Implementação do software no firmware da INTEL(gateway embedded solution)

INTELImplementação do software no firmware em escala global


34/38


Gateway Inteligente


35/38


Research/Development in our Group

Fault Tolerance is EssencialPerformance always matterStuart FeldmanACM’s Software System Award, Vice-President Eng.Google


35/38





35/38





36/38


FIM

OBRIGADO!PERGUNTAS?

www.abc.org.br/~edmundowww.land.ufrj.br/~edmundo


www.abc.org.br/~edmundo

www.land.ufrj.br/~edmundo

Documents

Aprendizado de Máquina e Avaliação de Desempenho: uma ... · Aprendizado de Máquina e Avaliação de Desempenho: uma dupla dinâmica engajada da teoria à prática Edmundo de