Dell EMC Ready Solutions para IA: Aprendizagem profunda com a … · 2020. 7. 22. · ao treinar o modelo Token2Token Big Transformer e avaliamos como a Nauta, uma iniciativa de código

© 2019 por The Enterprise Strategy Group, Inc. Todos os direitos reservados.

Acelerando o desempenho, otimizando o TCO e simplificando o uso das cargas de trabalho durante aprendizagem automática e profunda

Por Jack Poller, analista sênior Abril de 2019 Esta validação técnica do ESG foi encomendada pela Dell EMC e distribuída sob licença do ESG.

Enterprise Strategy Group | Getting to the bigger truth.™

Validação técnica

Dell EMC Ready Solutions para IA: Aprendizagem profunda com a Intel

Validação técnica: Dell EMC Ready Solutions para IA: Aprendizagem profunda com a Intel 2


Contents

Introdução ......................................................................................................................................................................... 3

Histórico ........................................................................................................................................................................ 3

Aprendizagem profunda com a Intel ............................................................................................................................ 4

Validação técnica do ESG .................................................................................................................................................. 5

Acelerando o desenvolvimento de modelos da IA ....................................................................................................... 5

O que significam os números .................................................................................................................................... 6

Dimensionamento da infraestrutura ......................................................................................................................... 6

O que significam os números .................................................................................................................................... 7

Melhorando o TCO do programa de IA ......................................................................................................................... 9

Treinamento de modelo ............................................................................................................................................ 9

O que significam os números .................................................................................................................................. 10

Inferências ............................................................................................................................................................... 10


Aprendizagem profunda acelerada no local ............................................................................................................ 12


Simplificando a facilidade de uso ................................................................................................................................ 14

A grande verdade ............................................................................................................................................................ 16

Apêndice ......................................................................................................................................................................... 17

Validações técnicas do ESG

O objetivo dos relatórios de validação técnica do ESG é o de educar os profissionais de TI sobre as soluções de tecnologia da informação para empresas de todos os portes e tipos. As Validações técnicas do ESG não se destinam a substituir o processo de avaliação que deve ser conduzido antes das decisões de compra, mas sim a apresentar percepções sobre essas tecnologias emergentes. Nossos objetivos são explorar alguns dos recursos e funções mais valiosos das soluções de TI, mostrar como eles podem ser usados para resolver problemas reais dos clientes e identificar quaisquer áreas que necessitam de melhorias. A perspectiva especialista e terceirizada da equipe de validação do ESG está baseada em nossos próprios testes práticos, bem como em entrevistas com clientes que utilizam esses produtos em ambientes de produção.



Introdução

Esta validação técnica do ESG documenta a avaliação das Dell EMC Ready Solutions para IA: Aprendizagem profunda

com a Intel. Estamos focados em entender o desempenho, a facilidade de uso e o custo total de propriedade (TCO)

da solução. Para validar o desempenho completo da pilha, medimos o número de tokens por segundo processados

ao treinar o modelo Token2Token Big Transformer e avaliamos como a Nauta, uma iniciativa de código aberto

criada pela Intel, acelera o treinamento de modelo de aprendizagem profunda. Também comparamos como

a Nauta simplifica o processo de treinamento de aprendizagem profunda e como se compara o TCO de

aprendizagem profunda com a Intel realizando as mesmas tarefas em um serviço líder de nuvem pública.

Histórico

Como resultado do aumento da capacidade de computação e densidade, os processadores especializados

de inteligência artificial (IA), os novos algoritmos, aprendizagem automática (ML) e aprendizagem profunda (DL)

mudaram da prova de conceito direto para a empresa, onde muitas organizações estão implementando programas

de IA. De acordo com a pesquisa do ESG, 59% dos entrevistados esperam aumentar seus gastos com IA/ML em 2019,

enquanto 31% das organizações indicaram que alavancar IA/ML em seus produtos e serviços de TI é uma das áreas

de modernização do data center, em que esperam fazer investimentos mais significativos nos próximos 12 a 18 meses.1

As organizações que buscam aproveitar o poder da IA enfrentam desafios significativos. 35% dos respondentes de uma

pesquisa do ESG citaram o custo da infraestrutura de TI como o maior desafio, enquanto 29% citaram as capacidades

da infraestrutura de TI e 21% citaram o ambiente de desenvolvimento de aplicativos (consulte a Figura 1).2

Figura 1. Desafios de custo, tecnologia e dados de IA/ML

Fonte: Enterprise Strategy Group

1 Fonte: Relatório de pesquisa do ESG Pesquisa de Intenções de Gastos em Tecnologia 2019, fevereiro de 2019. 2 Fonte: Resultados da pesquisa do ESG, Inteligência artificial e aprendizagem automática: Calculando o valor da infraestrutura, março de 2019.

https://www.esg-global.com/research/esg-research-report-2019-technology-spending-intentions-survey

https://research.esg-global.com/reportaction/aimlmsr/Toc



Quais são os drivers por trás desses desafios? A aprendizagem profunda é multifacetada e complicada, e a operação

de IA é um problema difícil e multifacetado que exige funcionários treinados e experientes. No entanto, há uma

escassez dessas habilidades críticas.

O esforço para a operação de IA é complicado pela necessidade de aumentar a precisão dos modelos. Conjuntos de dados

maiores, mais ajustes de hiperparâmetros e algoritmos de IA mais complexos se traduzem em infraestruturas maiores, mais

rápidas, mais complexas e caras. Assim, as infraestruturas de nuvem pública que oferecem baixos custos de inicialização

e serviços são categorizadas como despesas operacionais. É necessária uma pilha de infraestrutura local que ofereça

desempenho e escalabilidade até mesmo para os maiores e mais complexos modelos de IA ao simplificar a inicialização

e a implementação a um custo total de propriedade comparável ou inferior aos serviços de nuvem pública.

Aprendizagem profunda com a Intel

A aprendizagem profunda com a Intel é parte das Dell EMC Ready

Solutions de IA, um conjunto de pilhas de infraestrutura padronizadas

para aprendizagem automática e aprendizagem profunda projetadas

para acelerar o tempo de retorno do investimento.

A aprendizagem profunda com a Intel é um cluster de scale-out que

consiste em um único nó de login principal Dell EMC PowerEdge R740xd

e 16 servidores de computação compactos Dell EMC PowerEdge C6420

em quatro chassis C6000. Cada nó de computação está interconectado com

uma conexão Ethernet de 1 gigabit para acesso à rede externa e à Internet

e a uma conexão Ethernet de 10 gigabits para tráfego interno e movimentação

de dados. Um cluster de armazenamento opcional Dell EMC Isilon H600 pode

ser conectado à rede interna de 10 gigabits Ethernet por meio de conexões

Ethernet de 40 gigabits. Os detalhes da configuração do sistema são fornecidos

Tabela 6 do Apêndice.

A aprendizagem profunda com a Intel é fornecida com serviços de implementação para acelerar o tempo de retorno dos

resultados e o suporte de contato único de toda a pilha de hardware e software. As pilhas validadas de hardware e software

combinam servidores Dell EMC PowerEdge, armazenamento Dell EMC Isilon, rede de alta velocidade, software de ciência

de dados, bibliotecas e frameworks de IA em sistemas pré-configurados, dimensionáveis e balanceados.

A Dell EMC integrou e validou a iniciativa de código aberto Intel, a Nauta, à solução. A Nauta é uma plataforma

de aprendizagem profunda distribuída que aproveita as tecnologias Kubernetes e Docker para fornecer treinamento

e teste de um ambiente computacional de DL distribuído para vários usuários. A Nauta simplifica o fluxo de trabalho

de treinamento de DL e aproveita a alimentação dos Kubernetes para automatizar a implementação, o dimensionamento

e o gerenciamento de aplicativos em contêineres3. Além de uma interface de linha de comando (CLI), a Nauta inclui

uma interface gráfica de usuário baseado na Web (GUI e integração com o TensorBoard, um pacote de ferramentas

de visualização para aprendizagem profunda. Essas interfaces simplificam e aceleram a carga de trabalho de gerenciamento

de experiências do cientista de dados. A Nauta dá suporte à inferência de lote e de fluxo contínuo para validação integrada

de modelos e inclui modelos personalizáveis, simplificando a criação de modelos e a experiência de treinamento.

As organizações que estão implementando a aprendizagem profunda com a Intel se beneficiarão de:

Implementação rápida - em vez de forçar a organização a selecionar, configurar, integrar e ajustar componentes

em uma pilha de IA, a aprendizagem profunda com a Intel é um sistema validado implementado pelos serviços

da Dell EMC, reduzindo o tempo de implementação de um ambiente de IA de meses para semanas, ao reduzir

os requisitos de qualificação e risco operacional.

3 Os contêineres contam com isolamento virtual para implementar e executar aplicativos sem a sobrecarga de máquinas virtuais concluídas para cada aplicativo.

https://www.intel.ai/introducing-nauta/#gs.2yzgzl

https://kubernetes.io/

https://www.tensorflow.org/guide/summaries_and_tensorboard



Configuração simplificada - A aprendizagem profunda com a Intel é pré-configurada com a Nauta, juntamente com

a distribuição do TensorFlow, e inclui a aprendizagem profunda com suporte a bibliotecas otimizadas para

processadores dimensionáveis Intel Xeon.

Uso otimizado de recursos compartilhados - A plataforma integrada Nauta aproveita o Kubernetes, habilitando

a orquestração automatizada de fluxos de trabalho, permitindo que muitas experiências sejam agendadas

e executadas “sem intervenções”. Assim, vários cientistas de dados podem compartilhar a mesma pilha

de infraestrutura de IA com o mínimo impacto sobre o desempenho do sistema.

Escalabilidade rápida - Todas as Dell EMC Ready Solutions para IA são criadas para proporcionar escalabilidade

rápida. As organizações podem aumentar a potência de computação adicionando nós de computação ao cluster

com apenas alguns cliques no mouse. O armazenamento Isilon pode ser dimensionado de forma não disruptiva,

adicionando nós extras, o que aumenta linearmente o desempenho do armazenamento, ou dimensionando

o armazenamento no cluster opcional de armazenamento scale-out do Isilon.

Validação técnica do ESG

O ESG realizou a avaliação e os testes de aprendizagem profunda com a Intel no Dell EMC HPC e no laboratório

de inovação em IA. Os testes foram desenvolvidos para quantificar o desempenho e a escalabilidade da solução

ao treinar modelos de aprendizagem profunda. Além disso, o interesse era entender as vantagens do TCO e como

a Nauta simplifica o fluxo de trabalho de desenvolvimento do modelo.

Acelerando o desenvolvimento de modelos da IA

O ESG usou o Tensor2Tensor (T2T) do Google, uma biblioteca de código aberto de modelos de aprendizagem profunda

e conjuntos de dados, para caracterizar o desempenho de aprendizagem profunda com a Intel. Dos muitos problemas

de DL incluídos no T2T, nos concentramos na tradução de idiomas, usando o modelo Big Transformer para treinar

um tradutor automatizado neural (NMT) de inglês para alemão. O conjunto de dados continha 4,5 milhões de pares de

sentenças, e o desempenho foi medido em tokens por segundo processado, em que um token é uma parte de palavra.

Medimos o desempenho do T2T em duas configurações. A primeira configuração consistiu no treinamento do modelo

T2T executado em uma pilha de hardware bare metal Intel sem o uso de contêineres. A segunda configuração usou

a aprendizagem profunda completa com a pilha de infraestrutura Intel e utilizou a Nauta para executar o treinamento do

modelo T2T com Kubernetes e contêineres (em contêineres). Para cada configuração, executamos o treinamento várias

vezes, usando um, dois, quatro, oito e 16 nós de computação. Os resultados são exibidos na Figura 2 e na Tabela 1.

https://github.com/tensorflow/tensor2tensor/



Figura 2. Resultados do treinamento Big Transformer no Tensor2Tensor


Tabela 1. Resultados do treinamento Big Transformer no Tensor2Tensor

Nós de computação Tokens bare metal

por segundo Tokens em contêiner Nauta por segundo % de aprimoramento

1 1.115 1.320 18%

2 2.181 2.400 10%

4 4.302 4.320 0%

8 8.478 8.800 4%

16 16.675 16.960 2%


O que significam os números

Em todos os casos de testes, o uso de contêineres para aprendizagem profunda não impõe penalidade

de desempenho.

Na maioria dos casos, o aproveitamento dos contêineres resulta em um aumento de desempenho modesto.

Provavelmente, isso é o resultado de minimizar a comutação de contexto do kernel e os algoritmos de programação

eficientes do Kubernetes.

Dimensionamento da infraestrutura

O ESG usou os resultados do treinamento para entender o desempenho de dimensionamento da aprendizagem profunda

com a Intel. Figura 3 apresenta um gráfico com os resultados nos contêineres da Nauta com base em uma extrapolação

de escala linear, usando a configuração de um nó de computação como o desempenho básico para o sistema. O gráfico

usa eixos exponenciais, em que cada divisão representa o dobro do valor da divisão anterior. Os resultados também são

detalhados na Tabela 2



Figura 3. Aprendizagem profunda com dimensionamento da Intel

sswFonte: Enterprise Strategy Group

Tabela 2. Aprendizagem profunda com dimensionamento da Intel

Nós de computação Extrapolação do

dimensionamento linear Tokens por segundo

Nauta em contêineres Tokens por segundo

% do máximo teórico

1 1.320 1.320 0%

2 2.640 2.400 91%

4 5.280 4.320 82%

8 10.560 8.800 83%

16 21.120 16.960 80%



Aprendizagem profunda com a Intel, aproveitando a Nauta, dimensionado quase que linearmente, alcançando

80% ou mais do throughput máximo teórico, já que o número de nós de computação foi aumentado no fator de 16.



Por que isso é importante

Desempenho e escalabilidade são as principais preocupações dos cientistas de dados que treinam modelos de IA. Soluções mais rápidas permitem que os cientistas de dados testem com conjuntos de dados maiores e experimentem mais combinações de hiperparâmetros que possam produzir modelos mais precisos e uma convergência mais rápida dos modelos de IA prontos para produção.

O ESG validou que a aprendizagem profunda com a Intel ganha desempenho aproveitando a conteinerização e a orquestração. O treinamento do modelo foi executado até 18% mais rápido com a Nauta, e a solução processou 16.960 tokens por segundo com 16 nós de computação executando aprendizagens em contêiner em paralelo.

O desempenho de aprendizagem profunda com a Intel é dimensionado quase que linearmente, com a solução alcançando 80% ou mais de um throughput máximo teórico, já que o treinamento foi dimensionado de um a 16 nós de computação.



Melhorando o TCO do programa de IA

O ESG avaliou o custo total de propriedade (TCO) de aprendizagem profunda com a Intel. Também avaliamos o TCO

para realizar o mesmo fluxo de trabalho de IA usando um serviço líder de nuvem pública. Para comparações de TCO,

modelamos dois cenários: treinamento de modelo de aprendizagem profunda e inferências de aprendizagem profunda.

Entretanto, a aprendizagem profunda com a Intel não é adequada a inferências, pois a latência de inferência será maior

do que o desejado para a maioria dos ambientes de produção. A solução pode ser usada para testar e validar

o inferência do modelo. Também comparamos o TCO de infraestruturas locais usando apenas CPUs

e infraestruturas locais por meio de aceleradores de GPU.

O modelo de TCO de aprendizagem profunda com a Intel usou preços praticados comumente disponíveis e modelou

os custos de hardware, software, serviços, gerenciamento de TI, energia e resfriamento. Os custos de hardware incluíram

chassis de servidor, racks, conexão por cabo, switches de rede e cabeamento de rede. Os custos de software incluíram

as taxas anuais de licenciamento para todos os softwares licenciados instalados. A solução inclui serviços profissionais

que abrangem a instalação e a configuração da solução no local. Estimamos que o custo de gerenciamento, energia

e refrigeração de TI seria de 30% do custo dos servidores e switches de rede, e que os sistemas seriam executados

24 horas por dia, sete dias por semana.

O modelo de TCO para executar a mesma carga de trabalho em um serviço de nuvem pública líder usou a lista

de preços publicada em março de 2019. O modelo inclui o custo do tempo de computação, o armazenamento

de dados estáticos, a transferência de dados na nuvem e uma conexão de rede direta com o data center da nuvem

pública. O tempo de computação foi modelado em 12 horas por dia, 7 dias por semana. O armazenamento de dados

foi modelado considerando 10 TB de armazenamento estático, 10 TB de entrada por mês e 10 TB de saída por mês.

Treinamento de modelo

Primeiro, avaliamos o TCO de três anos de treinamento do modelo de aprendizagem profunda. O modelo de aprendizagem

profunda com a Intel modelou uma configuração de 16 nós de computação.

O serviço de nuvem pública separa os custos de execução dos notebooks Jupyter dos custos de treinamento do modelo.

Modelamos dez instâncias de notebook para dar suporte ao trabalho simultâneo de dez cientistas de dados. Modelamos

80 instâncias de treinamento, onde cada instância tinha oito CPUs virtuais (aproximadamente equivalentes a um núcleo

de CPU físico), para combinar a aprendizagem profunda com os núcleos de CPU 640 da Intel. A Tabela 3 e a Figura 4

comparam o TCO de três anos do treinamento entre aprendizagem profunda com a Intel e o serviço de nuvem pública.

Tabela 3. TCO de 3 anos e configuração do treinamento do modelo de aprendizagem profunda

Aprendizagem profunda com a Intel Serviço líder de IA de nuvem pública

Cientistas de dados simultâneos 20 10

Tempo da CPU 24 horas por dia

7 dias por semana 12 horas por dia

7 dias por semana

Núcleos de CPU (Dell EMC) CPUs virtuais (serviço de nuvem pública)

640 640

Memória 2,592 GB 2,560 GB

Armazenamento estático 100 TB 10 TB

Entrada de dados por mês n/d 10 TB

Saída de dados por mês n/d 10 TB

TCO de três anos US$ 748.893,00 US$ 987.077,00




Figura 4. TCO de 3 anos do treinamento do modelo de aprendizagem profunda



Para o treinamento de aprendizagem profunda, o TCO de três anos da aprendizagem profunda com a Intel

é US$ 238.000,00 a menos do que executar a mesma carga de trabalho em um serviço líder de nuvem pública.

Para o treinamento de aprendizagem profunda, o TCO de três anos da aprendizagem profunda com a Intel é

24% menor, fornecendo serviços para o dobro de cientistas de dados com o dobro do tempo de computação

(24 horas por dia contra 12 horas por dia) e 10 vezes a capacidade de armazenamento (100 TB contra 10 TB).

Inferências

Em seguida, modelamos o TCO de três anos da inferência de aprendizagem profunda, em que cientistas usam

o modelo de aprendizagem profunda com novos dados para realizarem inferências. Os cálculos do TCO não incluíam

as considerações de latência e o dimensionamento que tornam a aprendizagem profunda com a Intel inadequada para

aplicativos de inferência.

O modelo de TCO da aprendizagem profunda com a Intel modelou uma configuração de quatro nós de computação

e incluiu coprocessadores opcionais de hardware dedicados a acelerar a computação de inferência.

Como no caso do treinamento, nosso modelo de TCO de três anos para o serviço de nuvem pública modela dez instâncias

de notebook para suportar o trabalho simultâneo de dez cientistas de dados. O serviço de nuvem pública não publica

contagens de núcleo da CPU ao seu serviço de inferência, em vez disso, publica o desempenho matemático do ponto

flutuante. Modelamos 80 instâncias de inferência, em que cada instância tem 2 GB de memória para manter a paridade

de energia de computação da aprendizagem profunda com os 160 núcleos de CPU da Intel. A Tabela 4 e a Figura 5

comparam o TCO de três anos da inferência entre a aprendizagem profunda com a Intel e o serviço de nuvem pública.



Tabela 4. Configuração de inferência do modelo de aprendizagem profunda e TCO de três anos

Aprendizagem profunda com a Intel Serviço líder de IA de nuvem pública




7 dias por semana

Núcleos de CPU (Dell EMC) CPUs virtuais (serviço de nuvem pública)

160 n/d

Memória 768 GB 160 GB


Entrada de dados por mês n/d 10 TB

Saída de dados por mês n/d 10 TB



Figura 5. Inferência do modelo de aprendizagem profunda e TCO de três anos



Para inferências de aprendizagem profunda, o TCO de três anos da aprendizagem profunda com a Intel é quase

US$ 61.000,00 a menos do que executar a mesma carga de trabalho em um serviço líder de IA de nuvem pública.

Para inferências de aprendizagem profunda, o TCO de três anos da aprendizagem profunda com a Intel é 13%

menor, fornecendo o dobro do tempo de computação (24 horas por dia contra 12 horas por dia) e 10 vezes

a capacidade de armazenamento (100 TB contra 10 TB).



Aprendizagem profunda acelerada no local

Por fim, comparamos o TCO de 3 anos da aprendizagem profunda com a Intel com uma configuração acelerada por GPU

de uma pilha comparável a aprendizagem profunda com a Intel. Isso nos permitiu entender os impactos do TCO ao substituir

GPUs por CPUs em ambientes de aprendizagem profunda no local. Com base nas informações da Intel e evidências

empíricas, configuramos três vezes mais CPUs que GPUs para mantermos a paridade da energia de computação entre

as duas configurações. Modelamos uma configuração de CPU de 12 nós de computação e quatro nós de computação com

configuração de aceleradores de GPUs. A Tabela 5 e a Figura 6 comparam o TCO de três anos das duas configurações.

Tabela 5. Configuração de aprendizagem profunda acelerada no local e TCO de três anos

Aprendizagem profunda com a Intel Pilha de infraestrutura acelerada

do GPU comparável




7 dias por semana

Núcleos de CPU (Dell EMC) 480 80

Memória 2.304 GB 768 GB




Figura 6. TCO de 3 anos da aprendizagem profunda acelerada no local





A implementação de aceleradores de GPU da aprendizagem profunda impõe um custo adicional de US$

295.000,00 (34% a mais) para um desempenho comparável.

4 Fonte: Resultados da pesquisa do ESG, Inteligência artificial e aprendizagem automática: Calculando o valor da infraestrutura, março de 2019.


De acordo com a pesquisa do ESG, o custo de infraestrutura é o desafio de IA/ML citado com mais frequência pelas organizações pesquisadas.4 Portanto, não é de surpreender que os serviços de IA de nuvem pública sejam atraentes, pois apresentam baixo custo de inicialização, e os serviços são categorizados como despesas operacionais.

O ESG validou que o TCO de três anos da aprendizagem profunda com a Intel, uma solução no local, é significativamente mais barato do que a utilização de serviços de IA de nuvem pública. Para o desenvolvimento de modelos de aprendizagem profunda, a aprendizagem profunda com a Intel oferece uma economia de 24%, mais de US$ 238.000,00. Para a inferência de aprendizagem profunda, a solução Dell EMC no local fornece 13% de economia, quase US$ 61.000,00.

Os custos do serviço de IA da nuvem pública podem variar muito, e as cobranças mensais podem ser surpreendentemente altas quando erros acidentais levam a processos descontrolados que consomem tempo excessivo e dispendioso da CPU, ou geram grande volume de dados. A experimentação dos cientistas de dados pode consumir mais tempo de computação do que o originalmente esperado, aumentando os custos e infringindo a pretensão orçamentária. Por outro lado, a aprendizagem profunda com a solução Intel no local fornece aos gerentes e contadores financeiros despesas conhecidas e previsíveis.

https://research.esg-global.com/reportaction/aimlmsr/Toc



Simplificando a facilidade de uso

O ESG avaliou como a aprendizagem profunda com a Intel simplificou a implantação da pilha de infraestrutura

da IA e acelerou o tempo dos resultados para o cientista de dados. As pilhas de infraestrutura de IA são complexas,

incluindo uma pilha de hardware com grande energia de computação, armazenamento e rede, além de uma pilha

de software que integra uma combinação de software de código aberto e licenciado. Selecionar, integrar e ajustar

os componentes adequados em uma solução concluída de IA requer tanto conhecimento e sistemas de IA quanto

experiência em integração.

A aprendizagem profunda com a Intel fornece todos os hardwares necessários de software, computação, armazenamento

e sistema de rede, e a solução inclui a instalação e configuração no local pelo Dell EMC Professional Services. Assim,

os cientistas de TI e de dados podem ignorar o esforço demorado e complicado de instalar e configurar sistemas

operacionais, bibliotecas de IA, orquestração e software de gerenciamento, economizando semanas a meses de esforço.

A aprendizagem profunda com a Intel é oferecida integrada à plataforma Nauta, o que simplifica o processo para

o cientista de dados começar com a aprendizagem profunda. Conforme mostrado na Figura 7, em vez do processo

de várias etapas usado em infraestruturas tradicionais de IA, ao usar a Nauta, o cientista de dados faz login

no sistema, especifica os parâmetros de modelo e envia o trabalho de treinamento de aprendizagem profunda.

A Nauta, aproveitando o Kubernetes para automatização e orquestração, executa o trabalho de treinamento, coleta

o resultado e fornece os resultados ao usuário na GUI Nauta ou com o TensorBoard. As ferramentas de visualização

facilitam para o cientista de dados interpretar a saída e refinar o modelo de aprendizagem profunda.

Figura 7. Nível de esforço da infraestrutura tradicional de IA e aprendizagem profunda com a Intel


Uma tarefa comum dos cientistas de dados é o ajuste dos hiperparâmetros, escolhendo um conjunto de hiperparâmetros

ideais para o algoritmo de aprendizagem profunda. Um hiperparâmetro é um parâmetro cujo valor é usado para controlar

o processo de aprendizagem. O método tradicional de ajuste de hiperparâmetro é uma varredura de parâmetro, que é uma

pesquisa completa, em que cada combinação de parâmetros é testada e o conjunto de parâmetros que gera o melhor

modelo é escolhido. Essa metodologia exige que o cientista de dados crie um roteiro de trabalho para cada combinação,

envie os trabalhos, colete os resultados e determine a melhor combinação.

A Nauta aproveita o Kubernetes para automatizar e orquestrar o árduo esforço de ajustar os hiperparâmetros. O cientista

de dados cria um arquivo único que contém os intervalos desejados para cada hiperparâmetro e, em seguida, envia

o trabalho. A Nauta computa automaticamente todos os conjuntos de combinações de hiperparâmetro, executa trabalhos

para cada combinação, coleta os resultados e apresenta os resultados no TensorBoard. Conforme mostrado na Figura 8,

isso permite ajustar o parâmetro de um toque, permitindo que o cientista de dados dedique seus esforços a outras tarefas.



Figura 8. Ajuste de hiperparâmetros da infraestrutura tradicional de IA e aprendizagem profunda com a Intel


Em infraestruturas tradicionais de IA, é preciso ter uma média de cinco minutos para configurar um trabalho

e um minuto adicional para enviar o trabalho. Um experimento de ajuste de hiperparâmetros com 300 tarefas

exigiria 30 horas de tempo e esforço do cientista de dados.

O uso da Nauta levaria cinco minutos para configurar e enviar todas as 300 tarefas, liberando o cientista de dados para

trabalhar em outras tarefas. Dependendo dos requisitos de trabalho, a Dell EMC Ready Solution para IA/DL com Intel pode

executar até 16 tarefas simultaneamente, reduzindo o tempo de execução total e aumentando o tempo de implementação.


A aprendizagem profunda é complexa e desafiadora, e a dificuldade de desenvolver modelos é exacerbada pela escassez de uma equipe experiente ou treinada, assim como a complexidade da pilha de infraestrutura. Os cientistas de dados usam uma grande combinação de ferramentas de código aberto e licenciadas que complicam significativamente o processo de aprendizagem cíclico e iterativo que impulsiona a ML. Isso leva a problemas com o valor do tempo de retorno comercial. É necessário uma solução que simplifica a implementação da infraestrutura e automatiza o processo de desenvolvimento de modelo de DL.

A validação do ESG revelou que a aprendizagem profunda com a implementação simplificada da Intel e o Dell EMC Professional Services realizará a implementação e a configuração iniciais. A Nauta simplificou e automatizou a carga de trabalho do cientista de dados e ativou o ajuste de hiperparâmetros autônomos. A aprendizagem profunda com a Intel pode reduzir o tempo de execução de um teste de ajuste de hiperparâmetro de 300 tarefas de 30 horas para apenas alguns minutos, permitindo que o cientista de dados concentre seus esforços em outras tarefas não triviais.



A grande verdade

As GPUs e os processadores multi-core modernos transformaram a IA de ficção científica em realidade, e qualquer

organização pode ir além da prova de conceito para obter os benefícios dos programas de IA em operação. De acordo com

a pesquisa do ESG, 45% das organizações esperam ver o valor das suas iniciativas de IA/ML em menos de seis meses.5

Entretanto, essas organizações enfrentam desafios significativos que vão desde o custo e os recursos da infraestrutura

de IA até os ambientes de desenvolvimento de aplicativos ruins e a falta de pessoal experiente e qualificado.

A aprendizagem profunda com a Intel é uma pilha de infraestrutura de IA padronizada que abrange servidores,

sistema de rede, armazenamento e software de IA. A solução inclui a plataforma Nauta para aproveitar a tecnologia,

a automatização e a orquestração de contêineres. Essa solução de hardware e software validada e integrada é ajustada

e otimizada para iniciativas de IA, reduzindo o tempo de implementação, simplificando o fluxo de trabalho e a carga

de trabalho dos cientistas de dados, acelerando o desempenho e melhorando o TCO.

O ESG validou que o uso da Nauta melhora o desempenho do treinamento profundo na aprendizagem profunda

com a solução Intel. As cargas de trabalho de treinamento em contêineres foram executadas até 18% mais rápido

do que as mesmas cargas de trabalho em um sistema bare metal. Além disso, a solução atinge um dimensionamento

quase que linear, alcançando 80% do desempenho máximo teórico quando o número de nós de computação

é dimensionado de um para 16.

Os sistemas de orquestração e automatização da plataforma Nauta simplificam o desenvolvimento de modelo simplificado,

reduzindo significativamente o número de etapas no fluxo de trabalho. A automatização da Nauta permitiu o ajuste

de hiperparâmetros autônomos, simplificando a árdua e tediosa tarefa e permitindo que o cientista de dados focalize

os esforços em outras tarefas não triviais.

A aprendizagem profunda com a Intel provou ser mais econômica do que a execução das mesmas cargas de trabalho

na nuvem pública. Ao longo de três anos, uma solução de 16 nós de computação foi 24% mais barata do que um serviço

líder de IA de nuvem pública para treinamento de aprendizagem profunda. Uma solução de 12 nós de computação era

13% mais barata do que um serviço líder de IA na nuvem pública para cargas de trabalho de inferência de aprendizagem

profunda. O TCO de três anos da aprendizagem profunda com a Intel forneceu 24 horas por dia de disponibilidade

de computação e 100 TB de capacidade de armazenamento, comparado a apenas 12 horas por dia de consumo

de computação e 10 TB de armazenamento para o serviço de nuvem pública.

As organizações que buscam uma pilha de infraestrutura de IA/ML que seja fácil de usar e econômica, e que permita

que os profissionais de TI e cientistas de dados operacionalizem os programas de IA de forma rápida e fácil, devem

investigar como a aprendizagem profunda com a Intel pode simplificar e acelerar sua jornada de IA.

5 ibid.



Apêndice

Tabela 6. Aprendizagem profunda com a configuração Intel

Nó principal/de log-in - 1 x Dell EMC R740xd

Processador 2 x Intel Xeon Scalable Gold 6148 (20 núcleos)

Memória 12 DDR4 de 16 GB com 2.667 MHz (total de 192 GB)

Armazenamento 12 unidades de disco de 12 TB

Rede Adaptador Ethernet Intel X710 de 10 GB

Nós de computação - 16 Dell EMC C6420 em 4 chassis C6000

Processador 2 x Intel Xeon Scalable Gold 6148 (20 núcleos)

Memória 12 DDR4 de 16 GB com 2.667 MHz (total de 192 GB)

Armazenamento SSD M.2 de 250 GB otimizado para inicialização

Rede Adaptador de mezanino Ethernet Intel X710 de 10 GB


Todas as marcas comerciais são propriedade das suas respectivas empresas. As informações contidas nesta publicação foram obtidas por fontes

que o Enterprise Strategy Group (ESG) considera confiáveis, mas não são garantidas pelo ESG. Esta publicação pode conter opiniões do ESG que

estão sujeitas a alterações de tempos em tempos. Esta publicação é propriedade do The Enterprise Strategy Group, Inc. Qualquer reprodução ou

redistribuição desta publicação, integral ou parcial, seja em formato impresso, eletrônico ou de outra forma a pessoas não autorizadas a recebê-la, sem

o consentimento expresso do Enterprise Strategy Group, Inc., estará violando a lei de direitos autorais dos EUA e estará sujeito a uma ação por danos

civis Se, se aplicável, processo criminal. Em caso de dúvida, entre em contato com o departamento de atendimento ao cliente do ESG nos Estados Unidos

pelo telefone +1 (508) 482-0188.

www.esg-global.com [email protected] T. +1 (508).482-0188

O Enterprise Strategy Group é uma empresa de análise, pesquisa, validação e estratégia de TI que oferece percepções práticas e inteligência de mercado para a comunidade global de TI.


Documents

Dell EMC Ready Solutions para IA: Aprendizagem profunda com a … · 2020. 7. 22. · ao treinar o modelo Token2Token Big Transformer e avaliamos como a Nauta, uma iniciativa de código