A Aprendizagem Automática é a ciência que faz com que os computadores exerçam seu papel de forma natural sem que pareçam explicitamente programados para tal. Na última década, a aprendizagem automática foi responsável pelo surgimento dos carros automáticos, por recursos de reconhecimento de fala, otimizou as buscas na web e possibilitou um avanço enorme na compreensão do genoma humano. Atualmente a aprendizagem automática está tão difundida, que você provavelmente a utiliza várias vezes ao dia sem que perceba. Muitos pesquisadores também acreditam que esse é o caminho para levar a inteligência artificial a níveis equivalentes aos humanos. Neste curso, você vai conhecer as técnicas mais eficazes de aprendizagem automática, colocá-las em prática e ver como adequar essas técnicas para suas necessidades. O mais importante é que você não aprenderá apenas na teoria e sim terá o conhecimento prático necessário para aplicar as técnicas de forma rápida e exitosa e solucionar os problemas em seus projetos. Além disso, o aluno conhecerá alguns dos melhores e mais inovadores métodos utilizados no Vale do Silício no que se refere à aprendizagem automática e IA. Este curso traz uma introdução abrangente sobre aprendizagem automática, mineração de dados, e reconhecimento de padrões. Os tópicos estudados incluem: (i) Aprendizagem supervisionada (algoritmos paramétricos e não paramétricos, máquinas vetoriais de suporte, núcleos e redes neurais). (ii) Aprendizagem não supervisionada (Algoritmos de agrupamento - clustering, redução dimensional, sistemas de recomendação, a algoritmos hierárquicos). (iii) A melhores técnicas de aprendizagem automática (viés indutivo / variância; processo de inovação em aprendizagem automática e inteligência artificial). O curso abordará também inúmeros estudos de caso e aplicações para que o aluno possa aprender como aplicar os algoritmos na construção de robôs inteligentes (percepção, controle), reconhecimento de texto (para pesquisa na web, anti-spam), visão computacional, informática médica, áudio, mineração de dados, entre muitas outras áreas de aplicação.</p>
Getting Lots of Data and Artificial Data
Loading...
Do curso por Stanford University
Aprendizagem Automática
99566 classificações
Na lição
Application Example: Photo OCR
Identifying and recognizing objects, words, and digits in an image is a challenging task. We discuss how a pipeline can be built to tackle this problem and how to analyze and improve the performance of such a system.
Conheça os instrutores
Andrew NgCEO/Founder Landing AI; Co-founder, Coursera; Adjunct Professor, Stanford University; formerly Chief Scientist,Baidu and founding lead of Google Brain
Eu ouvi muitas e muitas vezes
que a forma mais confiável
de se obter o melhor desempenho no sistema
de aprendizagem de máquina
é utilizar um algoritmo de baixa variância
e treiná-lo com enorme quantidade de dados
mas onde você consegue dados de treinamento?
No aprendizado de máquina
há uma ideia fascinante chamada síntese artificial de dados.
Esta técnica não é indicada
a todo tipo de problema.
Aplicá-la em um problema específico
exige normalmente inovação e conhecimento
mas se você puder aplicar a técnica
ao seu problema de aprendizagem de máquina
ela pode ser, às vezes,
o jeito mais fácil de se obter
uma enorme base de dados para treinamento do seu algoritmo.
A técnica de síntese artificial de dados
é composta por duas variações principais:
a primeira é se nós
essencialmente estamos
criando dados do zero
e a segunda opção é se
já temos um pequeno conjunto
de rótulos para o treinamento
e de alguma forma ampliamos este
pequeno conjunto inicial de treinamento
e o transformamos
num conjunto maior.
Neste vídeo avaliaremos ambas alternativas.
Para explicar a ideia da síntese
artificial de dados
vamos usar uma parte dos caracteres da
sequência extraída de um OCR.
Temos uma imagem de entrada
e queremos reconhecer a letra.
Se formos coletar um
grande conjunto de rótulos de dados
é com isso que eles se parecem.
Neste exemplo usei a proporção de um quadrado.
Então pegamos partes quadradas da imagem
e o objetivo
é pegar uma parte da imagem e reconhecer o caracter
que está no meio do quadrado.
Para simplificar,
eu lerei estas imagens
como se fossem tons de cinza ao invés de coloridas
porque cores
não nos ajudaria muito neste problema.
Nesta parte da imagem
queremos reconhecer a letra T.
Nesta outra parte
queremos reconhecer o S.
E nesta outra parte aqui
queremos reconhecer o I e etc.
Usando este conjunto
de imagens como exemplo,
como podemos obter um conjunto ainda maior de treino?
Os computadores modernos
possuem uma enorme biblioteca de fontes.
Se você usa um programa editor de textos,
dependendo do que você usa,
é provável que você
já tenha todas estas fontes armazenadas
além de muitas e muitas outras.
Aliás, se você for a diferentes sites
há uma enorme quantidade de bibliotecas
de fontes grátis na Internet.
Podemos baixar centenas ou até
milhares de tipos diferentes de fonte.
Se você quer mais
exemplos para treino uma das opções
é obter caracteres
de fontes diferentes
e colar estes caracteres em
planos de fundo diferentes de maneira aleatória.
Você pode pegar este 'C' e colá-lo em um plano de fundo aleatório.
Se você fizer isto,
você obterá um exemplo de treinamento
de uma imagem do caracter 'C'.
Depois de
algum trabalho,
e dá um pouco de trabalho
para sintetizar dados que sejam realísticos.
Mas depois de um pouco de trabalho
você terá um conjunto sintético de treino como este.
Cada imagem exibida à direita é sintetizada.
Se você pegar uma fonte
aleatória obtida
na Internet e colar a imagem
de um caracter
ou alguns caracteres desta fonte
contra uma imagem de fundo qualquer
e se, usando um editor de textos,
embaçar ou
criar uma distorção,
redimensionando
ou rotacionando um pouco.
Estas são alterações que
que produzem um conjunto sintetizado de treino
como este que estou mostrando.
Este é um trabalho
que demanda bastante
planejamento para se conseguir
um conjunto sintetizado de dados realísticos.
Se você for desleixado
na hora de criar
o conjunto de dados sintetizado ele não funcionará bem.
Você vai observar que
o conjunto sintetizado de dados é bastante similar aos dados reais.
Ao usar dados sintéticos
você tem um suprimento ilimitado
de exemplos para treinamento
de dados sintéticos artificiais.
Se você usar
uma fonte de dados sintéticos
você terá um suprimento ilimitado
de rótulos de dados para criar um algoritmo
supervisionado de aprendizagem
que resolve o problema de reconhecimento de caracter.
Este é um exemplo de
síntese artificial de dados em que você
basicamente cria novos dados do zero.
Você gerou imagens novíssimas do zero.
A outra abordagem de sintetização
de dados artificial é quando você
obtém exemplos de algo que você
já possui,
um exemplo real a partir de
uma imagem real.
Você cria dados adicionais
de forma a ampliar o conjunto de treinamento.
Aqui está uma
imagem do caracter 'A'.
Esta não é imagem sintetizada.
Eu fiz uma sobreposição
com esta grade apenas para demonstração.
Estas linhas
não devem existir, é claro.
O que podemos fazer é,
a partir do A eu obtenho estas imagens
e artificialmente introduzo deformações
ou distorções artificiais dentro da
imagem de tal forma que
a partir desta imagem
você pode criar 16 novos exemplos.
Desta forma, você pode
iniciar com um pequeno conjunto de treino
e ampliá-lo.
De repente você terá muito mais
exemplos de todos os tipos.
Novamente, para obter
este resultado no seu aplicativo,
é necessário planejamento e perspicácia
para encontrar
o conjunto apropriado
de distorções, ou outra forma
de ampliar e multiplicar
seu conjunto de treinamento.
Para este exemplo específico de reconhecimento
de caracteres, a introdução
destas distorções parece ser
uma escolha natural
mas em outra aplicativo de aprendizado de máquina
podem haver outras distorções mais adequadas.
Mostrarei outro exemplo
totalmente diferente que é sobre reconhecimento de fala.
Suponhamos que você tenha
trechos de áudio
e usando este áudio você quer reconhecer
quais são as palavras
ditas no trecho.
Vamos avaliar este exemplo de treino.
Suponhamos que você tenha
um exemplo de treino
de alguém falando palavras específicas.
Vamos tocar esta gravação -
0-1-2-3-4-5.
Ok.
Alguém contando de 0 a 5.
Agora você quer tentar
aplicar um algoritmo de aprendizagem
e reconhecer as palavras ditas.
Como vamos ampliar o conjunto de dados?
Uma das coisas que faremos é
introduzir mais distorções de áudio neste conjunto de dados.
Eu vou adicionar sons no fundo
para simular uma má conexão de celular.
Quando você escutar sons de beep
saiba que isto faz parte da gravação.
Não há nada de errado com sua caixa de som - vou tocar agora.
zero, um, dois, três, quatro, cinco.
Você ouve este tipo
de trecho de audio
e reconhece os sons.
Este parece ser um outro exemplo de treino útil.
Aqui vai um outro exemplo com barulho no fundo:
zero, um, dois, três
quatro, cinco.
ou carros dirigindo rápido,
pessoas falando ao fundo, etc.
Pegando o trecho de áudio original,
limpo,
o áudio de alguém
dizendo
zero, um, dois, três, quatro, cinco.
Podemos automaticamente
sintetizar esses exemplos
adicionais de treinamento e ampliá-los.
Agora tocarei o exemplo
final:
1 2 3 4 5 então ao
pegar apenas um rótulo de exemplo
o esfoço que temos que fazer é
coletar um único exemplo
de contagem de 0 até 5
e ao sintetizar distorções adicionais
como diversos sons ao fundo
multiplicamos o exemplo inicial
em muitos outros
sem muito trabalho, ao simplesmente
adicionar estes vários sons de fundo
ao trecho de áudio original.
Um alerta sobre sintetização de
dados utilizando distorções:
se você fizer isto,
as distorções que você introduzir
devem representar a fonte de ruídos
ou distorções que
você vê no conjunto de teste.
No exemplo de reconhecimento
de caracteres, as coisas que
introduzimos são razoáveis
porque uma imagem A
que aparece deste jeito
é uma imagem que
poderíamos de fato ver em um conjunto de teste.
E a imagem
no canto superior direito
se parece com uma imagem real.
E para o áudio
queremos reconhecer a fala
mesmo quando há uma conexão de celular ruim
ou diferentes ruídos no fundo.
Para o áudio,
sintetizamos exemplos que na realidade
são significativos para o tipo
de exemplos que queremos classificar
ou reconhecer corretamente.
Em contraste,
geralmente não é útil
adicionar ruídos sem significado, aleatórios, aos seus dados.
Não sei se você notou
mas pegamos aqui
uma imagem e
para cada pixel
em cada uma destas quatro imagens
adicionei, por pixel, ruídos aleatórios gerados com função Gaussiana.
Para cada pixel
no brilho do pixel,
adicionamos ruídos de Gaussianos para cada pixel.
Ruídos totalmente sem sentido, certo?
A menos que você esteja esperando
por estes ruídos
nos pixeis no seu conjunto de teste
esta forma de ruído
puramente aleatória e sem sentido, é menos útil.
Mas no processo
de sintetização artificial de dados requer
também um pouco de arte
e às vezes
você simplesmente tenta e vê se você acerta.
Se você está tentando
decidir que tipos de
distorções para adicionar
pense em quais outras
distorções são significativas
para gerar conjunto de treinamento
que seja pelo menos
representativo do tipo de imagem
que você espera ver no seu conjunto de teste.
Para encerrar este vídeo
eu gostaria de mencionar
algo mais
sobre esta ideia
de se obter montes de dados via síntese artificial de dados.
Como sempre,
antes de gastar muito tempo
descobrindo como criar exemplos artificiais de treinamento,
uma boa prática, com frequência,
é garantir que você tenha
um algoritmo de baixa
variância e ter um monte
de dados de treinamento.
Uma forma padrão
de se fazer isto é visualizar as curvas
de aprendizado e assegurar-se de que
você tenha um bom classificador
de baixa variância
ou se você não tem
classificador de baixa variância
uma outra alternativa
é continuar aumentando
o número de atributos
do seu classificador,
aumentando o número de unidades secretas na sua rede
até que você obtenha
um classificador de baixa variância.
Apenas depois disto
você deveria dedicar esforços
para criar um grande conjunto artificial de treino.
O que você deve evitar
é gastar
uma semana inteira
ou alguns meses tentando
descobrir como fazer
um ótimo conjunto artificial de dados sintetizado
apenas para concluir que o desempenho
de seu algoritmo de aprendizado
não melhorou muito mesmo após rodar um enorme conjunto de treinamento.
Este é normalmente meu conselho
sobre como utilizar um grande
conjunto de treinamento
antes gastar muito tempo
para obter um conjunto de treinamento.
O segundo é: quando estou trabalhando
em um problema de aprendizado de máquina,
uma pergunta que quase sempre faço à equipe
com a qual estou trabalhando e também para meus alunos é:
quanto trabalho seria necessário
para obter dez vezes mais os dados que temos?
Quando eu vejo um novo aplicativo
para problemas de aprendizado de máquina
Eu reuno a equipe
e faço esta mesma pergunta.
Fiz essa pergunta várias e várias vezes.
E várias e várias e várias vezes
me surpreendo com a frequência
em que a resposta tem sido:
não é tão difícil,
talvez dez dias de trabalho
no máximo para ter dez vezes
mais dados que temos atualmente
para rodar o aplicativo.
Com frequência,
se você puder obter
dez vezes mais dados
você conseguirá aprimorar seu algoritmo.
Então se algum dia
você fizer parte de uma equipe que
esteja trabalhando num aplicativo
de aprendizado de máquina
esta é uma boa questão para você
e para sua equipe.
Não fique muito surpreso
se depois de alguns minutos de brainstorming
sua equipe achar uma forma de
conseguir literalmente
dez vezes mais dados.
Neste caso,
você seria o herói
porque com dez vezes mais dados
eu acho que você obterá
um melhor desempenho ao aprender a partir de muito mais dados.
Há muitas formas de se obter muitos mais dados.
Este vídeo apresenta
duas ideias:
gerar dados do zero usando fontes aleatórias
e a segunda ideia
que é utilizar o exemplo existente
e introduzir distorções para ampliar
o conjunto de treinamento.
Outros exemplos de
como se obter mais dados
é coletar os dados
ou rotulá-los por você mesmo.
Um raciocínio útil
é se perguntar
quantos minutos, quantas
horas levam para obter
um certo número de exemplos.
Eu reflito e
tento descobrir.
Digamos que em dez segundos
eu consiga rotular um exemplo.
Suponhamos que
para nosso aplicativo temos
mil exemplos rotulados.
Portanto, dez multiplicado por
mil exemplos seria
n igual a 10 mil.
Uma outra forma de
se obter um monte de dados
é coletá-los você mesmo.
O que quero dizer com isto?
Frequentemente paro
para calcular e descobrir
quanto tempo,
quantas horas
são necessárias
quantas horas ou quantos dias
são necessários para
que eu ou outra pessoa
colete dez vezes
mais dados que temos,
coletando-as manualmente e adicionando os rótulos por nós mesmos.
Por exemplo, digamos que
para um aplicativo de aprendizado de máquina
temos mil exemplos, M é igual a 1.000.
O que faremos
é nos perguntar: bem quanto tempo
demoro para coletar
um exemplo?
Talvez demore dez segundos
para rotular
um novo exemplo.
Portanto, se quero dez vezes mais exemplos
vou demorar dez segundos para ter um exemplo de treino.
Se eu quero ter dez vezes mais dados
então preciso de 10 mil exemplos.
Portanto faço os cálculos para saber quanto tempo
vou demorar para rotular
manualmente 10 mil exemplos.
Se demoro dez segundos para rotular um exemplo
Quando você faz este cálculo
com frequencia
nos surpreendemos
com o pouco de trabalho que leva.
As vezes alguns dias de trabalho,
e as vezes umas poucas horas.
Já vi muitas equipes ficarem surpresas
pela pouca quantidade
para se obter
uma grande
quantidade extra de dados
e usar estes dados para
obter um enorme
e necessário ganho no desempenho.
Às vezes,
quando você consegue fazer isto
você será o herói em qualquer equipe
que você trabalhe
porque esta pode ser uma ótima solução
para se obter um melhor desempenho.
Para finalizar, a terceira boa solução
para se obter uma grande
quantidade de dados
é usar um coletivo de dados (crowdsourcing).
Hoje em dia existem
alguns sites que
oferecem serviços que permitem
que você contrate pessoas na
Internet para criar grandes
conjuntos de dados de treinamento por um preço razoável.
Esta ideia de coletivo
"crowd sourcing" ou "crowd source"
para rotular dados é algo que
possui, obviamente
como toda literatura acadêmica,
suas próprias dificuldades e etc
referentes a confiaça no rotulador por exemplo.
Pode ser que hajam milhares de rotuladores
ao redor do mundo
trabalhando por um preço razoável para
te ajudar a rotular dados.
E também algo que já mencionei,
há está alternativa também.
E provavelmente o sistema
Amazon Mechanical Turk é o mais
popular entre os coletivos atualmente.
Geralmente,
dá bastante trabalho
se você quiser obter
rótulos de alta qualidade
mas às vezes uma opção
que vale a pena considerar.
Se você quiser contratar
muitas pessoas, por um preço razoavelmente barato
na Internet, os rotuladores podem produzir muitos dados para você.
Neste vídeo,
falamos sobre a ideia de síntese
artificial de dados
seja para criar novos dados
do zero utilizado no exemplo
de fonte aleatória
ou através da ampliação de um conjunto
de dados de treinamento ao
utilizar os exemplos existentes
e introduzir distorções a eles,
de tal forma que criamos mais exemplos.
E finalmente uma coisa que eu
espero que você se lembre
deste vídeo é a ideia de que
se você tem um problema de aprendizado de máquina,
vale à pena fazer duas coisas:
A primeira é uma avaliação de sanidade,
com curvas de aprendizado, para ver se será útil ter mais dados
e, assumindo que este seja o caso,
eu geralmente
me pergunto seriamente: quanto tempo
levaria para obter dez vezes
mais dados de treinamento que
tenho agora.
Não é sempre mas às vezes você se surpreenderá
com a facilidade
para se obter dados.
Às vezes dias ou semanas
de trabalho que podem ser
um jeito excelente de se obter um enorme ganho de desempenho no seu algoritmo.
Explore nosso catálogo
Registre-se gratuitamente e obtenha recomendações, atualizações e ofertas personalizadas.
O Coursera proporciona acesso universal à melhor educação do mundo fazendo parcerias com as melhores universidades e organizações para oferecer cursos on-line.
© 2019 Coursera Inc. Todos os direitos reservados.
