O que é Aprendizado Supervisionado (SL) em um artigo?

Definição e ideias centrais da aprendizagem supervisionada

O aprendizado supervisionado é uma das abordagens mais comuns e fundamentais do aprendizado de máquina, com a ideia central de ensinar um modelo de computador a fazer previsões ou julgamentos com base em um conjunto de dados existente com as "respostas certas". Pense na aprendizagem supervisionada como um aluno aprendendo sob a orientação de um professor. O professor fornece um grande número de problemas (dados) e respostas padrão correspondentes (rótulos), e o aluno gradualmente entende e domina o padrão (modelo) de solução de problemas por meio da prática repetida e da comparação de respostas. Quando o aluno se depara com um problema novo, nunca antes visto, ele pode usar os padrões aprendidos para dar uma resposta que seja a mais correta possível (previsão). Em um contexto técnico, esses "exercícios" são chamados de características, que descrevem aspectos de uma coisa, como a altura, o peso e a cor da pelagem de um animal ao julgá-lo. A "resposta padrão" é chamada de rótulo, que é o resultado que queremos prever, como "gato" ou "cachorro". O modelo de computador analisa a correspondência entre um grande número de "recursos" e "rótulos" e aprende uma função matemática complexa (modelo) que mapeia os recursos de entrada para os rótulos corretos.

O objetivo final do aprendizado supervisionado é que os modelos façam previsões altamente precisas, apesar de serem confrontados com dados novos e não rotulados, um processo que incorpora a capacidade central da IA de aprender padrões a partir dos dados e generalizá-los.

Dois tipos de tarefas principais para aprendizado supervisionado

• Classificação das tarefasTarefas de classificação no aprendizado supervisionado exigem que o modelo preveja rótulos de categorias discretas, como em perguntas de múltipla escolha com opções limitadas e de uma ou de outra. A essência dessas tarefas é classificar os dados de entrada em categorias predefinidas. Os exemplos incluem determinar se um e-mail é spam ou normal, ou identificar as espécies de animais em uma imagem. O resultado de um problema de classificação é uma conclusão qualitativa, e os aplicativos comuns incluem diagnóstico de doenças, reconhecimento de imagens e análise de sentimentos.
• Missão de retornoTarefas de regressão: As tarefas de regressão exigem a previsão de resultados numéricos contínuos, semelhante a uma pergunta do tipo "preencha a lacuna" em que a resposta é um número específico variável. Esse tipo de tarefa está relacionado à previsão quantitativa e exige que o modelo produza resultados numéricos precisos. Por exemplo, a previsão do preço de venda de uma casa ou do preço de uma ação requer a indicação de um número específico. O resultado dos problemas de regressão é um resultado quantitativo e é amplamente usado em áreas como previsão de vendas, estimativa de preços e análise de tendências.
• Distinção de mandatosClassificação e regressão: A diferença fundamental entre as tarefas de classificação e regressão é a diferença na natureza do resultado: a classificação gera rótulos qualitativos e a regressão gera valores quantitativos. Essa diferença determina a escolha de métricas e algoritmos de avaliação. Métricas como exatidão e precisão são comumente usadas para tarefas de classificação, enquanto métricas como erro quadrático médio e erro absoluto médio são usadas para tarefas de regressão.
• Seleção de tarefasA escolha da tarefa a ser usada depende inteiramente do fato de o requisito real ser para categorias ou valores específicos. A natureza do problema comercial determina se os métodos de classificação ou regressão devem ser usados. Compreender a diferença entre esses dois tipos de tarefas nos ajuda a entender melhor os cenários de aplicação e as limitações do aprendizado supervisionado.
• aplicação práticaNa prática, às vezes é possível transformar problemas de regressão em problemas de classificação, ou vice-versa, por meios técnicos. Por exemplo, a previsão de classificações de usuários pode ser usada tanto como um problema de regressão (previsão de pontuações específicas) quanto como um problema de classificação (previsão de classificações positivas ou negativas). Essa flexibilidade amplia a gama de aplicações do aprendizado supervisionado.

Fluxo de trabalho completo para aprendizado supervisionado

• Coleta de dadosA primeira etapa do processo de aprendizado supervisionado é coletar uma grande quantidade de dados brutos rotulados. Esses dados precisam ser representativos e diversificados o suficiente para abranger uma ampla gama de situações em cenários de aplicativos do mundo real. A qualidade e a quantidade de dados afetam diretamente o desempenho do modelo final.
• Pré-processamento de dadosDados brutos: Os dados brutos estão sujeitos a etapas de pré-processamento, como limpeza, conversão e padronização. Esse estágio inclui lidar com valores ausentes, corrigir dados errôneos, unificar formatos de dados e outros trabalhos. A qualidade do pré-processamento afeta diretamente o efeito do treinamento subsequente do modelo.
• engenharia de recursosEngenharia de recursos: Essa fase transforma os dados brutos em um formato compreensível para o modelo e inclui o trabalho de seleção, extração e construção de recursos. Uma boa engenharia de recursos pode melhorar significativamente o desempenho do modelo, às vezes mais do que a seleção de modelos.
• Seleção de modelosSelecione o modelo de algoritmo adequado de acordo com as características do problema e dos dados. Os algoritmos de aprendizado supervisionado comumente usados incluem árvores de decisão, máquinas de vetores de suporte, redes neurais e assim por diante. Diferentes modelos têm seus próprios cenários aplicáveis e vantagens e desvantagens.
• treinamento de modelosDados de treinamento: Os dados de treinamento são usados para ajustar os parâmetros do modelo por meio de um algoritmo de otimização para minimizar o erro de previsão. O processo de treinamento requer a determinação de hiperparâmetros apropriados e o monitoramento do efeito do treinamento usando conjuntos de validação para evitar o ajuste excessivo.
• avaliação de modelagemAvaliação: Avalie o desempenho do modelo usando dados de teste independentes para garantir que ele atenda aos requisitos práticos. As métricas de avaliação são selecionadas de acordo com o tipo de tarefa, sendo a precisão, a recuperação etc. comumente usadas para tarefas de classificação e o erro quadrático médio, o coeficiente de determinação etc. comumente usados para tarefas de regressão.
• Implementação do modeloIntegração de modelos treinados em aplicativos reais para fornecer serviços de previsão. A implantação precisa levar em conta as restrições práticas, como tempo real, escalabilidade e consumo de recursos.
• monitoramento contínuoO modelo precisa ser monitorado continuamente quanto ao desempenho depois de entrar em operação e periodicamente retreinado com novos dados para acomodar as alterações na distribuição de dados. Essa sessão garante que o modelo possa manter um bom desempenho ao longo do tempo.

O papel fundamental dos dados na aprendizagem supervisionada

Os dados são a base do aprendizado supervisionado; a quantidade e a qualidade dos dados determinam diretamente o sucesso ou o fracasso do modelo; o setor costuma dizer que "entra lixo, sai lixo" e isso se reflete aqui.

• A importância do tamanho dos dadosEm geral, quanto mais dados forem fornecidos, mais complexos e precisos serão os padrões que um modelo poderá aprender e maior será sua generalização (capacidade de lidar com novas amostras). Modelos complexos, como a aprendizagem profunda, exigem quantidades enormes de dados para serem eficientes.
• Impacto decisivo da qualidade dos dadosSe os dados de treinamento contiverem muitos dados com rótulos errados ou ruidosos, o modelo aprenderá os padrões errados. Um exemplo clássico é que, se muitas fotos de "lobos" no conjunto de dados tiverem fundos com neve, enquanto muitas fotos de "cães" tiverem fundos com grama, o modelo poderá aprender incorretamente a distinguir entre lobos e cães pela "neve" e pela "grama", em vez de pelas características próprias do animal. O modelo pode aprender erroneamente a distinguir entre lobos e cães pela "neve" e pela "grama", em vez de pelas características dos próprios animais.
• O enorme custo da rotulagem de dadosObtenção de dados: A obtenção dos dados em si pode não ser difícil, mas a "rotulagem" precisa dos dados é trabalhosa e demorada. A rotulagem de milhares de imagens médicas requer radiologistas especializados, e a rotulagem de dados de fala requer transcrição literal. Esse custo é um grande gargalo para muitos projetos de aprendizado supervisionado.
• Relevância dos recursos para os rótulosCaracterísticas: Os recursos fornecidos ao modelo devem ser relevantes na prática para os rótulos que se deseja prever. A seleção de recursos significativos requer o conhecimento de especialistas no domínio.

Desafios e problemas comuns enfrentados pela aprendizagem supervisionada

Na prática do aprendizado supervisionado, os pesquisadores e engenheiros precisam lutar continuamente contra vários desafios fundamentais.

• sobreajusteEsse é um dos problemas mais comuns e complicados do aprendizado supervisionado. Ele se refere a um modelo que tem um desempenho muito bom nos dados de treinamento, aprendendo demais os detalhes e o ruído nos dados de treinamento a ponto de tratá-los como uma lei universal, o que leva a uma queda acentuada no desempenho preditivo em novos dados. É como um aluno que aprendeu as respostas de todos os exercícios mecanicamente, mas não entende os princípios e não sabe o que fazer quando as perguntas do exame mudam ligeiramente.
• ajuste inadequadoAjuste insuficiente: Em contraste com o ajuste excessivo, o ajuste insuficiente ocorre quando o modelo é muito simples e não consegue capturar os padrões e as tendências subjacentes incorporados nos dados. A subadaptação tem um desempenho ruim tanto nos dados de treinamento quanto nos de teste. É como se um aluno que não dominasse nem mesmo o conhecimento mais básico cometesse erros tanto nos problemas originais quanto nos novos.
• Compensações entre viés e variânciaPor trás do sobreajuste e do subajuste está a conhecida compensação entre viés e variância no aprendizado de máquina. Modelos simples têm alta tendência (propensos a subajuste) e baixa variação; modelos complexos têm alta variação (propensos a superajuste) e baixa tendência. O objetivo ideal é encontrar um modelo que seja "perfeito" e equilibre os dois.
• desastre dimensionalQuando o número de recursos nos dados é muito grande (ou seja, alta dimensionalidade), os dados se tornam extremamente esparsos, e o modelo exige tamanhos de amostra exponencialmente crescentes para cobrir efetivamente o espaço de recursos. Isso não só é computacionalmente caro, como também tem maior probabilidade de levar a um ajuste excessivo. Lidar com dados de alta dimensão é um grande desafio para o aprendizado supervisionado.
• Desequilíbrio de dadosEm muitos problemas do mundo real, o número de amostras em diferentes categorias varia muito. Por exemplo, na detecção de fraudes, as transações fraudulentas podem representar apenas 1 em 10.000 de todas as transações. Se for treinado diretamente nos dados brutos, o modelo pode simplesmente aprender a prever sempre "não fraudulento" e obter uma precisão de 99,99%, mas isso é completamente sem sentido. Lidar com conjuntos de dados desequilibrados requer habilidades especiais.

Exemplos de algoritmos clássicos para aprendizado supervisionado

Os pesquisadores desenvolveram uma ampla variedade de algoritmos de aprendizado supervisionado, cada um com seus próprios pontos fortes e adequado a diferentes cenários.

• Regressão linear e regressão logísticaRegressão linear: O modelo mais básico e intuitivo. A regressão linear é usada para tarefas de regressão, em que ela tenta encontrar uma linha reta (ou hiperplano) que melhor se ajuste aos pontos de dados. A regressão logística, apesar do nome, é na verdade uma ótima ferramenta para resolver problemas de classificação binária, mapeando uma saída linear para um valor de probabilidade entre 0 e 1 por meio de uma função em forma de S.
• árvore de decisãoModelo estruturado em árvore que simula o processo humano de tomada de decisões. Uma série de perguntas do tipo "E se...? Então..." Os dados são filtrados por uma série de perguntas "se..." para chegar a uma conclusão (nó folha). As árvores de decisão são muito intuitivas e fáceis de interpretar, por exemplo, "Aprovar um empréstimo se você tiver mais de 30 anos e mais de US$ 500.000 em economias".
• máquina de vetor de suporteClassificação de dados: um poderoso algoritmo de classificação cuja ideia central é encontrar um hiperplano com espaçamento máximo para classificar diferentes classes de dados. Esse hiperplano atua como a "zona de isolamento" mais ampla que melhor separa as duas classes de pontos de dados, resultando em um modelo mais generalizado e mais robusto para dados não vistos.
• Algoritmo K-Nearest NeighbourAprendizagem preguiçosa: Um algoritmo de "aprendizagem preguiçosa" simples, mas eficaz. Ele não abstrai ativamente os dados, mas apenas se lembra de todas as amostras de treinamento. Quando uma nova amostra precisa ser prevista, ele encontra os K "vizinhos" mais próximos da nova amostra no espaço de recursos e, em seguida, prevê o rótulo da nova amostra com base nos rótulos desses K vizinhos (por votação ou média).
• Bayesiano simples (matemática)Classificador probabilístico simples baseado no teorema de Bayes: Um classificador probabilístico simples baseado no teorema de Bayes. O Bayes simples tem uma suposição "simples": todos os recursos são independentes uns dos outros. Embora essa suposição raramente seja verdadeira na realidade, o Bayes simples tende a funcionar muito bem na prática, especialmente no campo da classificação de texto (por exemplo, filtragem de spam), e é muito rápido de calcular.
• Redes neurais e aprendizagem profundaRede neural profunda: um modelo complexo que consiste em um grande número de neurônios (nós) interconectados, inspirado na estrutura do cérebro humano. As redes neurais superficiais são modelos tradicionais de aprendizado supervisionado, enquanto o aprendizado profundo refere-se especificamente a redes neurais com um número muito grande de camadas. Capaz de aprender automaticamente representações hierárquicas de recursos de dados, ela alcançou um sucesso revolucionário em tarefas complexas, como processamento de imagens, fala e linguagem natural, e é o principal mecanismo por trás de muitos aplicativos atuais de IA.

Aprendizagem supervisionada em vários setores

• Assistência médicaO aprendizado supervisionado ajuda os médicos a identificar lesões na análise de imagens médicas, avaliar o risco de doenças na previsão de doenças e acelerar o processo de descoberta de novos medicamentos na descoberta de medicamentos. Esses aplicativos melhoram a precisão do diagnóstico e possibilitam a medicina personalizada.
• Setor financeiroAprendizagem supervisionada: Bancos e instituições financeiras usam a aprendizagem supervisionada para pontuação de crédito e gerenciamento de risco, permitindo aprovações automatizadas de empréstimos. Na detecção de fraudes, os modelos identificam transações suspeitas em tempo real para proteger os fundos dos usuários. As organizações de investimento também usam o aprendizado supervisionado para previsão de mercado e negociação quantitativa.
• Setor de comércio eletrônico de varejoSistema de recomendação: fornece recomendações personalizadas de produtos por meio da análise dos dados de comportamento do usuário, melhorando significativamente a experiência do usuário e a taxa de conversão de vendas. Os modelos de previsão de demanda ajudam os varejistas a otimizar o gerenciamento de estoque e a reduzir a falta de estoque e os produtos de baixa rotatividade.
• Campo de visão computacionalA tecnologia de reconhecimento facial é usada em verificação de identidade, sistemas de controle de acesso e vigilância de segurança. No campo da direção autônoma, o aprendizado supervisionado permite que os veículos reconheçam vários objetos no ambiente da estrada. A tecnologia de reconhecimento visual também é amplamente usada na inspeção industrial para o controle de qualidade do produto.
• processamento de linguagem natural (NLP)A filtragem de spam protege os usuários contra o assédio, e a análise de sentimentos ajuda as empresas a entender o feedback dos usuários. Tanto a tradução automática quanto o atendimento inteligente ao cliente dependem de técnicas de aprendizado supervisionado para entender e gerar linguagem natural.
• EducaçãoSistema de aprendizado personalizado: O sistema de aprendizado personalizado recomenda o conteúdo e os caminhos de aprendizado apropriados com base no perfil de aprendizado do aluno. O sistema de marcação inteligente avalia automaticamente as tarefas e os exames, fornecendo feedback instantâneo.
• setor de serviçosManutenção preditiva: os modelos de manutenção preditiva fornecem um aviso antecipado do risco de falha por meio da análise dos dados do sensor do equipamento. Os sistemas de controle de qualidade usam a tecnologia de reconhecimento visual para detectar defeitos nos produtos e melhorar a produtividade.
• transporteModelos de previsão de fluxo de tráfego ajudam a otimizar o planejamento de rotas e o controle de sinais. Os modelos de previsão de demanda ajudam as plataformas de mobilidade compartilhada a despachar veículos de forma racional e melhorar a qualidade do serviço.

Considerações éticas e sociais decorrentes do aprendizado supervisionado

Com o uso generalizado das técnicas de aprendizado supervisionado, as questões éticas e sociais que elas apresentam tornaram-se cada vez mais proeminentes e devem receber alta prioridade e ser tratadas de forma criteriosa.

• Preconceito e discriminação algorítmicaSe os próprios dados de treinamento contiverem preconceitos históricos ou sociais, o modelo aprenderá e os ampliará.
• Privacidade e segurança de dadosO aprendizado supervisionado requer grandes quantidades de dados, e é um grande desafio proteger adequadamente a privacidade do usuário contra vazamento e uso indevido de dados no processo de coleta, armazenamento e uso desses dados. Regulamentos como o Regulamento Geral de Proteção de Dados (GDPR) da UE foram criados para enfrentar esse desafio.
• Interpretabilidade e responsabilidade dos modelosMuitos modelos avançados de aprendizagem supervisionada (especialmente a aprendizagem profunda) são "caixas pretas" complexas cuja lógica de decisão interna é difícil de entender. Quando um modelo toma uma decisão errada ou controversa (por exemplo, rejeitar um pedido de empréstimo), é difícil explicar o motivo para o usuário. Isso dificulta a prestação de contas: quem é responsável pelas decisões ruins do modelo? É o desenvolvedor, a empresa ou o próprio algoritmo?
• O impacto da automação no empregoModelos que automatizam as tarefas de previsão e classificação fazem a sociedade pensar em como enfrentar esse desafio do desemprego estrutural e da transição da mão de obra.
• Segurança e uso maliciosoTecnologias poderosas também podem ser usadas para fins maliciosos. A tecnologia de reconhecimento facial baseada em aprendizado supervisionado pode ser usada para vigilância em massa; a tecnologia de falsificação profunda pode gerar áudio e vídeo falsos que podem ser usados para criar boatos e cometer fraudes. A sociedade precisa estabelecer leis e regulamentos adequados e meios técnicos para evitar esses riscos.