지도 학습(SL)이란 무엇인가요?

지도 학습의 정의 및 핵심 아이디어

지도 학습은 머신 러닝의 가장 일반적이고 기본적인 접근 방식 중 하나로, 컴퓨터 모델에 '정답'이 있는 기존 데이터 세트를 기반으로 예측이나 판단을 내리는 방법을 가르치는 것이 핵심 아이디어입니다. 지도 학습은 교사의 지도를 받는 학생의 학습이라고 생각하면 됩니다. 교사는 수많은 문제(데이터)와 그에 해당하는 표준 답안(레이블)을 제공하고, 학생은 반복적인 연습과 답안 비교를 통해 문제 해결의 패턴(모델)을 점차 이해하고 숙달해 나갑니다. 학생이 이전에 본 적 없는 새로운 문제를 접했을 때 학습한 패턴을 사용하여 가능한 한 정답을 맞출 수 있습니다(예측). 기술적인 맥락에서 이러한 '연습'을 특징이라고 하며, 동물의 키, 몸무게, 털 색깔과 같은 사물의 특징을 판단할 때 설명합니다. "표준 답변"은 레이블이라고 하며, "고양이" 또는 "개"와 같이 예측하고자 하는 결과입니다. 컴퓨터 모델은 수많은 '특징'과 '레이블' 사이의 대응 관계를 분석하고 입력된 특징을 올바른 레이블에 매핑하는 복잡한 수학 함수(모델)를 학습합니다.

지도 학습의 궁극적인 목표는 레이블이 없는 새로운 데이터에 직면하더라도 모델이 매우 정확한 예측을 하는 것으로, 데이터에서 패턴을 학습하고 이를 일반화하는 AI의 핵심 능력을 구현하는 프로세스입니다.

지도 학습을 위한 두 가지 핵심 작업 유형

• 작업 분류지도 학습의 분류 작업은 제한된 선택지와 양자택일 옵션이 있는 객관식 문제에서처럼 불연속적인 카테고리 레이블을 예측하는 모델을 필요로 합니다. 이러한 작업의 핵심은 입력 데이터를 미리 정의된 카테고리로 분류하는 것입니다. 예를 들어 이메일이 스팸인지 정상인지 판별하거나 사진 속 동물의 종을 식별하는 것이 그 예입니다. 분류 문제의 결과는 정성적인 결론이며, 질병 진단, 이미지 인식, 감정 분석 등에 일반적으로 활용됩니다.
• 반환 임무회귀 작업은 변수의 특정 숫자를 답으로 하는 빈칸 채우기 문제와 유사하게 연속적인 수치 결과를 예측해야 합니다. 이 유형의 작업은 정량적 예측과 관련이 있으며 모델이 정확한 수치 결과를 출력해야 합니다. 예를 들어 주택의 판매 가격이나 주식 가격을 예측하려면 특정 숫자가 주어져야 합니다. 회귀 문제의 출력은 정량적인 결과이며 판매 예측, 가격 추정 및 추세 분석과 같은 분야에서 널리 사용됩니다.
• 위임 구분분류와 회귀 작업의 근본적인 차이점은 결과물의 성격 차이입니다. 분류는 정성적 레이블을 출력하고 회귀는 정량적 값을 출력합니다. 이 차이에 따라 평가 지표와 알고리즘의 선택이 결정됩니다. 분류 작업에는 정확도 및 정밀도와 같은 메트릭이 일반적으로 사용되는 반면, 회귀 작업에는 평균 제곱 오차 및 평균 절대 오차와 같은 메트릭이 사용됩니다.
• 작업 선택사용할 작업의 선택은 전적으로 실제 요구 사항이 범주에 대한 것인지 특정 값에 대한 것인지에 따라 달라집니다. 비즈니스 문제의 성격에 따라 분류 또는 회귀 방법을 사용해야 하는지 여부가 결정됩니다. 이 두 가지 유형의 작업의 차이점을 이해하면 지도 학습의 적용 시나리오와 한계를 더 잘 이해하는 데 도움이 됩니다.
• 실제 적용실제로는 기술적인 방법으로 회귀 문제를 분류 문제로 변환하거나 그 반대로 변환할 수 있는 경우가 있습니다. 예를 들어, 사용자 평점 예측은 회귀 문제(특정 점수 예측)와 분류 문제(긍정 또는 부정 평점 예측)로 모두 사용할 수 있습니다. 이러한 유연성은 지도 학습의 적용 범위를 확장합니다.

지도 학습을 위한 완벽한 워크플로

• 데이터 수집지도 학습 프로세스의 첫 번째 단계는 대량의 레이블이 지정된 원시 데이터를 수집하는 것입니다. 이러한 데이터는 실제 애플리케이션 시나리오의 다양한 상황을 포괄할 수 있을 만큼 대표성이 있고 다양해야 합니다. 데이터의 품질과 양은 최종 모델의 성능에 직접적인 영향을 미칩니다.
• 데이터 전처리원시 데이터는 정리, 변환, 표준화 등의 전처리 단계를 거치게 됩니다. 이 단계에는 누락된 값 처리, 잘못된 데이터 수정, 데이터 형식 통일 및 기타 작업이 포함됩니다. 전처리의 품질은 후속 모델 학습의 효과에 직접적인 영향을 미칩니다.
• 기능 엔지니어링이 단계에서는 원시 데이터를 모델이 이해할 수 있는 형식으로 변환하고 특징 선택, 특징 추출 및 특징 구성 작업을 포함합니다. 피처 엔지니어링을 잘 수행하면 모델 성능을 크게 향상시킬 수 있으며, 때로는 모델 선택보다 더 큰 효과를 얻을 수도 있습니다.
• 모델 선택문제 특성과 데이터 특징에 따라 적절한 알고리즘 모델을 선택합니다. 일반적으로 사용되는 지도 학습 알고리즘에는 의사 결정 트리, 서포트 벡터 머신, 신경망 등이 있습니다. 모델마다 적용 가능한 시나리오와 장단점이 있습니다.
• 모델 교육학습 데이터는 예측 오차를 최소화하기 위해 최적화 알고리즘을 통해 모델 파라미터를 조정하는 데 사용됩니다. 학습 과정에서는 과적합을 방지하기 위해 적절한 하이퍼파라미터를 결정하고 검증 세트를 사용하여 학습 효과를 모니터링해야 합니다.
• 모델링 평가독립적인 테스트 데이터를 사용하여 모델 성능을 평가하여 실제 요구 사항을 충족하는지 확인합니다. 평가 지표는 작업 유형에 따라 선택되며, 분류 작업에는 정확도, 회상도 등이, 회귀 작업에는 평균 제곱 오차, 결정 계수 등이 주로 사용됩니다.
• 모델 배포학습된 모델을 실제 애플리케이션에 통합하여 예측 서비스를 제공합니다. 배포 시 실시간, 확장성 및 리소스 소비와 같은 실질적인 제약 조건을 고려해야 합니다.
• 지속적인 모니터링모델 가동 후에도 지속적으로 성능을 모니터링하고 데이터 분포의 변화를 수용하기 위해 새로운 데이터로 주기적으로 재학습해야 합니다. 이 세션은 모델이 시간이 지나도 우수한 성능을 유지할 수 있도록 보장합니다.

지도 학습에서 데이터의 중요한 역할

데이터는 지도 학습의 초석이며, 데이터의 양과 품질이 모델의 성공과 실패를 직접 결정하기 때문에 업계에서는 흔히 "쓰레기가 들어오면 쓰레기가 나온다"는 말이 여기에 반영되어 있습니다.

• 데이터 규모의 중요성일반적으로 더 많은 데이터가 제공될수록 모델은 더 복잡하고 정확한 패턴을 학습할 수 있으며, 일반화(새로운 샘플을 처리하는 능력)도 향상됩니다. 특히 딥러닝과 같은 복잡한 모델은 강력한 성능을 발휘하기 위해 방대한 양의 데이터가 필요합니다.
• 데이터 품질이 미치는 결정적인 영향학습 데이터에 레이블이 잘못 지정되거나 노이즈가 많은 데이터가 포함되어 있으면 모델은 잘못된 패턴을 학습하게 됩니다. 대표적인 예로 데이터 세트에서 '늑대' 사진은 배경이 눈인 경우가 많고 '개' 사진은 배경이 풀밭인 경우가 많으면 모델이 동물 자체의 특징이 아닌 '눈'과 '풀'을 기준으로 늑대와 개를 잘못 구별하는 학습을 할 수 있습니다. 모델은 동물 자체의 특징이 아닌 '눈'과 '풀'로 늑대와 개를 구별하는 방법을 잘못 학습할 수 있습니다.
• 데이터 라벨링의 막대한 비용데이터 자체를 얻는 것은 어렵지 않을 수 있지만 데이터를 정확하게 '라벨링'하는 것은 노동 집약적이고 시간이 많이 소요됩니다. 수천 장의 의료 이미지에 라벨을 붙이려면 전문 방사선 전문의가 필요하고, 음성 데이터에 라벨을 붙이려면 문자 그대로 전사해야 합니다. 이러한 비용은 많은 지도 학습 프로젝트의 주요 병목 현상입니다.
• 레이블과 기능의 관련성모델에 제공되는 피처는 예측하고자 하는 레이블과 실질적으로 관련성이 있어야 합니다. 의미 있는 특징을 선택하려면 도메인 전문가의 지식이 필요합니다.

감독 학습이 직면한 일반적인 과제와 문제

지도 학습을 실행할 때 연구자와 엔지니어는 몇 가지 핵심 과제에 대해 지속적으로 고민해야 합니다.

• 오버피팅지도 학습에서 가장 흔하고 까다로운 문제 중 하나입니다. 학습 데이터에서 너무 잘 작동하여 학습 데이터의 세부 사항과 노이즈를 보편적인 법칙으로 취급할 정도로 과도하게 학습하여 새로운 데이터에 대한 예측 성능이 급격히 떨어지는 모델을 말합니다. 이는 마치 모든 연습 문제의 답을 암기식으로 배웠지만 원리를 전혀 이해하지 못하고 시험 문제가 조금만 바뀌면 어떻게 해야 할지 모르는 학생과 같습니다.
• 적합성 불량과적합과 달리 과소적합은 모델이 너무 단순하여 데이터에 내재된 기본 패턴과 추세를 포착하지 못하는 경우입니다. 과소적합은 학습 데이터와 테스트 데이터 모두에서 성능이 저하됩니다. 마치 가장 기본적인 지식조차 습득하지 못한 학생이 원래 문제와 새로운 문제 모두에서 실수를 저지르는 것과 같습니다.
• 편향과 분산 사이의 트레이드 오프과적합과 과소적합의 이면에는 머신 러닝에서 잘 알려진 편향과 분산 사이의 트레이드오프가 있습니다. 단순한 모델은 편향이 높고(과적합하기 쉬움) 분산이 낮으며, 복잡한 모델은 분산이 높고(과적합하기 쉬움) 편향이 낮습니다. 이상적인 목표는 이 두 가지의 균형을 맞추고 '딱 맞는' 모델을 찾는 것입니다.
• 차원 재해데이터의 특징 수가 매우 많으면(즉, 차원이 높으면) 데이터가 극도로 희박해지고, 특징 공간을 효과적으로 커버하려면 모델에 기하급수적으로 증가하는 샘플 크기가 필요합니다. 이는 계산 비용이 많이 들 뿐만 아니라 과적합으로 이어질 가능성도 높습니다. 고차원 데이터를 다루는 것은 지도 학습의 주요 과제입니다.
• 데이터 불균형많은 실제 문제에서 카테고리별로 샘플의 수는 매우 다양합니다. 예를 들어 사기 탐지의 경우, 사기 거래는 전체 거래의 10,000분의 1에 불과할 수 있습니다. 원시 데이터로 직접 학습하면 모델이 항상 '사기성'을 예측하고 99.99%의 정확도를 달성할 수 있지만 이는 완전히 무의미합니다. 불균형한 데이터 세트를 처리하려면 특별한 기술이 필요합니다.

지도 학습을 위한 고전적인 알고리즘 예제

연구원들은 다양한 지도 학습 알고리즘을 개발했으며, 각 알고리즘은 고유한 강점을 가지고 있으며 다양한 시나리오에 적합합니다.

• 선형 회귀 및 로지스틱 회귀가장 기본적이고 직관적인 모델입니다. 선형 회귀는 회귀 작업에 사용되며, 데이터 포인트에 가장 잘 맞는 직선(또는 쌍곡선)을 찾으려고 합니다. 로지스틱 회귀는 이름과 달리 실제로는 이진 분류 문제를 해결하는 데 유용한 도구로, 선형 출력을 S자형 함수를 통해 0과 1 사이의 확률 값에 매핑합니다.
• 의사 결정 트리인간의 의사 결정 과정을 시뮬레이션하는 트리 구조 모델입니다. 일련의 "만약...? 그렇다면..." 일련의 "만약..."이라는 질문을 통해 데이터를 필터링하여 결론에 도달합니다(리프 노드). 의사 결정 트리는 매우 직관적이고 해석하기 쉽습니다(예: "30세 이상이고 저축액이 50만 달러 이상인 경우 대출 승인").
• 서포트 벡터 머신서로 다른 데이터 클래스를 분류하기 위해 최대 간격의 하이퍼플레인을 찾는 것이 핵심 아이디어인 강력한 분류 알고리즘입니다. 이 하이퍼플레인은 두 종류의 데이터 포인트를 가장 잘 분리하는 가장 넓은 '격리 영역' 역할을 하여 보이지 않는 데이터에 대해 가장 일반화되고 더 강력한 모델을 생성합니다.
• K-최근 이웃 알고리즘: 간단하지만 효과적인 "지연 학습" 알고리즘입니다. 데이터를 적극적으로 추상화하지 않고 모든 훈련 샘플만 기억합니다. 새 샘플을 예측해야 할 경우 특징 공간에서 새 샘플의 가장 가까운 '이웃'을 K개 찾은 다음, 이 K개 이웃의 라벨을 기반으로 새 샘플의 라벨을 예측합니다(투표 또는 평균화 방식 중 하나).
• 단순 베이지안(수학)베이즈 정리에 기반한 간단한 확률적 분류기입니다. 단순 베이즈는 모든 특징이 서로 독립적이라는 "단순한" 가정을 가지고 있습니다. 실제로 이 가정이 맞는 경우는 거의 없지만, 일반 베이즈는 특히 텍스트 분류 분야(예: 스팸 필터링)에서 매우 잘 작동하는 경향이 있으며 계산 속도가 매우 빠릅니다.
• 신경망과 딥 러닝인간의 뇌 구조에서 영감을 얻은 수많은 상호 연결된 뉴런(노드)으로 구성된 복잡한 모델입니다. 얕은 신경망은 전통적인 지도 학습 모델이며, 딥러닝은 특히 매우 많은 수의 레이어를 가진 신경망을 말합니다. 데이터의 계층적 특징 표현을 자동으로 학습할 수 있어 이미지, 음성 및 자연어 처리와 같은 복잡한 작업에서 혁신적인 성공을 거두었으며, 현재 많은 AI 애플리케이션의 핵심 엔진입니다.

다양한 산업 분야의 지도 학습

• 헬스케어지도 학습은 의사가 의료 이미지 분석에서 병변을 식별하고, 질병 예측에서 질병 위험을 평가하며, 신약 개발에서 신약 개발 프로세스를 가속화하는 데 도움이 됩니다. 이러한 애플리케이션은 진단 정확도를 개선하고 개인 맞춤형 의료를 가능하게 합니다.
• 금융 부문은행과 금융 기관은 신용 점수 및 리스크 관리에 지도 학습을 사용하여 자동화된 대출 승인을 지원합니다. 사기 탐지에서는 모델이 의심스러운 거래를 실시간으로 식별하여 사용자 자금을 보호합니다. 투자 기관에서도 시장 예측 및 퀀트 트레이딩에 지도 학습을 사용합니다.
• 소매 이커머스 부문추천 시스템은 사용자 행동 데이터를 분석하여 개인화된 상품 추천을 제공함으로써 사용자 경험과 판매 전환율을 크게 향상시킵니다. 수요 예측 모델은 리테일러가 재고 관리를 최적화하고 품절 및 판매 부진 제품을 줄이는 데 도움이 됩니다.
• 컴퓨터 비전 분야얼굴 인식 기술은 신원 확인, 출입 통제 시스템, 보안 감시 등에 사용됩니다. 자율 주행 분야에서는 지도 학습을 통해 차량이 도로 환경의 다양한 물체를 인식할 수 있습니다. 시각 인식 기술은 제품 품질 관리를 위한 산업 검사에도 널리 사용됩니다.
• 자연어 처리(NLP)스팸 필터링은 사용자를 괴롭힘으로부터 보호하고, 감성 분석은 기업이 사용자 피드백을 이해하는 데 도움을 줍니다. 기계 번역과 지능형 고객 서비스는 모두 자연어를 이해하고 생성하기 위해 지도 학습 기술을 사용합니다.
• 교육개인 맞춤형 학습 시스템은 학생의 학습 프로필에 따라 적절한 학습 콘텐츠와 경로를 추천합니다. 지능형 채점 시스템은 과제와 시험을 자동으로 평가하여 즉각적인 피드백을 제공합니다.
• 서비스 산업예측 유지보수 모델은 장비 센서 데이터를 분석하여 고장 위험에 대한 조기 경고를 제공합니다. 품질 관리 시스템은 시각적 인식 기술을 사용하여 제품 결함을 감지하고 생산성을 향상시킵니다.
• 운송교통 흐름 예측은 경로 계획과 신호 제어를 최적화하는 데 도움이 됩니다. 수요 예측 모델은 공유 모빌리티 플랫폼이 합리적으로 차량을 배차하고 서비스 품질을 개선하는 데 도움을 줍니다.

감독 학습에서 발생하는 윤리적 및 사회적 고려 사항

지도 학습 기법이 널리 사용됨에 따라 이로 인해 발생하는 윤리적, 사회적 문제가 점점 더 두드러지고 있으며, 우선순위를 높게 두고 신중하게 대처해야 합니다.

• 알고리즘 편향 및 차별학습 데이터 자체에 역사적 또는 사회적 편견이 포함되어 있으면 모델이 이를 학습하고 증폭합니다.
• 데이터 프라이버시 및 보안지도 학습에는 대량의 데이터가 필요하며, 이 데이터를 수집, 저장, 사용하는 과정에서 데이터 유출 및 오용으로부터 사용자의 개인정보를 적절히 보호하는 것은 큰 과제입니다. EU의 일반 데이터 보호 규정(GDPR)과 같은 규정은 이러한 문제를 해결하기 위해 고안되었습니다.
• 모델의 해석 가능성 및 책임성많은 고급 지도 학습 모델(특히 딥러닝)은 내부 결정 로직을 이해하기 어려운 복잡한 '블랙박스'입니다. 모델이 잘못되거나 논란의 여지가 있는 결정을 내릴 경우(예: 대출 신청 거부) 사용자에게 그 이유를 설명하기 어렵습니다. 이는 책임 소재를 가리기 어렵게 만듭니다. 모델의 잘못된 결정에 대한 책임은 누구에게 있을까요? 개발자인가요, 회사인가요, 아니면 알고리즘 자체인가요?
• 자동화가 고용에 미치는 영향예측 및 분류 작업을 자동화하는 모델은 사회가 구조적 실업과 노동 전환이라는 과제를 해결하는 방법에 대해 고민하게 합니다.
• 보안 및 악의적 사용강력한 기술도 악의적인 목적으로 사용될 수 있습니다. 지도 학습에 기반한 얼굴 인식 기술은 대량 감시에 사용될 수 있으며, 딥 위조 기술은 가짜 오디오와 비디오를 생성하여 루머를 만들고 사기를 치는 데 사용될 수 있습니다. 사회는 이러한 위험을 방지하기 위해 적절한 법규와 기술적 수단을 마련해야 합니다.