대규모 언어 모델링(LLM)이 지식 근로자에게 미치는 영향 평가하기

原文：https://www.hbs.edu/ris/Publication%20Files/24-013_d9b45b68-9e74-42d6-a1c6-c72fb70c7282.pdf

이 백서의 목적은 인공 지능이 지식 근로자의 생산성과 품질에 미치는 영향을 탐구하고 현장 실험을 통해 결론을 도출하는 것입니다. 연구팀에는 하버드 비즈니스 스쿨, 펜실베이니아 대학교 와튼 스쿨, MIT 슬론 경영대학원 및 기타 기관의 전문가들이 참여하고 있습니다. 연구 결과는 업무 시나리오에서 AI의 적용을 이해하는 데 도움이 될 것입니다.

대규모 언어 모델(LLM)의 출시로 인공지능이 지식 근로자의 생산성과 품질에 미치는 영향에 대한 관심이 집중되고 있습니다.LLM은 특히 혁신, 분석 및 글쓰기 작업에서 지식 근로자의 성과에 상당한 영향을 미칩니다. 사전 등록된 무작위 대조 실험을 통해 높은 인적 자본을 가진 전문가에게 LLM이 미치는 영향을 평가할 수 있으며, LLM은 다양한 역량에 걸쳐 생산성과 품질을 크게 향상시킵니다.

LLM은 LLM의 기능을 벗어난 정확도를 낮춥니다. 사용자들은 '센토르'와 '사이보그'라는 두 가지 다른 LLM 사용 모드를 채택했고, LLM은 작업에 따라 작업에 미치는 영향이 다른 '들쭉날쭉한 기술적 경계'를 만들었습니다. LLM은 작업에 따라 작업에 미치는 영향이 다른 '고르지 않은 기술적 경계'를 만듭니다.

사용자는 업무가 LLM의 역량 범위 내에 있는지 여부와 LLM과 효과적으로 협업하는 방법을 판단해야 합니다. 조직은 인간과 컴퓨터의 협업, 새로운 역할, 이해관계자 등에 대해 다시 생각하여 지식 업무에 큰 영향을 미칠 LLM의 잠재력을 최대한 실현해야 하며, 사용자와 조직은 이러한 영향에 적응해야 할 것입니다. '켄타우로스' 모델을 채택하는 것, 즉 각자의 강점에 따라 LLM과 인간이 노동을 분담하는 것이 현재 실험을 통해 입증된 가장 효과적인 AI 활용 방법이며, 이는 LLM의 역량 안팎에서 입증된 바 있습니다.

현실적이고 복잡하며 지식 집약적인 작업에서 AI가 성능에 미치는 영향

인공지능(AI) 역량으로 인해 어떤 업무는 AI가 쉽게 수행할 수 있는 반면, 어떤 업무는 현재 AI의 역량을 넘어서는 '험난한 기술 경계'가 생겼습니다. AI 역량의 한계선 내에 있는 작업에서는 AI를 사용하는 어드바이저의 생산성이 훨씬 더 높은 반면, 한계선 밖에 있는 작업에서는 AI의 결과가 부정확하고 유용성이 떨어지며 인간의 성과를 떨어뜨리게 됩니다. 전문가가 특정 순간에 이 경계의 경계가 어디인지 정확히 알기는 어렵습니다. 이 경계를 능숙하게 탐색하는 전문가는 AI로 작업할 때 상당한 생산성 이점을 얻을 수 있습니다. AI의 유용성은 전문가의 워크플로에 따라 달라질 수 있으며, 어떤 작업은 경계 안에 있고 어떤 작업은 경계 밖에 있습니다. 프론티어 내 작업의 경우 AI는 각 모델 사양의 성능과 품질을 크게 향상시킵니다. AI는 능력 수준 간의 성능 차이를 균형 있게 조정하고 프론티어 내 작업의 품질을 개선하는 것으로 나타났습니다. AI 사용으로 인해 아이디어의 다양성이 감소할 수 있다는 점은 조직에 도전 과제가 될 수 있습니다. AI는 인간의 인지능력과 문제 해결 능력에 큰 영향을 미칠 것으로 보입니다. AI의 혁신적 잠재력과 AI의 역량을 활용하여 최적의 결과를 달성하기 위한 인사이트를 제공합니다. 신속한 아이디어 창출, 글쓰기, 설득, 전략적 분석, 창의적인 제품 혁신과 같은 고급 지식 업무에서 AI의 역량에 대한 낙관론. AI의 한계는 여전히 도전적이며 그 한계에 대한 이해를 재조정할 필요가 있습니다. AI는 인간의 사고와 추론과 관련된 비용을 절감하는 데 유사한 역할을 할 수 있으며, 잠재적으로 광범위하고 혁신적인 영향을 미칠 수 있습니다.

AI가 어드바이저 성과에 미치는 영향

AI는 컨설턴트 성과에 상당한 영향을 미쳤으며, GPT+오버뷰 치료는 GPT만 받은 것보다 더 뚜렷한 긍정적인 효과를 보였습니다. 개요는 '리텐션'을 증가시키고 더 나은 성과와 관련이 있었습니다. 성별, 모국어 유창성, 재직 기간, 지역, 기술에 대한 개방성 등의 요인이 결과에 영향을 미쳤으며, AI 도구는 업무 완료도와 품질을 크게 향상시켰습니다. 기술 수준이 낮은 피험자가 AI 사용의 가장 큰 수혜자이며, GPT-4는 더 나은 품질의 콘텐츠를 생성하는 데 도움이 될 뿐만 아니라 더 균질한 결과물로 이어질 수 있으며, AI는 집중적인 인간 상호 작용이 필요한 작업에서 성능 이점을 제공할 수 있습니다. AI 처리를 받은 그룹은 경계선 바깥에 위치한 과제에서 성능이 현저히 감소했습니다. AI 처리는 경계선 바깥에 위치한 실험 과제에서 정답률에 상당한 부정적인 영향을 미쳤습니다. AI 처리는 피험자가 경계선 바깥에 위치한 실험 과제에서 작업을 완료하는 데 필요한 시간을 줄였습니다. AI를 사용한 피험자는 경계선 바깥에 위치한 실험 과제에서 더 높은 수준의 조언을 제공했습니다. 고도로 숙련된 전문가의 워크플로에서 AI는 여러 가지 방식으로 성과에 영향을 미칠 수 있습니다. 프론티어 내부에 위치한 작업의 경우 AI는 인간의 성과를 향상시킬 수 있습니다. AI를 사용하면 작업 완료율이 향상될 수 있습니다. AI를 사용하면 콘텐츠 생성의 다양성이 떨어질 수 있습니다. AI를 사용하면 시간을 절약할 수 있지만 작업의 품질에도 영향을 미칠 수 있습니다.

AI가 지식 근로자에게 미치는 영향

연구에 따르면 AI는 지식 근로자에게 긍정적인 영향과 부정적인 영향을 모두 미치는 것으로 나타났습니다.

긍정적인 영향은 다음과 같습니다:

생산성 향상: AI를 사용하는 지식 근로자는 평균 25.11 TP3T의 속도 향상으로 작업을 더 빠르게 완료할 수 있습니다.

업무 품질 향상: AI를 사용하면 업무 속도가 빨라질 뿐만 아니라 평가 등급이 평균 401 TP3T 이상 향상되는 등 업무의 질도 크게 개선됩니다.

특히 능력이 부족한 지식 근로자의 경우 AI의 도움을 받으면 최대 43%의 성능 향상을 통해 업무 성과를 크게 향상시킬 수 있습니다.

AI를 사용하면 워크플로에서 반복적이고 계산 집약적인 작업을 줄일 수 있으므로 지식 근로자는 인간의 고유한 역량을 더 많이 필요로 하는 작업에 더 많은 시간과 에너지를 집중할 수 있습니다.

부정적인 영향은 다음과 같습니다:

일부 작업에서는 AI를 사용하면 오히려 성능이 저하되는 경우도 있는데, AI의 역량을 벗어난 작업에서 AI를 사용하는 어드바이저의 정답률이 19% 포인트 감소하는 등 일부 작업에서는 오히려 성능이 저하되는 경우도 있습니다.

AI에 지나치게 의존하면 지식 근로자가 자신의 판단을 포기할 수 있으며, 이는 특히 인간 고유의 판단력과 창의성이 필요한 업무에서 위험할 수 있습니다.

AI의 사용은 다양한 창의성이 필요한 분야에서 잠재적으로 문제가 될 수 있는 창의적 다양성을 감소시킬 수 있습니다.

AI의 오용 또는 남용에는 윤리적, 법적 문제가 발생할 수 있으므로 조직과 직원의 각별한 주의가 필요합니다.

AI는 생산성과 업무 품질을 향상시키는 강력한 도구로 사용될 수 있지만, 경우에 따라서는 성과 저하를 초래할 수도 있습니다. 따라서 조직과 직원은 AI를 효과적으로 사용하는 방법을 배우는 동시에 한계를 인식하고 능숙하지 않은 업무에 AI에 과도하게 의존하는 것을 피해야 합니다.

AI가 지식 근로자의 생산성과 품질에 미치는 영향 평가하기

두 가지 무작위 대조 실험을 통해 지식 근로자의 생산성과 품질에 대한 AI의 영향을 평가했습니다. 실험 대상은 보스턴 컨설팅 그룹(BCG)의 개인 컨설턴트 758명이었습니다. 컨설턴트들은 무작위로 대조군 또는 실험군에 배정되어 5시간 이내에 18개의 실제 컨설팅 과제를 완수하도록 요청받았습니다. 과제에는 분석적, 창의적, 반복적, 계산 집약적인 작업 등 다양한 AI 기능이 포함되었습니다.

실험에서 대조군의 어드바이저는 전통적인 조언 도구와 검색 엔진을 사용하여 작업을 완료하도록 요청받았고, 실험군의 어드바이저는 GPT-4를 사용하여 작업을 지원하도록 허용되었습니다. 연구진은 두 그룹 간의 작업 완료율을 비교하여 AI의 영향을 평가했습니다. 연구진은 각 참가자가 완료한 작업의 수, 작업 완료 시간, 작업 품질을 측정했습니다. 작업 품질은 각 작업이 수동으로 완료되었는지 또는 AI의 도움을 받아 완료되었는지를 모르는 외부 전문가가 평가했습니다.

연구 결과, AI를 사용한 지식근로자는 AI를 사용하지 않은 대조군보다 평균 12.21 TP3T 더 많은 작업을 완료했고, 작업 완료 속도는 25.11 TP3T 증가했으며, AI를 사용한 컨설턴트는 평균 401 TP3T 이상 향상된 품질 점수를 가진 작업을 생산했으며, 특히 역량이 낮은 컨설턴트의 경우 AI를 사용한 컨설턴트의 성과는 431 TP3T.이러한 결과는 AI가 지식근로자의 생산성과 업무 품질을 크게 향상시킬 수 있음을 시사합니다.

그러나 이 연구에서는 AI를 사용한 어드바이저가 AI의 능력 범위를 벗어난 특정 업무에서 AI를 사용하지 않은 대조군보다 더 낮은 성과를 보인다는 사실도 발견했습니다. 이는 AI의 영향이 생산성과 업무 품질을 향상시키는 강력한 도구로 사용될 수 있지만 경우에 따라서는 성과 저하로 이어질 수 있다는 두 가지 측면을 시사합니다. 따라서 조직과 직원은 AI를 효과적으로 사용하는 방법을 배우는 동시에 그 한계를 인식해야 합니다.

AI와 사람의 업무를 효과적으로 통합하여 생산성 및 업무 품질 개선

생산성과 품질을 개선하기 위해 AI와 사람의 업무를 효과적으로 통합하는 전략에는 다음이 포함됩니다:

작업 할당 전략: AI와 인간의 전문 분야에 따라 합리적으로 작업을 할당합니다. 예를 들어, 광범위한 데이터 처리 및 분석이 필요한 작업은 AI가 처리하고, 인간은 창의성, 감성 지능, 복잡한 대인관계가 필요한 작업에 집중할 수 있도록 합니다.

켄타우로스: 이 전략은 전략적 의사 결정과 혁신적인 사고는 인간이 주도권을 유지하면서 정보 처리 및 언어 생성 등의 영역에서 AI의 강점을 최대한 활용하는 업무에 인간 작업자가 AI를 함께 사용하는 것을 포함합니다. 인간 작업자는 AI를 가장 잘 활용할 수 있는 시기와 방법을 판단할 수 있는 능력이 필요합니다.

사이보그 전략(사이보그): 이 전략은 인간과 AI의 긴밀한 통합을 강조하며, 인간 작업자가 작업 과정에서 AI와 지속적으로 상호작용하고 지속적인 실험과 피드백을 통해 AI의 결과물을 최적화하여 효율성과 품질을 개선합니다.

훈련 및 교육: AI를 효과적으로 통합하기 위해서는 조직과 직원 모두 AI의 기능과 한계, AI를 가장 효과적으로 활용하는 방법을 더 잘 이해할 수 있도록 적절한 훈련과 교육을 받아야 합니다.

모니터링 및 평가: 조직은 AI 사용을 모니터링하고 생산성 및 품질에 미치는 영향을 정기적으로 평가해야 합니다. 이를 통해 AI의 잠재적인 문제를 파악하고 그에 따른 조치를 취할 수 있습니다.

윤리적 및 법적 고려 사항: 조직은 AI를 통합할 때 AI 사용이 고객의 개인정보, 지적 재산권 또는 기타 법률과 규정을 침해하지 않도록 윤리적 및 법적 문제를 고려해야 합니다.

혁신적인 워크플로: AI의 기능을 수용하도록 워크플로를 재설계합니다. 여기에는 AI의 잠재력을 극대화하기 위해 기존 워크플로를 개편하는 작업이 포함될 수 있습니다.

창의적 다양성 유지: AI는 특정 업무에 탁월하지만, 인간 작업자는 AI에 대한 과도한 의존으로 인해 창의성이 고갈되지 않도록 창의적 다양성을 유지해야 합니다.

이러한 전략을 통해 조직은 AI의 이점을 더 잘 활용하면서 잠재적인 부정적인 영향을 피할 수 있어 생산성과 작업 품질을 모두 향상시킬 수 있습니다.

문서의 중요 사항 및 결론

이 문서의 중요한 요점 및 결론은 다음과 같습니다:

지식 업무에 대한 AI의 영향: AI는 지식 근로자의 생산성과 업무 품질을 크게 향상시킬 수 있습니다. 예를 들어, 실험에서 AI를 사용한 컨설턴트는 AI를 사용하지 않은 대조군보다 평균 12.21 TP3T 더 많은 컨설팅 작업을 완료했으며, 작업 완료 속도도 25.11 TP3T 증가하여 품질 점수가 훨씬 더 높았습니다.

AI 사용 전략: 이 연구에서는 AI를 사용하는 두 가지 전략으로 '켄타우로스'(켄타우로스 전략)와 '사이보그'(사이보그 전략)를 언급합니다. 전자는 AI와 인간의 업무를 효과적으로 분배할 수 있는 어드바이저를 의미하며, 후자는 AI를 워크플로우에 통합하고 AI와 자주 상호 작용하는 어드바이저를 의미합니다.

창의적인 업무에서의 AI: AI는 창의적인 업무에서 특히 뛰어난 성과를 거두고 있으며, 이는 향후 혁신의 조직화 방식에 영향을 미칠 수 있습니다. 그러나 동시에 AI는 창의적 다양성의 감소로 이어질 수 있으므로 조직은 AI 사용에 신중을 기하고 창의적 다양성을 유지하는 방법을 고려해야 합니다.

AI의 한계: 이 연구는 또한 AI를 사용한 어드바이저가 AI의 능력 범위를 벗어난 특정 작업에서 AI를 사용하지 않은 대조군보다 실적이 더 나빴다는 사실을 발견했습니다. 이는 AI의 한계와 AI에 지나치게 의존할 때 발생할 수 있는 문제를 보여줍니다.

인공지능이 마케팅에 미치는 영향: 인공지능은 시장 세분화, 타겟 시장 선정, 마케팅 슬로건 개발 등 마케팅 전략을 수립하는 데 도움을 줄 수 있습니다. 하지만 크리에이티브 다양성 측면에서 AI의 잠재적인 단점도 주의가 필요합니다.

제품 개발에서 인공지능의 역할: 인공지능은 초기 아이디어부터 최종 시장 출시에 이르기까지 제품 개발을 지원할 수 있습니다. 예를 들어, AI는 제품 아이디어를 제공하고, 최적의 제품을 선택하고, 제품 프로토타입을 디자인하고, 시장 세분화 및 마케팅 전략 개발을 수행할 수 있습니다.

AI가 의사 결정에 미치는 영향: AI의 사용은 AI에 대한 의존도 증가, 경우에 따라 의사 결정자가 자신의 판단을 포기할 가능성 등 인간 직원의 의사 결정 과정에 영향을 미칠 수 있습니다.

시장에서 AI의 잠재적 경쟁 우위: AI는 기업이 시장 트렌드를 예측하고 제품 설계를 최적화하며 생산 효율성을 개선하여 시장 경쟁에서 우위를 점하는 데 도움을 줄 수 있습니다.

AI가 워크플로우에 미치는 잠재적 영향: AI는 워크플로우를 혁신하고 효율성을 높일 수 있지만, 직원들이 AI를 효과적으로 활용할 수 있도록 적절한 훈련과 교육도 필요합니다.

산업에서 AI의 잠재력: 이 연구는 다양한 산업, 특히 대량의 데이터 처리 및 분석이 필요한 업무에서 AI가 활용될 수 있는 잠재력을 강조합니다.

이러한 인사이트와 결론은 연구자의 분석에 근거할 뿐만 아니라 구체적인 실험 데이터와 사례 연구를 통해 뒷받침됩니다. 예를 들어, 연구에서 언급된 무작위 대조 실험, 보스턴 컨설팅 그룹의 컨설턴트 성과 분석, 제품 개발 및 마케팅에서 AI의 역할에 대한 구체적인 설명은 이러한 아이디어를 실증적으로 뒷받침합니다.

AI의 한계

AI의 한계는 다음과 같습니다:

AI의 오류 성향: AI 모델은 환각이나 착각, 수학 문제, 인용문 제공 등 잘못된 결과를 생성하는 경향이 있습니다. 여기에는 '환각' 또는 '착각'은 물론 수학 문제와 인용문 제공 문제도 포함됩니다. 예를 들어, 이 실험에서 AI를 사용한 어드바이저는 AI를 사용하지 않은 대조군보다 일부 과제에서 정답률이 19% 포인트나 낮았습니다.

인공지능의 능력 범위: 인공지능의 능력은 고르게 분포되어 있지 않고 '들쭉날쭉한 기술적 경계'를 가지고 있습니다. 즉, AI는 어떤 작업에는 매우 능숙하지만 비슷한 다른 작업에는 서툴다는 뜻입니다. 이로 인해 작업을 설계할 때 AI가 인간 작업자보다 현저히 떨어지는 영역을 찾기가 어려울 수 있습니다.

AI가 인간의 판단력에 미치는 영향: 이 연구는 인간 작업자가 AI를 사용할 때 AI의 결과물에 지나치게 의존하고 심지어 자신의 판단을 포기할 수도 있다는 사실을 발견했습니다. 예를 들어, 실험에서 인간 작업자는 AI가 생성한 오답에 대해 더 높은 점수를 주었는데, 이는 AI의 결과가 인간 작업자의 판단에 영향을 미칠 수 있음을 시사합니다.

창의적 다양성에서 인공지능의 잠재적 단점: 인공지능은 창의적인 작업에는 뛰어나지만, 창의적 다양성을 감소시킬 수 있습니다. 이는 다양한 창의성이 필요한 분야에서 잠재적인 문제가 될 수 있습니다.

고품질 팁의 중요성

"고품질 프롬프트에 참여하면 높은 수준의 유지율을 얻을 수 있다"는 생각은 ChatGPT와 같은 AI 비서를 활용하는 지식 근로자가 AI가 더 유용한 콘텐츠를 생성하도록 안내하는 고품질 프롬프트를 제공함으로써 생산성과 작업 품질을 개선할 수 있다는 것을 시사합니다. 이러한 고품질 프롬프트에는 AI가 응답을 반복적으로 개선하여 완벽한 상태에 도달할 때까지 많은 콘텐츠를 자체 답변에 통합할 수 있도록 돕는 것이 포함될 수 있습니다.

제공된 문서에서 연구진은 실험적으로 일부 참가자가 AI의 결과물에 크게 의존하는 경향, 즉 AI가 생성한 대량의 콘텐츠를 '보유'하는 경향이 있음을 관찰했습니다. 이러한 참가자들은 AI의 능력과 한계에 대한 이해를 바탕으로 잘 설계된 단서를 통해 AI가 고품질의 콘텐츠를 제작하도록 유도했을 수 있습니다. 이러한 유도 행동은 최종 결과물이 정확하고 유용하다는 것을 보장하면서 AI의 기능을 효과적으로 사용할 수 있게 해주기 때문에 높은 리텐션으로 이어지는 중요한 요소일 수 있습니다.

예를 들어, 창의적 문제 해결 실험에서 참가자들은 일련의 질문을 통해 새로운 제품 아이디어를 구상하도록 요청받았다고 문서에 언급되어 있습니다. 연구진은 AI를 효과적으로 활용할 수 있었던 참가자들이 답변에 AI가 생성한 콘텐츠를 더 많이 포함했을 뿐만 아니라 외부 전문가들로부터도 이 콘텐츠의 품질이 높은 평가를 받았다는 사실을 발견했습니다. 이는 고품질의 프롬프트로 AI를 안내하면 창의적인 작업의 생산성과 결과물의 품질을 크게 향상시킬 수 있음을 시사합니다.

그러나 연구진은 현재의 분석으로는 높은 리텐션이 고품질의 큐잉 행동 때문인지 아니면 인공지능에 대한 과도한 의존 때문인지 구분할 수 없다고 지적합니다. 따라서 이러한 관찰은 가능한 설명을 제공하지만 추가 연구를 통해 확인해야 할 필요가 있습니다. 동시에, 실제로는 직원들이 AI의 기능을 더 잘 이해하고 활용할 수 있도록 적절한 훈련과 교육에 집중하는 동시에 AI에 대한 과도한 의존을 피해야 한다는 점을 시사합니다.

문서에 언급된 모든 사항

다음은 문서에 언급된 모든 아이디어의 목록입니다:

AI가 지식 근로자에게 미치는 영향: AI는 지식 근로자의 생산성과 업무의 질을 크게 향상시킬 수 있습니다.
2. AI 사용 전략: 연구에서 언급한 '켄타우로스'와 '사이보그'는 AI를 사용하기 위한 두 가지 다른 전략입니다.
3. 창의적인 작업을 수행하는 AI: AI는 특히 창의적인 작업에 강하며, 이는 향후 혁신이 조직화되는 방식에 영향을 미칠 수 있습니다.
4. AI의 한계: 이 연구는 또한 AI를 사용하는 어드바이저가 AI의 능력 범위를 벗어난 특정 작업에서 AI를 사용하지 않는 대조군보다 실적이 더 나쁘다는 사실을 발견했습니다.
5. 마케팅에 대한 AI의 영향: AI는 시장 세분화, 타겟 시장 선정, 마케팅 슬로건 개발 등 마케팅 전략을 수립하는 데 도움을 줄 수 있습니다.
6. 제품 개발에서 AI의 역할: AI는 초기 아이디어부터 최종 시장 출시까지 제품 개발을 지원할 수 있습니다.
7. 의사 결정에 대한 AI의 영향: AI의 사용은 AI에 대한 의존도 증가 등 인간 근로자의 의사 결정 과정에 영향을 미칠 수 있습니다.
8. 시장에서 AI의 잠재적 경쟁 우위: AI는 기업이 시장 트렌드를 예측하고 제품 설계를 최적화하며 생산성을 향상하는 데 도움을 줄 수 있습니다.
9. AI가 워크플로에 미치는 잠재적 영향: AI는 워크플로를 변화시키고 효율성을 높일 수 있지만 동시에 직원에 대한 적절한 훈련과 교육이 필요합니다.
10. 산업 분야에서의 AI 적용 가능성: 이 연구는 다양한 산업 분야, 특히 대량의 데이터 처리 및 분석이 필요한 업무에서 AI의 적용 가능성을 강조했습니다.
11. AI의 오류 성향: AI 모델은 '환각' 또는 '혼동'을 포함하여 잘못된 결과를 생성하는 경향이 있습니다.
12. 인공지능 역량의 범위: 인공지능 역량이 고르게 분포되어 있지 않고 '들쭉날쭉한 기술 경계'가 존재합니다.
13. AI가 인간의 판단에 미치는 영향: 연구에 따르면 인간 작업자가 AI를 사용할 때 AI의 결과물에 지나치게 의존하게 되고 심지어 자신의 판단을 포기할 수도 있다는 사실이 밝혀졌습니다.
14. 창의적 다양성에서 인공지능의 잠재적 단점: 인공지능은 창의적인 작업에는 탁월하지만, 창의적 다양성을 떨어뜨릴 수 있습니다.
15. 고품질 프롬프트의 중요성: 지식 근로자는 AI가 더 유용한 콘텐츠를 생성하도록 안내하는 고품질 프롬프트를 제공함으로써 생산성과 작업 품질을 향상시킵니다.
16. 리텐션에 영향을 미치는 요인: 연구진은 일부 참가자들이 AI 결과물에 크게 의존하는 경향, 즉 AI가 생성한 대량의 콘텐츠를 '보유'하는 경향이 있음을 관찰했습니다.
17. 창의적인 문제 해결을 위한 AI의 역할: AI는 시장 세분화, 타겟 시장 선정, 마케팅 슬로건 개발 등 마케팅 전략 수립에 도움을 줄 수 있습니다.
18. 제품 개발에서 AI의 역할: AI는 초기 아이디어부터 최종 시장 출시까지 제품 개발을 지원할 수 있습니다.
19. 마케팅에 대한 AI의 영향: AI는 시장 세분화, 타겟 시장 선정, 마케팅 슬로건 개발 등 마케팅 전략 수립에 도움을 줄 수 있습니다.
20. 제품 개발에서 AI의 역할: AI는 초기 아이디어부터 최종 시장 출시까지 제품 개발을 지원할 수 있습니다.
21. 의사결정에 대한 AI의 영향: AI의 사용은 AI에 대한 의존도 증가 등 인간 근로자의 의사결정 과정에 영향을 미칠 수 있습니다.
22. 시장에서 인공지능의 잠재적 경쟁 우위: 인공지능은 기업이 시장 트렌드를 예측하고 제품 설계를 최적화하며 생산성을 향상하는 데 도움을 줄 수 있습니다.
23. AI가 워크플로에 미치는 잠재적 영향: AI는 워크플로를 변화시키고 효율성을 높일 수 있지만 동시에 직원에 대한 적절한 훈련과 교육이 필요합니다.
24. 산업 분야에서의 AI 적용 가능성: 이 연구는 다양한 산업 분야, 특히 대량의 데이터 처리 및 분석이 필요한 업무에서 AI가 적용될 수 있는 가능성을 강조했습니다.
25. AI의 오류 성향: AI 모델은 '환각' 또는 '혼동'을 포함하여 잘못된 결과를 생성하는 경향이 있습니다.
26. 인공지능 역량의 범위: 인공지능 역량은 고르게 분포되어 있지 않으며, '들쭉날쭉한 기술 경계'가 존재합니다.
27. AI가 인간의 판단에 미치는 영향: 연구에 따르면 인간 작업자가 AI를 사용할 때 AI의 결과물에 지나치게 의존하게 되고 심지어 자신의 판단을 포기할 수도 있다는 사실이 밝혀졌습니다.
28. 창의적 다양성에서 인공지능의 잠재적 단점: 인공지능은 창의적인 작업에는 탁월하지만, 창의적 다양성을 떨어뜨릴 수 있습니다.
29. 고품질 프롬프트의 중요성: 지식 근로자는 AI가 더 유용한 콘텐츠를 생성하도록 안내하는 고품질 프롬프트를 제공함으로써 생산성과 작업 품질을 향상시킵니다.
30. 리텐션에 영향을 미치는 요인: 연구진은 일부 참가자들이 AI 결과물에 크게 의존하는 경향, 즉 AI가 생성한 대량의 콘텐츠를 '보유'하는 경향이 있음을 관찰했습니다.

이러한 관점에서는 지식 근로자, 마케팅, 제품 개발 및 기타 여러 영역에 대한 AI의 잠재적 영향과 AI를 사용할 때 주의해야 할 한계 및 전략을 다룹니다.

LLM 릴리스 및 영향

LLM(대규모 언어 모델)의 출시로 인공지능이 지식 근로자의 생산성과 품질에 미치는 영향이 주목받고 있으며, 특히 혁신, 분석 및 글쓰기 작업에서 LLM은 지식 근로자의 성과에 큰 영향을 미칩니다. 고급 인적 자본 전문가에 대한 LLM의 영향을 평가하기 위해 연구자들은 사전 등록한 무작위 대조 실험을 실시했습니다. 실험 결과, LLM은 역량 범위 내에서는 생산성과 품질을 크게 향상시켰지만 역량 범위를 벗어나면 정확성을 떨어뜨리는 것으로 나타났습니다.

사용자는 '센토르'와 '사이보그'라는 두 가지 다른 LLM 사용 모드를 채택하여 작업에 따라 업무에 미치는 영향이 다른 '들쭉날쭉한 기술 경계'를 만듭니다. LLM은 작업에 따라 업무에 미치는 영향이 달라지는 '들쭉날쭉한 기술 경계'를 만듭니다. 사용자는 업무가 LLM의 역량 범위 내에 있는지 여부와 LLM과 효과적으로 협업하는 방법을 판단해야 합니다. 조직은 인간과 컴퓨터의 협업, 새로운 역할, 이해관계자 등에 대해 다시 생각해보고 LLM의 잠재력을 최대한 실현해야 합니다.

LLM은 지식 업무에 지대한 영향을 미칠 것이며 사용자와 조직은 이에 적응해야 할 것입니다. 각자의 강점에 따라 LLM과 인간이 업무를 분담하는 '켄타우로스' 모델을 채택하는 것이 현재 실험을 통해 입증된 가장 효과적인 AI 활용 방법이며, 이는 LLM의 역량을 뛰어넘는 것입니다.

무작위 대조 실험 방법

이 연구는 사전 등록된 무작위 대조 시험 방식을 사용하여 고급 인적 자본 전문가에 대한 LLM의 영향을 평가했습니다. 이 실험에는 보스턴 컨설팅 그룹의 컨설턴트 758명이 참여하여 18개의 실제 컨설팅 과제를 완수하도록 요청받았습니다. 실험 그룹은 LLM을 사용하여 과제를 완수하도록 허용했고, 대조 그룹은 전통적인 방법을 사용했습니다. 연구진은 두 그룹 간의 과제 완료율을 비교하여 LLM의 효과를 평가했습니다.

그 결과, LLM을 사용한 지식근로자는 사용하지 않은 대조군보다 평균 12.21 TP3T 더 많은 작업을 완료했으며, 작업 완료 속도는 25.11 TP3T 증가했습니다.또한 LLM을 사용한 컨설턴트는 평균 401 TP3T 이상 품질 등급이 향상된 작업을 생산했으며, 특히 역량이 낮은 컨설턴트의 경우 LLM을 사용한 컨설턴트의 성과가 431 TP3T.

그러나 이 연구에서는 LLM을 사용하는 컨설턴트가 LLM의 기능 범위를 벗어난 특정 업무에서 LLM을 사용하지 않는 대조군보다 오히려 성과가 저조한 것으로 나타났습니다. 이는 LLM의 영향이 생산성과 업무 품질을 향상시키는 강력한 도구로 사용될 수 있지만 경우에 따라 성과 저하로 이어질 수 있다는 두 가지 측면이 있음을 시사합니다. 따라서 조직과 직원은 LLM을 효과적으로 사용하는 방법을 배우는 동시에 그 한계를 인식해야 합니다.

AI와 인간의 업무를 효과적으로 통합하는 방법

AI와 인간의 업무를 효과적으로 통합하여 생산성과 품질을 개선하기 위해 다음과 같은 전략을 채택할 수 있습니다:

1. 업무 할당 전략: AI와 인간의 전문 영역에 따라 합리적으로 업무를 할당합니다. 예를 들어, 대량의 데이터 처리 및 분석이 필요한 업무는 AI가 처리하고, 인간은 창의성, 감성 지능, 복잡한 대인관계가 필요한 업무에 집중하도록 합니다.
2. 켄타우로스: 이 전략은 전략적 의사 결정과 혁신적인 사고에서 인간의 우위를 유지하면서 정보 처리 및 언어 생성 등의 영역에서 AI의 강점을 최대한 활용하는 업무에 인간 작업자가 AI를 활용하는 것입니다. 인간 작업자는 AI를 가장 잘 활용할 수 있는 시기와 방법을 판단할 수 있는 능력이 필요합니다.
3. 사이보그 전략(사이보그): 인간과 AI의 긴밀한 통합을 강조하는 전략으로, 인간 작업자가 작업 과정에서 AI와 지속적으로 상호작용하고 지속적인 실험과 피드백을 통해 AI의 결과물을 최적화하여 효율성과 품질을 개선합니다.
4. 훈련 및 교육: AI를 효과적으로 통합하기 위해서는 조직과 직원 모두 AI의 기능과 한계, AI를 가장 효과적으로 활용하는 방법을 더 잘 이해할 수 있도록 적절한 훈련과 교육을 받아야 합니다.
5. 모니터링 및 평가: 조직은 AI 사용을 모니터링하고 생산성 및 품질에 미치는 영향을 정기적으로 평가해야 합니다. 이는 AI의 잠재적인 문제를 파악하고 그에 따른 조치를 취하는 데 도움이 됩니다.
6. 윤리적 및 법적 고려 사항: 조직은 AI를 통합할 때 AI 사용이 고객의 개인정보, 지적 재산권 또는 기타 법률과 규정을 침해하지 않도록 윤리적 및 법적 문제를 고려해야 합니다.
7. 혁신적인 워크플로우: AI의 기능을 수용하도록 워크플로우를 재설계합니다. 여기에는 AI의 잠재력을 극대화하기 위해 기존 워크플로를 개편하는 것이 포함될 수 있습니다.
8. 창의적 다양성 유지: AI는 특정 업무에 탁월하지만, 인간은 AI에 지나치게 의존하여 창의성이 소진되는 것을 피하기 위해 창의적 다양성을 유지해야 합니다.

이러한 전략을 통해 조직은 AI의 이점을 더 잘 활용하면서 잠재적인 부정적인 영향을 피할 수 있어 생산성과 작업 품질을 모두 향상시킬 수 있습니다.

평결에 도달하기

LLM의 출시는 지식 근로자에게 생산성과 품질 향상을 가져다주었지만 한계와 위험도 존재합니다. LLM을 더 잘 활용하려면 사용자와 조직은 인간과 컴퓨터의 협업, 새로운 역할, 이해관계자 등에 대해 재고하고 LLM으로 효과적으로 작업하는 방법을 배우는 등 적절한 전략을 채택해야 합니다. 또한 AI 사용으로 인한 부정적인 영향을 피하기 위해 AI의 윤리적, 법적 측면에 집중할 필요가 있습니다. AI의 잠재적 위험을 완전히 이해하고 이에 대처할 수 있는 기반 위에서만 AI의 장점을 더 잘 활용하여 효율성과 품질을 모두 달성할 수 있습니다.