Dify Dify는 제품 프로토타입을 검증하거나 생산성 도구를 구축하는 등 개발자가 AI 아이디어를 빠르게 실현할 수 있도록 지원합니다. 워크플로 최고의 선택.최신 v0.10.0 릴리스에서는 많은 분들이 기대하셨던 파일 업로드 기능을 도입하여 워크플로우에서 다양한 형식의 문서와 오디오/비디오를 처리할 수 있게 되어 AI 애플리케이션 개발의 지평을 더욱 넓힐 수 있게 되었습니다.

이 기능은 특히 다음 시나리오에 적합합니다.

• 문서 Q&A: 신뢰할 수 있는 출처가 있는 업로드된 문서를 기반으로 질문에 답변하세요.
• 보고서 요약: 긴 문서에서 핵심 요점을 빠르게 추출하여 요약을 생성하세요.
• 양식 처리: 다양한 문서나 스프레드시트에서 특정 콘텐츠를 빠르게 검색하고 처리할 수 있습니다.

또한 파일 업로드 기능을 통해 멀티모달 AI 애플리케이션을 위한 기반을 마련할 수 있습니다.이제 개발자는 이미지, 오디오, 비디오를 이해하고 처리하는 복잡한 워크플로를 쉽게 구축하여 애플리케이션의 기능과 사용자 경험을 획기적으로 개선할 수 있습니다.

간편한 파일 업로드 기능으로 시작하기

1. 직접 파일 업로드 활성화

파일 업로드를 활성화하는 방법은 매우 간단합니다. 기능 목록에서 파일 업로드 스위치를 켜면 됩니다(기본값은 시스템 변수). sys.files ). 사용자는 대화 상자를 통해 직접 파일을 업로드할 수 있으며, 업로드된 최신 파일이 이전 파일을 자동으로 덮어씁니다. 유연한 컨텍스트 관리가 필요한 경우 개발자는 메모리 기능을 켤 수 있습니다.

2. 사용자 지정 변수 만들기

또 다른 방법은 시작 노드에서 사용자 정의 변수를 만들어 단일 또는 여러 파일 업로드를 지원하는 것입니다. 설정이 완료되면 사용자 인터페이스에 파일 업로드 양식이 표시되고 후속 대화 및 워크플로 처리는 항상 업로드된 파일을 중심으로 진행됩니다.

파일을 업로드한 후에는 LLM이 콘텐츠를 효과적으로 이해하고 분석할 수 있도록 파일 유형에 따라 사전 처리해야 합니다. 문서 유형 파일(예: TXT, PDF, HTML 등)은 문서 추출기 노드를 사용하여 워크플로우에서 텍스트를 추출해야 하며, 이 노드는 이를 LLM에서 사용할 수 있는 문자열 변수로 변환합니다. 오디오 및 비디오 파일은 오디오-텍스트 또는 비디오 키프레임 추출과 같은 추가 도구를 사용해 인코딩해야 합니다. (OpenAI의 새로 출시된 "gpt-40-audio-preview" 모델은 추론 및 대화를 위한 오디오의 직접 처리를 지원하며, 이는 추후 릴리스에서 적용될 예정입니다).

이번 업데이트에서는 파일 추출과 필터링을 위한 새로운 문서 추출기와 목록 조작 노드가 각각 추가되었을 뿐만 아니라 대부분의 워크플로 노드가 개선되었습니다. 자세한 내용은 도움말을 참조하세요:

https://docs.dify.ai/zh-hans/guides/workflow/file-upload

파일 업로드를 사용하여 빠르게 AI 팟캐스트 구축하기

구글이 최근 출시한 AI 도구인 노트북LM은 새로운 '오디오' 기능으로 많은 주목을 받고 있습니다. 이 기능은 긴 형식의 콘텐츠를 빠르게 분석하고 핵심 정보를 추출하며 팟캐스트와 유사한 대화형 오디오 요약을 생성할 수 있습니다. 이를 통해 사용자는 콘텐츠를 읽는 시간을 크게 절약할 수 있을 뿐만 아니라 콘텐츠의 요점을 더 쉽게 파악할 수 있습니다.

다음으로 파일 업로드 기능과 관련 노드를 사용하여 워크플로우를 통해 문서를 대화형 AI 팟캐스트로 전환하여 다음과 같은 것을 가능하게 하는 방법을 보여드리겠습니다. 노트북LM 의 기능

시작 노드의 파라미터 구성

새 Chatflow를 만들고 시작 노드에서 파일 업로드를 설정하고 주요 변수(톤, 호스트, 게스트, 언어 등)를 정의합니다.

• ** 파일 문서형 파일 업로드를 허용하려면 '단일 파일' 필드 유형을 선택합니다.
• ** 톤 :: 사용자가 '드롭다운 옵션' 유형(정장, 격식, 유머러스 등)을 사용하여 AI 팟캐스트의 커뮤니케이션 스타일을 맞춤 설정할 수 있습니다.
• ** 호스트 이름 진행자의 이름을 입력하려면 '텍스트' 유형을 선택합니다.
• ** guest_name 게스트 이름 입력 시 '텍스트' 유형을 선택합니다.
• ** 언어 :: **사용자가 팟캐스트의 언어를 쉽게 선택할 수 있도록 중국어, 영어, 일본어 등의 옵션을 제공하는 '드롭다운 옵션' 유형을 사용합니다.

LLM 노드와 함께 파일 추출기를 사용하여 팟캐스트 스크립트 생성하기

파일 업로드가 성공하면 문서 추출기가 ***파일 *** 변수에 있는 텍스트를 추출하여 비정형 데이터를 처리 가능한 텍스트 콘텐츠로 변환합니다. 다음으로, 추출된 콘텐츠는 3개의 LLM 노드를 통해 처리되어 점차적으로 완전한 팟캐스트 스크립트를 생성합니다.

1. LLM 입력 분석

추출된 텍스트를 분석하여 중요한 주제, 스토리 포인트, 데이터 등 팟캐스트에 필요한 핵심 정보를 추출하여 이후 팟캐스트 콘텐츠 제작을 위한 기반을 마련합니다.

2. LLM 스크립트 생성 노드 (대화 만들기)

추출된 콘텐츠와 사전 정의된 변수(어조, 언어, 호스트 이름, 게스트 이름 등)를 기반으로 자연스럽고 개인화된 팟캐스트 대화 스크립트가 생성되어 호스트와 게스트의 상호작용이 설정된 역할과 스타일에 부합하도록 보장합니다.

3. LLM 결론 노드(결론)

호스트와 게스트 간의 대화를 통해 요점을 요약하는 팟캐스트 요약을 생성하여 요약 섹션이 청취자에게 지속적인 인상을 남기고 생각할 거리나 행동에 대한 제안으로 이어질 수 있도록 하세요.

LLM 노드를 처리하면 팟캐스트 대화와 요약이 나옵니다.

템플릿 변환 노드를 통한 텍스트 블록 병합

템플릿 변환 노드는 각 LLM 노드에서 생성된 부분 콘텐츠를 전체 출력으로 결합하여 다운스트림 툴에서 사용할 수 있는 균일한 포맷으로 변환합니다.

• 입력: *** arg1*** 및 *** arg2*** 변수를 통해 두 개의 LLM 노드 Craft the Dialogue와 Conclusion의 텍스트 스니펫을 가져옵니다. arg2 인용하기.
• 출력: *** arg1***(대화 내용)과 *** arg2***(요약 섹션)을 병합하여 완전하고 일관된 팟캐스트 스크립트를 생성하고, 후속 도구에서 쉽게 처리할 수 있도록 문자열 형식으로 출력합니다.

팟캐스트 오디오 생성기 구성 및 출력

텍스트 병합을 완료한 후 스크립트는 템플릿 변환 노드를 전달합니다. 출력 변수가 팟캐스트 오디오 생성기에 전달되어 오디오 생성의 마지막 단계가 시작됩니다.

이 도구는 텍스트 스크립트에서 팟캐스트 오디오를 생성하며, 개발자는 호스트 및 게스트 음성(예: "Alloy" 및 "Shimmer")을 선택하여 캐릭터가 어떻게 들릴지 결정할 수 있습니다. 팟캐스트 생성기는 수신된 전체 스크립트를 오디오 파일로 변환하여 다운로드할 수 있도록 합니다.

이 단계를 통해 파일 업로드 기능을 사용하여 AI 팟캐스트를 생성하는 방법을 쉽게 익힐 수 있습니다. 또한 이 앱의 템플릿을 만들어 탐색 페이지에 배치하여 빠르게 시작하고 더 많은 기능을 쉽게 탐색할 수 있도록 했습니다.

기타 알아야 할 사항

이미지 업로드 기능 오프라인 문구

1. 채팅플로우 애플리케이션의 경우

버전 0.10.0에서는 원본 이미지 업로드 기능을 파일 업로드까지 확장하여 앱에서 더 많은 형식의 문서와 오디오/비디오 파일을 처리할 수 있게 되었습니다.

• 이미지 업로드 기능이 파일 업로드의 일부로 통합되었습니다. 파일 업로드 기능이 활성화되면 LLM 노드에서 시각적 변수 선택기를 통해 ***sys.file ***을 선택하여 채팅창에 업로드된 이미지 등의 파일을 참조할 수 있습니다.

• 이전 버전에서 이미지 업로드 기능을 사용하던 앱이 안정적으로 유지되도록 이전 버전의 앱에 대한 호환성 처리를 수행했습니다.

워크플로 애플리케이션의 경우 2:

• 더 많은 유형의 파일을 처리하려면 파일 업로드 시작 노드에서 파일 유형 변수를 사용자 지정하는 것이 좋습니다.

• 참고: 향후 릴리스에서 이전 이미지 업로드 기능과 시스템 변수는 더 이상 사용되지 않습니다! sys.file .

자세한 내용은 도움말 파일을 참조하세요:

https://docs.dify.ai/zh-hans/guides/workflow/bulletin