Aproveitamento do STORM: criação de um artigo no estilo da Wikipédia para criação baseada em pesquisa na Internet

Tese:https://arxiv.org/abs/2402.14207

Podemos ensinar os LLMs a escrever artigos longos do zero, com base em fontes confiáveis?
Os editores da Wikipédia acham que isso os ajudará?
📣 Anunciando o STORM, um sistema para escrever artigos no estilo da Wikipédia com base em pesquisas na Internet. Agora eu uso o STORM em minha pesquisa diária!

Gerar artigos longos com citações é difícil de fazer e difícil de avaliar!

Dividimos isso em duas etapas:
1️⃣ Pré-escrita na qual o sistema coleta referências e gera um esboço.
2️⃣ writing, no qual o sistema gera o artigo final com citações.

A "pré-escrita" envolve a pesquisa de um tópico do zero.
Isso é difícil até mesmo para especialistas humanos. A solicitação direta de perguntas sobre a geração de modelos de linguagem não funciona! Esses problemas carecem de profundidade e têm amplitude limitada.
O objetivo do STORM é ensinar a modelagem de linguagem **faz boas perguntas**.

O STORM aprimora o questionamento ao descobrir automaticamente perspectivas sobre tópicos de pesquisa e adicionar perspectivas aos prompts. Ele também simula diálogos de busca de informações para incentivar perguntas de acompanhamento mais aprofundadas.

Criamos o FreshWiki para reduzir o vazamento de dados nos dados de treinamento do LM para avaliação.
Para medir a qualidade, introduzimos a recuperação suave de títulos e a recuperação de entidades de títulos. A avaliação do esboço facilita a pré-escrita de métodos de prototipagem.
O STORM é superior a uma linha de base RAG bem projetada!

No estágio final de redação, o STORM gera texto com citações e escreve o artigo completo, seção por seção.

deixar (para alguém) TEMPESTADE Os artigos gerados são favorecidos por métricas automatizadas *e* editores experientes da Wikipédia!

Essa redação ilustrativa deve sempre se basear em fatos.
Avaliamos a qualidade das citações e pedimos aos editores da Wikipédia que classificassem a verificabilidade. Descobrimos que o principal desafio é desviar a conversa das ilusões factuais amplamente discutidas.
Isso requer pesquisa além da verificação de fatos!

Também perguntamos aos editores da Wikipédia sobre a utilidade percebida do STORM. De forma empolgante, todos os participantes concordaram que o STORM foi útil em sua fase de pré-escrita. Além disso, eu mesmo uso o STORM para aprofundar os conceitos em minha pesquisa (se você ainda não viu nosso vídeo de demonstração, clique aqui).

Vale a pena observar que o STORM é um pipeline de gerenciamento de conhecimento bem projetado, não uma única dica ou modelo.
Usamos o DSPy para criar o STORM, que oferece uma modularidade muito boa, o que nos permite continuar a ampliar nosso trabalho sem nos perdermos em muitos arquivos de dicas.