AI知识 第3页

发现一篇好玩的论文《Thoughts Are All Over the Place: On the Underthinking of o1-Like LLMs》，主题是分析o1 类推理模型 思考路径频繁切换、思维缺乏聚焦，简称为“思考不足”（underthinking），同时给出缓解...

导读 在人工智能科技的浩瀚星空中，深度学习模型以其卓越的性能，驱动着诸多领域的创新发展。然而，模型规模的持续膨胀，如同双刃剑，在提升性能的同时，也带来了算力需求与存储压力的剧增。特别是在资源受限的应...

摘要 尽管大型语言模型（LLMs）表现出色，但它们容易产生幻觉并生成事实不准确的信息。这一挑战促使人们努力进行属性文本生成，促使LLMs生成包含支持证据的内容。在本文中，我们提出了一种名为Think&Cite的新...

导读 本文档旨在通过一系列提示词示例（部分），帮助读者快速理解并掌握提示词工程的核心概念与应用。这些示例均源自于一篇关于提示工程技术系统综述的学术论文（《The Prompt Report: A Systematic Survey of Pr...

《Titans: Learning to Memorize at Test Time》原文：https://arxiv.org/pdf/2501.00663v1 Titans 架构 非官方实现：https://github.com/lucidrains/titans-pytorch   一、 研究背景与动机：Transformer 的...

对于任何需要检索增强生成 (RAG) 系统的应用来说，将海量 PDF 文档变成机器能读懂的文本块（也就是 “PDF 分块”）都是个让人头疼的大难题。 市面上既有开源的方案，也有商业化的产品，但说实话，还没哪个方案能真...

DeepSeek R1 官网越狱是非常好的实验环境，能触发到基本所有类型的审查机制，可以学习很多防御技巧，所以这是一篇大模型审查机制的学习文章，会带你看到历年来大模型越狱的示例。   大模型审查机制通常采用...

原文：https://cdn.openai.com/o3-mini-system-card.pdf 1 引言 OpenAI o 模型系列使用大规模强化学习进行训练，以使用思维链进行推理。这些先进的推理能力为提高我们模型的安全性和稳健性提供了新的途径。特别是...

文章速读 文章全面而深入地探讨了 大语言模型 (LLM) 规模定律（缩放法则/Scaling Law）的前世今生，以及 AI 研究的未来方向。作者 Cameron R. Wolfe 以清晰的逻辑和丰富的例证，带领读者从基础概念出发，逐步深入...

摘要 大型语言模型（LLMs），如OpenAI的GPT-4、Google的PaLM和Meta的LLaMA，通过实现类人文本生成和自然语言理解，极大地改变了人工智能（AI）。然而，它们对静态训练数据的依赖限制了其响应动态、实时查询的能力...

人工智能（AI）是一个迅速发展的领域。语言模型已经发展到能够让AI Agent执行复杂任务和做出复杂决策。然而，随着这些Agent的技能不断提升，支持它们的基础设施难以跟上。 LangGraph，这是一个革命性的库，旨在革...

介绍 和许多其他人一样，在过去几天里，我的新闻推送充斥着关于中国制造的 DeepSeek-R1 大语言模型的新闻、赞扬、抱怨和猜测，该模型于上周发布。该模型本身正被拿来与 OpenAI、Meta 等公司的一些最佳推理模型进...

  CORAG 的主要贡献总结 CORAG（Cost-Constrained Retrieval Optimization for Retrieval-Augmented Generation）是一种创新的检索增强生成（RAG）系统，旨在解决现有 RAG 方法中的关键挑战。以下是 CORAG ...

知识蒸馏是一种机器学习技术，目的是将预先训练好的大型模型（即 "教师模型"）的学习成果转移到较小的 "学生模型 "中。蒸馏技术可以帮助我们开发更轻量化的生成模型，用于智能对话、内容创作等领域。 最近 Distil...

最近，许多从事大模型训练和推理的朋友都在讨论模型参数量和模型大小之间的关系。例如，著名的羊驼系列 LLaMA 大模型，就包含了 LLaMA-7B、LLaMA-13B、LLaMA-33B 和 LLaMA-65B 四种不同参数规模的版本。 这里的 “...

原文：https://arxiv.org/pdf/2412.15479 解读：此文章本身创新不多，应用意义也不大。不过，让我想起很久很久以前阅读的三篇高含金量的文章，阅读此文结合之前的三篇文章，希望给大家带来更多灵感。推荐阅读：《...

在人工智能和机器学习领域，尤其是在构建如 RAG（检索增强生成）系统和语义搜索等应用时，高效地处理和检索海量非结构化数据变得至关重要。向量数据库应运而生，成为解决这一挑战的核心技术。它们不仅是存储高维...

小红书，这个在中国乃至亚洲地区炙手可热的社交电商平台，早已超越了简单的购物App，成为了年轻人生活方式的风向标和品牌营销的新阵地。对于希望进军中国市场或触达年轻消费群体的海外品牌和个人来说，掌握小红书...

没想到，AI 在编程领域掀起了半变天。从 v0 、bolt.new 再到各类结合 Agant 的编程工具 Cursor、Windsurf，AI Coding 已经具备 idea MVP 的巨大潜力。从传统的 AI 辅助编码，到如今的直接项目生成的背后，到底是...