瓦尔登湖小酒馆

[置顶] 搜索算法概要

Posted by OAA on October 25, 2024

LLM：RL 开源系统

1、RL 开源系统在 LLM 迈向人类认知水平与复杂任务泛化能力的进程中，RLHF 和推理能力的突破性提升，已成为技术进化的两大核心驱动力。然而，我们也面对两个问题：如何在算法效率与系统灵活...

Posted by OAA on April 2, 2025

LLM：DeepSeek R1 训练流程

DeepSeek R1 架构和训练过程本文翻译整理自：Drawing DeepSeek R1 Architecture and Training Process from Scratc...

Posted by OAA on March 27, 2025

LLM：Post-Training

1、Post Training 预训练提供了广泛的语言基础，而后训练使 LLM 能够完善其知识体系、提升推理能力、增强事实准确性，并更有效地与用户意图和伦理考量保持一致。微调、强化学习和测试时...

Posted by OAA on March 7, 2025

LLM：Agent

1、LLM Agent 自主智能体（Autonomous Agent）长期以来一直被认为是实现通用人工智能（AGI）的一种很有前景的方法，通用人工智能有望通过自主规划和行动来完成任务。LLM ...

Posted by OAA on February 20, 2025

LLM：PEFT

1、SFT 和 PEFT SFT（Supervised Fine-Tuning，监督微调）是针对大规模语言模型（LLM）进行二次训练的一个重要步骤。在预训练阶段，LLM 通常通过大量的无标签数...

Posted by OAA on February 19, 2025

LLM：RAG

1、RAG 概览 RAG（Retrieval-Augmented Generation，检索增强生成）是一种结合了信息检索（IR）和 LLM 的技术。它的核心思想是在 LLM 生成回答之前，通...

Posted by OAA on February 18, 2025

LLM：强化学习

在大规模语言模型（LLM）中，强化学习扮演了重要的角色。具体来说，强化学习的一个重要应用是在模型训练中的 RLHF。在这阶段，模型生成的文本被人类评估并给出反馈。这些反馈通常以奖励信号的形式传递...

Posted by OAA on January 12, 2025

LLM：大语言模型结构

1、大语言模型大语言模型是通过无监督学习训练的神经网络模型，特别是在大量的文本数据上进行预训练。其核心思想是让模型从上下文中预测词汇或子词的概率分布，进而捕捉语言的语法、语义、上下文信息等。...

Posted by OAA on January 8, 2025

LLM：DeepSeek 系列

1、DeepSeek LLM DeepSeek LLM 发布于 2023 年 11 月，收集了 2 万亿个词元用于预训练。在模型层面沿用了 LLaMA 的架构，将余弦退火学习率调度器替换为多步...

Posted by OAA on January 7, 2025

LLM：Qwen 系列

1、Qwen 1 Qwen 1 发布于 2023 年 8 月，Qwen 是一个全面的大型语言模型系列，涵盖了具有不同参数数量的不同模型，包括 Qwen 基础预训练语言模型和 Qwen-Chat...

Posted by OAA on January 6, 2025

LLM：LLaMA 系列

LLaMA（Large Language Model Meta AI）是发布于 2023 年 2 月的开源预训练大型语言模型，与 GPT 等生成模型类似，LLaMA 也只使用了 Transfo...

Posted by OAA on January 5, 2025

LLM：GPT 系列

GPT（Generative Pre-trained Transformer）是生成式预训练语言模型，基于 Transformer 架构，专注于通过自回归的方式生成自然语言文本，即给定一个输入序...

Posted by OAA on January 4, 2025

搜索-搜索排序多目标预估和多目标融合

搜索排序多目标预估和多目标融合在搜索排序中，用户的行为和目标往往是多样化的，比如点击、收藏、分享、停留时长等。单一的目标优化可能导致整体效果的偏差，因此需要通过多目标预估与多目标融合来更全面...

Posted by OAA on December 27, 2024

搜索-搜索系统常见指标和评估方式

1、搜索系统常见指标和评估方式搜索系统的优化是一场指标驱动的系统工程，核心在于找准业务指标和中间指标的传导路径，实现策略的高效迭代。一个典型的搜索系统指标传导路径可以表示为：底层技术...

Posted by OAA on December 25, 2024

排序-重排

1、重排重排是精排后的一个阶段，主要负责在最终展示结果前对精排后的排序列表进行进一步优化和调整（微调）。重排核心目标是保证一定相关性的前提下，提高结果的多样性，从而提升用户体验，满足用户在...

Posted by OAA on December 8, 2024

排序-精排

1、精排精排的核心目标是从粗排阶段筛选出的候选集内（通常是几百个到几千个候选文档），依据更加细致的相关性、用户行为、时效性等因素，对文档进行细粒度的排序，以确保最相关的文档排在前面，最大化...

Posted by OAA on December 7, 2024

排序-粗排

1、粗排粗排是搜索系统中排序环节的第一层，主要目标是从大量候选文档中快速筛选出一小部分高潜相关的文档，为后续的精排提供输入。粗排阶段通常需要在较低的计算成本下实现高召回率和初步的排序能力，...

Posted by OAA on December 6, 2024

Posted by OAA on December 5, 2024

召回-召回聚合

1、召回聚合用户的查询意图往往是复杂多样的，可能涉及到不同的领域、主题和语义层面。因此，召回体系中通常通过多路召回的方式从不同角度去理解和满足用户的查询需求。此外，多路召回通过各召回通道并行...

Posted by OAA on November 28, 2024

召回-向量召回

1、向量召回当前搜索业内主流和主力的召回通路无疑是向量召回，相较于传统的关键词匹配，向量检索能够捕捉语义相似性，使其在应对模糊查询时也能有不错的检索效果，比传统的基于关键词的检索方法更具容错...

Posted by OAA on November 27, 2024