Facta Non Verba

幻觉 Hallucination AI生成内容会出现幻觉（Hallucination）问题，主要因素一是LLM的概率生成机制，预测下一个词，可能会引致生成与事实不符的内容；二是训练数据有限，回答无法掌握更多私有的知识与最新的信息。 检索增强生成 RAG RAG（Retrieval-Augmented Generation）则是为了更好的解决幻觉问题，提升模型的输出质量。有以下优势： 减少幻觉 提供当前时间的信息与特定领域的信息 与模型微调（fine-tuning）每次预训练静态数据相比，更有效率与性价比 RAG 流程图 文本分块 Text Split 将知识库的各种文件、数据分割成 Text Chunk，分割的好坏影响RAG的效果 嵌入模型 Embedding Model 一种机器学习模型，可以将高维输入数据（如文本、图像）转换为低维向量，这些低维向量捕捉了文本的语义信息，有多种模型可以生成向量嵌入，如OpenAI的text-embedding-3-large 向量嵌入 Vector Embedding 是将数据以数值向量的形式来进行表示，可以让ML算法能更轻松地对数据进行处理和解读，以数值形式捕捉对象间的语义关系，这些数值可以表示对象的特征。可以通过向量搜索或相似性搜索（Similarity Search）在向量空间中查找相似对象 向量数据库 Vector Database 存储Vector Embedding等海量的高维向量，主要用于处理与相似性搜索有关的任务。主流厂商有Pinecone/ milvus/ Chroma/ Redis等 向量数据主要是由非结构化数据（Un-Structured Data）（如文本、视频、音频等，占全球数据80%）通过嵌入模型（Embedding Model）转换为向量嵌入，结构化数据（Structured Data）则以表格形式存在，如传统的数据库，存储明确的数据类型 检索 Retrieve 本质上是在向量空间中寻找与查询向量最相似（相邻）的邻居 最常用的度量指标： 欧氏距离（Euclidean Distance）两点之间的直线距离 余弦相似度（Cosine Similarity）非零向量的夹角的余弦值，常用于基于文本的数据 点积相似度(Dot Product Similarity) 两个向量的模长以及夹角余弦值的乘积 找出Top K chunks ,然后在此基础上重新排序 Re-ranking，更准确地挑选最合适的片段 提示词模版 将提示词模版与检索得到的context以及用户问题组合构建，输入给LLM,得到最终的输出结果返回给用户 这些context通过向量搜索从知识库中检索出来的，然后经过解码/转化后形成自然语言文本 如何找到最近邻 暴力搜索 Brute force search 穷举所有数据点 近似最近邻算法 ANN (Approximate Nearest Neighbor search) 核心思想，通过权衡精度与效率，牺牲少量精度，来显著提升搜索速度。构建专门的索引结构（Index），优化搜索路径，有效缩减搜索空间，实现快速检索 ...

0. 前言 一直有个域名，平时只是用于作为伪装域名，于是尝试搭建个人博客,实现思路是使用 Hugo + Github Pages。 目前有三个主流的静态博客生成器Jekyll、Hexo 和 Hugo 1. Jekyll - Jekyll 是最早流行的静态博客生成器之一，广泛用于 GitHub Pages，GitHub Pages 官方支持 - Jekyll 是用 Ruby 编写的，需要安装 Ruby 环境来运行。 2. Hexo - Hexo 使用 Node.js 进行构建，速度较快，插件丰富。 3. Hugo - Hugo 是用 Go 语言编写的，是目前速度最快的静态博客生成器，尤其适合有大量内容的网站。 - 支持多语言、分类、标签等高级功能，适合需要组织大量内容的用户。 - Hugo 的配置文件和结构非常简洁，易于上手。 我本身就是写Go的，遂选择了Hugo 1. 准备工作 1.1 域名配置 DNS 设置：在域名服务商处设置了以下 DNS 记录： CNAME 记录指向 xxx.github.io。 需要注意要在Github的Setting里设置Pages的CNAME 1.2 Hugo 安装与配置 安装 Hugo：在本地机器上通过 Homebrew 安装了 Hugo： brew install hugo 2. 配置博客 2.1 创建一个 Hugo 网站 hugo new site myblog cd myblog 2.2 选择并安装主题 我选择了简洁风格的PaperMod主题 ...