embedding是什么意思:向量表达,文本转数字

embedding是什么意思,embedding即嵌入向量,是把文字、图片、音频这类非结构化数据转化为固定长度数字数组的技术,你可以用它计算两段内容相似度,搭建知识库检索、推荐系统、大模型RAG应用;它的适用边界是,embedding只捕捉语义层面的关联,无法理解完整逻辑推理,不适合需要复杂数学推导、长链条因果判断的场景,向量维度常见有512维、768维、1024维,维度越高语义细节保留越多,但存储和计算开销会同步上升。

embedding的底层原理

embedding模型预先在海量语料上训练,学习词语、句子之间的语义关系,输入一段文本,模型输出一串浮点数构成向量,语义相近的内容,对应的向量在高维空间里距离更近。两个向量之间通常用余弦相似度衡量远近,余弦值越接近1,代表两段文本语义越接近;数值接近0代表语义无关,负数代表语义差异较大。

向量不是固定不变的符号,同一个句子换不同embedding模型生成,得到的向量数组完全不一样,不同厂商的向量不能直接互相比对,你做向量检索时,必须全程使用同一个embedding模型生成向量。

embedding实操用法

你调用embedding接口,输入文本得到向量,存入向量数据库,用户提问时,把用户问题同样转为embedding向量,在向量库中做相似度检索,召回匹配度高的原文片段,再交给大模型生成答案,这套流程就是RAG检索增强生成。

你可以用embedding做这些场景。

  • 私有文档知识库问答
  • 内容去重、相似文章聚类
  • 搜索优化,实现语义搜索而非关键词匹配
  • 商品、短视频内容推荐
  • 图片检索,图像embedding将图像转为向量

embedding模型选型对比

模型类型适用场景向量维度资源消耗
轻量开源embedding本地部署、简单文本检索512维较低
通用中文embedding中文知识库、企业文档768维中等
大参数量embedding高精度语义匹配、多语言场景1024维较高

中文场景优先选择经过中文语料训练的embedding模型,纯英文模型处理中文文本,相似度匹配效果会明显下降。

向量长度直接影响存储成本,百万条768维向量,占用的内存空间会远大于512维向量,小规模检索任务不必盲目选用高维向量。

embedding常见误区

embedding不等同于大语言模型,它只负责编码语义,不能生成文字,不能完成问答。很多新手直接拿embedding向量做复杂逻辑判断,向量相似度高不代表事实正确,可能出现语义相近但事实矛盾的召回结果。

截断会破坏embedding效果。

embedding存在最大输入token上限,输入文本超过上限,模型会自动截断末尾内容,截断后的文本生成向量会丢失后半段语义,你在预处理阶段,需要把长文档切分成符合token限制的小段,再批量生成向量。

向量库只是存储载体,不会提升embedding本身的语义精度,向量库只负责加速向量检索,不会修正模型生成向量时自带的语义偏差。

敬慕百科汇集百科知识与游戏文化,带你发现世界的每一个精彩角落。

想要了解更多关于embedding是什么意思的文章欢迎访问:百科