这是一个创建于 217 天前的主题，其中的信息可能已经有所发展或是发生改变。
我有一个 csv 文件，里面有 30 万个句子。
有没有什么现成的产品，可以做到：我输入 “蔬菜”，它帮我从 csv 文件中找到 “你的番茄是哪里买的？” 之类的和蔬菜相关的句子？
只是自己用，不是对外提供服务。最好开箱即用，越便宜越好。
ChatGPT 提示文件过大。QAnything 的回答完全没法用。
有没有什么现成的产品，可以做到：我输入 “蔬菜”，它帮我从 csv 文件中找到 “你的番茄是哪里买的？” 之类的和蔬菜相关的句子？
只是自己用，不是对外提供服务。最好开箱即用，越便宜越好。
ChatGPT 提示文件过大。QAnything 的回答完全没法用。
9 条回复 • 2024-09-02 16:29:23 +08:00
 |
1
liprais 217 天前  1
rag 了解一下
|
 |
2
TimePPT 217 天前 1
你这需求如果就举例的那么简单，都不需要大模型，语义向量检索就能满足。
就是楼上的 RAG 的一部分。 |
 |
3
NickHopps 217 天前
直接调用 openai 的 api 就可以实现，可以参考这篇文章 https://simonwillison.net/2023/Oct/23/embeddings/
|
 |
4
ck65 217 天前
大致步骤：
1. 把 csv 分成 chunk ，一行一个 chunk 或 n 行一个 chunk 看行的长度定夺 2. 逐个 chunk 调 embedding API 换回一个 embedding 结果，存进 vector db 3. 用关键词「蔬菜」检索 vector db 借楼提一个引申问题：有不需要经过 embedding API 的办法吗？ |
 |
5
cando 217 天前
输入"蔬菜"，让 GPT 给出所有的蔬菜，然后把所有的蔬菜拿到 csv 去匹配。
|
|
6
TimePPT 217 天前 1
|
 |
8
DTCPSS OP 基本解决了。
向量搜索用 Faiss 。 文本向量化用 aspire/acge_text_embedding 和 Alibaba-NLP/gte-Qwen1.5-7B-instruct 。 |
 |
9
kalafinaian 115 天前
Bert 得到句向量 Embedding 再 L2 归一化
然后矩阵乘法计算两两之间按相似度 |
Select Language