最近许多一又友齐在问:怎样腹地部署 DeepSeek 搭建个东谈主常识库第四色播播。
图片
本分说,若是你不是为了参谋本领,约略照实需要保护涉密数据,我真不淡薄去折腾腹地部署。
为什么呢?
现时 Ollama 从 1.5B 到 70B 齐只是把 R1 的推贤慧商提取到 Qwen 和 Llama 的蒸馏版块上。
虽说性能是栽植了不少,但跟原汁原味的 R1 模子比起来,照旧差太多了。
官方的满血版块但是 671B 的参数目,说真话,对普通东谈主来说想腹地部署,这资本照实太高了。
不外我最近发现了一个平台,不仅能用上 R1 本 1,还提供了不少免费额度。
此外,为了让领有算力的一又友可以腹地部署,我也提供了干系教程。
看统统文,你会得益:
1、满血 DeepSeek R1 模子 API 搭建形势
2、腹地部署 DeepSeek R1 模子 搭建形势
一、个东谈主常识库使用截至(满血版)来看几个使用案例:如何借助 个东谈主常识库文献 算作外脑,用依次论联结咱们正确作念事?
DeepSeek 照实很好用,但关节照旧会不会发问。若是不会发问,AI 再强也帮不上忙。
除了花时刻学习辅导词,更快的形势是腹地备一份发问指南,让 AI 联结你该怎样正确发问,这么本事果然阐发它的价值!
图片
AI 借助常识库内的 DeepSeek 联结手册,预判了我可能想问的问题,以及淡薄的正确辅导词体式。
从回答中可以发现,AI 不是依据本身语料库回报,而是基于常识库实质回报。
图片
虽然,咱们也可以径直发问,精确搜索常识库的原始信息,从而达到快速查询的截至。
图片
二、API 搭建常识库若是腹地数据不涉密,还想得到最好使用截至,那细目得选满血的 DeepSeek R1 模子。
咱们来望望怎样运用 API 用上满血的 R1 模子(671 B)。
1、先下载一个叫 Cherry Studio 的软件。
地址: https://cherry-ai.com/download
图片
2、登录/注册「硅基流动」,新用户会施济 2000 万 Token 额度。
地址:https://cloud.siliconflow.cn/i/TAAOvaXg
图片
3、来到 API 密钥生成界面,创建约略复制已有的密钥。
图片
4、来到 Cherry Studio,配置 API Key。
图片
5、在模子广场首页,排在前两位的即是「硅基流动」和「华为云」合营发布的 DeepSeek R1 / V3 模子。
若是需要推贤慧商,铭刻绽开并复制 R1 模子的称号。
图片
6、在模子职业的硅基流动下方,添加 R1 模子。
图片
7、铭刻点击查验,测试下 API 是否可以平方拜访。
图片
8、当今对话模子有了 R1,还败落一个镶嵌模子。
镶嵌模子的主要作用是将腹地文献的实质调动成有兴致的数字,存储到向量数据库中。
全国约炮在用户发问时,运用 RAG 本领在数据库中搜索到相似谜底,最终回报用户。
夙昔我有世俗证据过 RAG 本领,行家若是不了解,可以回头看下:一文世俗讲透 RAG 背后的逻辑,让 AI 回答更精确!
咱们再配置一个向量模子:BAAI/bge-m3。若是但愿搜索的精确度更高,可以聘用 Pro/BAAI/bge-m3。
图片
按照相同的形势配置到 Cherry Studio 中,这里不需重心击查验。
图片
9、在 Cherry Studio 创建常识库,聘用刚才配置的镶嵌模子,这么就会自动运用对应的模子来向量化数据。
图片
10、上传腹地文献进行向量化。
若是腹地 PDF 文献是 扫描件、手写件,约略带有复杂的表格 和 数学公式,融会截至会很差,以致无法融会。
碰到这种情况,淡薄配合夙昔我先容的 PDF 转结构化文档 的决议来使用!!!
这么才可以平方回报常识库的实质:免费AI神器!精确融会 PDF 还能一键翻译!
若是追求性价比,推选使用 Doc2x:https://doc2x.noedgeai.com?inviteCode=4A6KOD
若是但愿愈加清爽,那么可以探讨 Textin :https://www.textin.com/market/detail/pdf_to_markdown
当咱们上传文献后,箭头指向的图标如图所示,则代表向量化到手。
图片
11、测试使用,这一步添加助手,并聘用刚配置的 满血 R1 模子。
图片
若是不想每次在添加助手时聘用模子,可以将它设立为 默许模子。
图片
咱们来测试一下,发现 DeepSeek 一经初始深度念念考了。
图片
AI 回报的谜底和原文一致。
图片
原文实质:
图片
三、腹地部署搭建常识库若是只是想 简便体验,约略腹地算力填塞、但愿保护数据安全,那么可以探讨 腹地部署 的决议。
1、拜访 Ollama 官方地址:https://ollama.com/download,下载软件。
淡薄下载最新版块 Ollama,个东谈主踩坑资格:旧版块安设 R1 后可能无法平方使用。
图片
2、双击运行 Ollama 后,绽开敕令行,运行需要安设的模子(参数越大,显存条目越高)。
地址:https://ollama.com/library/deepseek-r1
图片
若是莫得 GPU,淡薄聘用 1.5B,运行相对轻量。我这 4G 显存 拼集能跑 8B,但速率较慢。
有一又友用 RTX 4090 测试 32B,截至和速率齐可以。行家可以参考这个梯度,证据我方的硬件聘用合适的模子。。
下载并运行到手后,就可以和 DeepSeek R1 对话啦。
图片
3、虽然,咱们可以用 Cherry Studio 算作腹地 R1 模子的 UI 界面。
绽开软件的配置,聘用 Ollama,在经管按钮中聘用我方部署的模子。
若是选不到,就手动添加模子,API 秘钥填不填无所谓。
图片
终末点击查验,测试下鸠合连通性,出现畅达到手即可。
图片
接下来就可以在添加助手时,聘用腹地部署的 R1 模子啦。
图片
4、再测试使用一下,谜底与原文一致,措置 ~
图片
因为我用的是 Mac,是以没测试 Windows 设立。不外两者差异不大,行家可以自行尝试下。
四、追思看到这里,深信你一经找到最合乎我方的 DeepSeek 个东谈主常识库决议了。
若是你和大大批东谈主一样,聘用使用官方 API ,那就不必再为性能和腹地硬件资源发愁;
若是你赶巧有填塞的算力和本领储备,腹地部署亦然个可以的聘用。
不外,在所有这个词经过中,我想和你共享的不单是是这些本领细节。
而是一个中国团队能作念出宇宙级大模子,一个需要 86 本事注册的大模子。
很行运,咱们能算作中国 AI 本领越过的见证东谈主。
虽然,暂时的发轫不是异常。
但 DeepSeek 给咱们带来的,是“中国也可以”这份信心。
这,才是咱们果然要督察的但愿。
我是 🐼 熊猫 Jay,但愿本次共享能有所匡助。
本站仅提供存储职业,所有实质均由用户发布,如发现存害或侵权实质,请点击举报。