目前主要有俩需求：
- 对于常用知识进行问答，对于公司内部知识（如请假流程，内部代码建议等）可以训练并问答
- 可对于目前的内部流程，销售等进行建议；我们公司各个部门内部流程上千。
感觉是需要大模型进行训练，但又苦于不知去哪找到合适的；部署的话可以利用公有云或者私有云都可；（公司内部有私有云） 常识性公开的问答可以用 chatgpt 我这边可以按照 api 进行弄个前端搞，基于 gtp3.5 但是内部流程的话或者销售数据公司领导不想给到外部进行训练。 请问有没有好的方式进行实施，交作业
This topic created in 1060 days ago, the information mentioned may be changed or developed.
 |
Aruen8Dec 12, 2023
1
哪个公司呀？
|
 |
SolixDec 12, 2023 via iPhone
3
首先买一个 a100 或者买至少 4 块 4090 ，然后找个中文开源大模型框架训练即可，然后训练完你需要 gpu 服务器部署或者用 a100 部署，不知道你们公司财力怎样，要求并发的话一个月至少话 1 万？
|
 |
sweat89Dec 12, 2023
4
RAG
|
 |
linch97Dec 12, 2023
5
chatglm 6B 或者 13B ？这俩训练成本没那么高，只是问答应该也足够用了
|
 |
bk201Dec 12, 2023
6
找个外部提供服务的进行私有部署
|
 |
x86Dec 12, 2023
7
|
 |
lunyDec 12, 2023
8
智谱 AI 大模型，好像可以私有化部署，算力要求不高，可以了解下
|
 |
0703wzqDec 12, 2023
9
试试看这个能不能满足： https://github.com/labring/FastGPT
|
 |
listenfreeDec 12, 2023
10
https://github.com/chatchat-space/Langchain-Chatchat
找类似的 chatglm3 + langchain ，完成你说的两个任务，调整好参数，适当修改知识库内容，花不了多少钱。 |
 |
kidultDec 12, 2023
11
3 楼的方案可以，用 gpt 的话肯定是要外泄数据的，如果只需要 3.5 的能力还是申请公司资源自己搞吧，搞完直接升职加薪
|
 |
c5QzzesMys8FudxIDec 12, 2023
12
最近我也在研究本地化部署问答知识库，正在使用 FastGPT + M3E + chatglm3
|
 |
RealsinDec 12, 2023
13
上次开会听说很多公司都有对应的解决方案，但是肯定是要微调的，你们还得买几张卡....
|
 |
lozzowDec 12, 2023
14
我司有解决方案，要不要联系下，低成本
|
 |
PaulSamuelsonDec 12, 2023
15
你看看这个——https://segmentfault.com/a/1190000044459875#item-6
这个是直接用人家现成的。你可以先试用一下，看看效果。 它这个的优势是，只需要提供文档，然后就可以提问了。 |
 |
graetdkDec 12, 2023
16
|
 |
churchmiceDec 12, 2023
17
@graetdk #16 网页做的不错，然而随便聊几句真是呵呵
|
 |
lneoiDec 12, 2023
18
网上开源的可私有部署模型 + langchain 可以实现知识库相关的系统
|
 |
qdlidadaDec 12, 2023
19
我司有现成解决方案,可提供私有化部署,需要联系
|
 |
21
|
 |
so1nDec 12, 2023
22
|
 |
karatsubaDec 12, 2023
24
1.用 chatgpt 自带的功能挂 langchain 解决，缺点是收费
2.用本地跑模型训练或者外挂知识库，缺点是有硬件门槛而且没有 chatgpt 好使 |
 |
RealJacobDec 12, 2023
25
简单弄都不需要训练吧，弄个向量数据库存一下你们的相关信息，langchain 接一下 gpt 和这个向量数据库就完事儿了
|
 |
clinoDec 12, 2023
26
王健硕的 chato 是不是就是搞这个的 https://chato.cn/
就是不知道能不能私有部署 |
 |
em70Dec 12, 2023
27
知识库不需要微调,通过向量库把资料给到 prompt 就行了,私有部署建议用通义千问 14B,是目前消费级显卡能跑的最好的中文开源模型,chatglm 问题太多了,6B 能力也有限. 更强的模型显存超过 24G,需要 A100,H100,你们买不得,也没必要
|
 |
mylastfireDec 12, 2023
28
@em70 请问个人在家庭服务器上想部署知识库，您这个是最佳选择吗？
|
 |
kkhaikeDec 12, 2023
29
之前用 longchain 接过。。感觉效果不好，就像 gpt 帮你搜索出来结果打出来一样，不像从 gpt 自己嘴里说出来那样
|
 |
Hider5Dec 12, 2023
30
fastgpt
|
 |
jingcocoDec 12, 2023
31
从哪搞 GPU ,感觉现在方案好多,就缺价格合适的显卡
|
 |
zhumengyangDec 12, 2023
32
|
|
em70Dec 12, 2023
33
@mylastfire #28 是,淘宝买一块 2080ti 魔改 22G, 大概 2500 元,就能跑 14B 模型
|
 |
znonymousDec 12, 2023
35
|
 |
vacuitymDec 12, 2023
36
这个 openai 的 assistant 很适合啊，专门有个根据文档回答问题的，我有对接，你可以试下： https://chat.vacuity.me/
|
 |
jmljavaDec 12, 2023
37
大模型加向量化考虑一下,特定内容向量化问答,通用问题大模型生成
|
 |
datoujiejie221Dec 12, 2023
38
|
 |
39
RAG 检索 / ES 检索，得出 TopN 结果，输出给 GPT ，然后再融合生成最终结果。
效果关键： 1. 语料预处理要好，本身的结构清晰、不重不漏。 2. Prompt 约束完整，写清楚目标，链路，给出正例。并对 badcase 情况明确说 Don't Do It! |
2
 |
laminux29Dec 12, 2023
41
楼上那些人都没认真看要求吗？
楼主说了，不希望用公共的 AI ，因为担心公司数据外泄。 这种情况只能选不联网的私有化部署的开源大模型才行。 |
 |
blessuDec 12, 2023
42
微软云的 openai service 不知道能不能用，可以的话就从服务合同的角度避免外泄
|
 |
clementeDec 12, 2023
44
LLAMA2 完事了
|
 |
Dav1sDec 13, 2023
46
借贴问问 像这种需求 oa 中大量各种格式文档应该如何处理？
|
|
47
@hui9000 如果直接调取 GPT ，有一定安全合规风险，要求不是很高可以考虑 RAG 完的结果做下脱敏再扔给 GPT ，回复结果里再把脱敏信息还原。
如果安全合规要求很高，保险期间用私有化部署的开源模型也行，可以找下魔改过的对中文友好的 llama2 ，或者国产可以看下 Yi / Baichuan 之类的 |
|
TimePPTDec 13, 2023
48
@crazychang 格式文档预处理有一些开源框架能做，比如 PDF 、Excel 之类的解析，不过如果长期方案，建议做下归一化处理成结构、半结构化的统一格式做索引——比如 Markdown or json ，这样有其他诉求，上 DB 也方便
大模型自己去解析封装好的格式文档基本不靠谱，GPT 之类的应该也是做了前置解析处理的 |
 |
blackbookbj277Dec 13, 2023
49
关注下，同样需求不联网的私有化部署的开源大模型的问答系统，单位工作需要大量的法律、规章制度等内容，如果能不联互联网情况下部署最好了，私有云有 GPU 资源是不是可以用。
|
|
50
@blackbookbj277 我稍微研究了几天，也结合了大家的建议，你跟我的需求大致差不多，对于内部知识资料等可以用开源模型搞就行，类似知识库这种上面有；
问答还是交给 chatGPT ；结合两者可以构建应用，也就是所说的基于 api 构建问答系统； 我现在在研究 https://docs.dify.ai/v/zh-hans/getting-started/readme 这个 |
|
51
@blackbookbj277 这样成本比较低，如果你那边 gpu 资源够用 就直接全部自己搞
|
 |
LDaDec 14, 2023
52
建议推掉这种活，不要高看公司能给你的数据质量
|
 |
smalltong02Jan 26, 2024
53
可以试试这个开源项目： https://github.com/smalltong02/keras-llm-robot
|
 |
54
不是应该用类似 github.com/imartinez/privateGPT 之类的开源项目么？
|
Select Language