-
Notifications
You must be signed in to change notification settings - Fork 1.1k
2.3 模型管理
baixin edited this page Apr 25, 2024
·
7 revisions
模型管理用于对接供应商的大语言模型;
MaxKB 支持对接主流的大模型,包括本地私有大模型 Ollama(如 Llama2、Llama3、qwen等私有模型)、Azure OpenAI、OpenAI、Kimi、智谱 AI、通义千问、讯飞星火和百度千帆大模型等。
![image](https://private-user-images.githubusercontent.com/52996290/321458855-78e5a9b7-04e9-4aff-8fa2-0526700e45c5.png?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3MjA0NjIzNTIsIm5iZiI6MTcyMDQ2MjA1MiwicGF0aCI6Ii81Mjk5NjI5MC8zMjE0NTg4NTUtNzhlNWE5YjctMDRlOS00YWZmLThmYTItMDUyNjcwMGU0NWM1LnBuZz9YLUFtei1BbGdvcml0aG09QVdTNC1ITUFDLVNIQTI1NiZYLUFtei1DcmVkZW50aWFsPUFLSUFWQ09EWUxTQTUzUFFLNFpBJTJGMjAyNDA3MDglMkZ1cy1lYXN0LTElMkZzMyUyRmF3czRfcmVxdWVzdCZYLUFtei1EYXRlPTIwMjQwNzA4VDE4MDczMlomWC1BbXotRXhwaXJlcz0zMDAmWC1BbXotU2lnbmF0dXJlPTU4ZjRhN2ZhZTdmN2ZmZjcxNTliNjUyMjIzNzExZDlkMTYyZmVkMjk5ZTM4N2IzNGE3YzIxZTkyMjgwYzdiNTYmWC1BbXotU2lnbmVkSGVhZGVycz1ob3N0JmFjdG9yX2lkPTAma2V5X2lkPTAmcmVwb19pZD0wIn0.AXFhWrK4idKP2fgefp-nKbKdP95ki2nkaBNjwsjMWVE)
点击【添加模型】,选择供应商【千帆大模型】,直接进入下一步填写千帆大模型表单。
或者左侧供应商先选择【千帆大模型】,然后点击【添加模型】,则直接进入千帆大模型表单。
![image](https://private-user-images.githubusercontent.com/52996290/321459020-b95b1c83-5ed0-43c1-ad36-e177d32647ae.png?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3MjA0NjIzNTIsIm5iZiI6MTcyMDQ2MjA1MiwicGF0aCI6Ii81Mjk5NjI5MC8zMjE0NTkwMjAtYjk1YjFjODMtNWVkMC00M2MxLWFkMzYtZTE3N2QzMjY0N2FlLnBuZz9YLUFtei1BbGdvcml0aG09QVdTNC1ITUFDLVNIQTI1NiZYLUFtei1DcmVkZW50aWFsPUFLSUFWQ09EWUxTQTUzUFFLNFpBJTJGMjAyNDA3MDglMkZ1cy1lYXN0LTElMkZzMyUyRmF3czRfcmVxdWVzdCZYLUFtei1EYXRlPTIwMjQwNzA4VDE4MDczMlomWC1BbXotRXhwaXJlcz0zMDAmWC1BbXotU2lnbmF0dXJlPTEyNTBlMDljMThhMGRjODk5OWNlMjA4NmM5YWZjYjVkZDFhMWU3OWY4OGU2N2Q0YTIwNzdjNzE1NzNjZDI0NjMmWC1BbXotU2lnbmVkSGVhZGVycz1ob3N0JmFjdG9yX2lkPTAma2V5X2lkPTAmcmVwb19pZD0wIn0.D0THndakwHqjjb8O5wPUyqIKMGKfa3Oq1H2q4t1f1UM)
模型名称: MaxKB 中自定义的模型名称。
模型类型: 大语言模型。
基础模型: 为供应商的 LLM 模型,支持自定义输入官方模型,选项中列了的一些常用的大语言模型。
注意自定义基础模型名称需保证与供应商平台的模型名称一致才能校验通过。
API Key 和 Secret Key:千帆大模型中应用的API Key 和 Secret Key(需要先创建应用)
![qianfan-app](https://private-user-images.githubusercontent.com/52996290/314398743-860c0937-a9bf-4e85-97dc-cc2c72bbec5b.png?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3MjA0NjIzNTIsIm5iZiI6MTcyMDQ2MjA1MiwicGF0aCI6Ii81Mjk5NjI5MC8zMTQzOTg3NDMtODYwYzA5MzctYTliZi00ZTg1LTk3ZGMtY2MyYzcyYmJlYzViLnBuZz9YLUFtei1BbGdvcml0aG09QVdTNC1ITUFDLVNIQTI1NiZYLUFtei1DcmVkZW50aWFsPUFLSUFWQ09EWUxTQTUzUFFLNFpBJTJGMjAyNDA3MDglMkZ1cy1lYXN0LTElMkZzMyUyRmF3czRfcmVxdWVzdCZYLUFtei1EYXRlPTIwMjQwNzA4VDE4MDczMlomWC1BbXotRXhwaXJlcz0zMDAmWC1BbXotU2lnbmF0dXJlPTUzYmEzM2JhYzNhMTg4OTU3YjU3ZDVjYjI5MDI4OGRiYzYwZGZkOGY4MjJkNDZhYzAwZDlhZTY0YTk1ZjAwZTImWC1BbXotU2lnbmVkSGVhZGVycz1ob3N0JmFjdG9yX2lkPTAma2V5X2lkPTAmcmVwb19pZD0wIn0.ZcmjDwtQ40vDX6bOHxLj5aZ9LTiHUdiwdPR-SyRlxTw)
点击【添加模型】,选择供应商【 Ollama 】,直接进入下一步填写 Ollama 供应商的大模型表单。
或者左侧供应商先选择【 Ollama 】,然后点击【添加模型】,则直接进入 Ollama 表单。
模型名称: MaxKB 中自定义的模型名称。
模型类型: 大语言模型。
基础模型: 为供应商的 LLM 模型,支持自定义输入,但需要与供应商的模型名称保持一致,系统会自动下载部署模型。
API 域名和 API Key: 为供应商的连接信息(Ollama 服务地址, 如:http://42.92.198.53:11434 )。若没有 API Key 可以输入任意字符。
点击【添加】后 校验通过则添加成功,便可以在应用的 AI 模型列表选择该模型。
![image](https://private-user-images.githubusercontent.com/52996290/321459272-0ef2a2d2-0191-4b93-8745-ac947a1b13bb.png?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3MjA0NjIzNTIsIm5iZiI6MTcyMDQ2MjA1MiwicGF0aCI6Ii81Mjk5NjI5MC8zMjE0NTkyNzItMGVmMmEyZDItMDE5MS00YjkzLTg3NDUtYWM5NDdhMWIxM2JiLnBuZz9YLUFtei1BbGdvcml0aG09QVdTNC1ITUFDLVNIQTI1NiZYLUFtei1DcmVkZW50aWFsPUFLSUFWQ09EWUxTQTUzUFFLNFpBJTJGMjAyNDA3MDglMkZ1cy1lYXN0LTElMkZzMyUyRmF3czRfcmVxdWVzdCZYLUFtei1EYXRlPTIwMjQwNzA4VDE4MDczMlomWC1BbXotRXhwaXJlcz0zMDAmWC1BbXotU2lnbmF0dXJlPWYyNTJmZDQxNDdjNzVlOGY2OWU2NjE2NTNhMTljNDZjNmM4OTllNTc3MzcxMmE5YmRkM2JmNTY1OWUxNjJiYzImWC1BbXotU2lnbmVkSGVhZGVycz1ob3N0JmFjdG9yX2lkPTAma2V5X2lkPTAmcmVwb19pZD0wIn0.1oVy3fYB5UrBxWheudppYBT42fSun0PDAumlvnEE8nk)
在模型管理中,点击供应商【 Azure OpenAI 】,直接进入下一步填写Azure OpenAI 的模型表单。
或者左侧供应商先选择【 Azure OpenAI 】,然后点击【添加模型】,则直接进入 Azure OpenAI 的模型表单。
模型名称: MaxKB 中自定义的模型名称。
模型类型: 大语言模型。
基础模型: 为供应商的 LLM 模型,支持自定义输入和下拉选项,当前可下拉选择的大语言模型如:gpt-3.5-turbo-0613、gpt-3.5-turbo-0301、gpt-3.5-turbo-16k-0613 等。
![image](https://private-user-images.githubusercontent.com/52996290/321459544-6353572e-6b3b-426d-87e5-44039cf14c51.png?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3MjA0NjIzNTIsIm5iZiI6MTcyMDQ2MjA1MiwicGF0aCI6Ii81Mjk5NjI5MC8zMjE0NTk1NDQtNjM1MzU3MmUtNmIzYi00MjZkLTg3ZTUtNDQwMzljZjE0YzUxLnBuZz9YLUFtei1BbGdvcml0aG09QVdTNC1ITUFDLVNIQTI1NiZYLUFtei1DcmVkZW50aWFsPUFLSUFWQ09EWUxTQTUzUFFLNFpBJTJGMjAyNDA3MDglMkZ1cy1lYXN0LTElMkZzMyUyRmF3czRfcmVxdWVzdCZYLUFtei1EYXRlPTIwMjQwNzA4VDE4MDczMlomWC1BbXotRXhwaXJlcz0zMDAmWC1BbXotU2lnbmF0dXJlPTc5NjQ3ZDc5MmFlNTZmOWNhNjVkMzhlMzlmYjE2NmY3NzJiMWFmMWQwOGZmMWNmZGFlZDI3NDc0NDg2ZGM4MjkmWC1BbXotU2lnbmVkSGVhZGVycz1ob3N0JmFjdG9yX2lkPTAma2V5X2lkPTAmcmVwb19pZD0wIn0.-JNRf61biUAc5JLqMpsqcaAQHPBJHyUM3W1wj1lm89w)
API 域名、API Key、部署名称: 是Azure OpenAI 的模型部署中提供的,需要填写一致,参考下图:
在模型管理中,点击供应商【 OpenAI 】,直接进入下一步填写 OpenAI 的模型表单。
或者左侧供应商先选择【 OpenAI 】,然后点击【添加模型】,则直接进入 OpenAI 的模型表单。
模型名称: MaxKB 中自定义的模型名称。
模型类型: 大语言模型。
基础模型: 为供应商的 LLM 模型,支持自定义输入,下拉选项是 OpenAI 常用的一些大语言模型如:gpt-3.5-turbo-0613、gpt-3.5-turbo、gpt-4 等。
API 域名(国外):https://api.openai.com/v1 。
API 域名:国内服务器反向代理地址/v1。
API Key:访问 OpenAI 的 Key。
![image](https://private-user-images.githubusercontent.com/52996290/325449943-5f67e73e-d615-4bb3-9500-215fe20adb7d.png?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3MjA0NjIzNTIsIm5iZiI6MTcyMDQ2MjA1MiwicGF0aCI6Ii81Mjk5NjI5MC8zMjU0NDk5NDMtNWY2N2U3M2UtZDYxNS00YmIzLTk1MDAtMjE1ZmUyMGFkYjdkLnBuZz9YLUFtei1BbGdvcml0aG09QVdTNC1ITUFDLVNIQTI1NiZYLUFtei1DcmVkZW50aWFsPUFLSUFWQ09EWUxTQTUzUFFLNFpBJTJGMjAyNDA3MDglMkZ1cy1lYXN0LTElMkZzMyUyRmF3czRfcmVxdWVzdCZYLUFtei1EYXRlPTIwMjQwNzA4VDE4MDczMlomWC1BbXotRXhwaXJlcz0zMDAmWC1BbXotU2lnbmF0dXJlPWE4MzQ2MDMwMWYzYWRmNTU2MTEwYjMyMDk0ZTI3ODY1ZjEyYmFmYWZlYjIzMmFhODFkMjkzNWYxNjA0MTU0OTEmWC1BbXotU2lnbmVkSGVhZGVycz1ob3N0JmFjdG9yX2lkPTAma2V5X2lkPTAmcmVwb19pZD0wIn0.WEDhkZkKPYnYIxbgM06YWptrtznBE45k3pR9wQYwx78)
在模型管理中,点击供应商【讯飞星火】,直接进入下一步填写讯飞星火的模型表单。
或者左侧供应商先选择【讯飞星火】,然后点击【添加模型】,则直接进入讯飞星火的模型表单。
模型名称: MaxKB 中自定义的模型名称。
模型类型: 大语言模型。
基础模型: 为供应商的 LLM 模型,支持自定义输入,下拉选项是讯飞星火常用的一些大语言模型。
API 域名 V3.5:wss://spark-api.xf-yun.com/v3.5/chat
API 域名 V3:wss://spark-api.xf-yun.com/v3.1/chat
API 域名 V2:wss://spark-api.xf-yun.com/v2.1/chat
API 域名 V1.5:wss://spark-api.xf-yun.com/v1.1/chat
APP ID、API Key、Secret Key 需要现在讯飞星火开放平台创建应用,并该应该的剩余tokens>0,才能添加成功。
![image](https://private-user-images.githubusercontent.com/52996290/324676446-19967bb2-fb17-4187-a486-0a85a26847ec.png?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3MjA0NjIzNTIsIm5iZiI6MTcyMDQ2MjA1MiwicGF0aCI6Ii81Mjk5NjI5MC8zMjQ2NzY0NDYtMTk5NjdiYjItZmIxNy00MTg3LWE0ODYtMGE4NWEyNjg0N2VjLnBuZz9YLUFtei1BbGdvcml0aG09QVdTNC1ITUFDLVNIQTI1NiZYLUFtei1DcmVkZW50aWFsPUFLSUFWQ09EWUxTQTUzUFFLNFpBJTJGMjAyNDA3MDglMkZ1cy1lYXN0LTElMkZzMyUyRmF3czRfcmVxdWVzdCZYLUFtei1EYXRlPTIwMjQwNzA4VDE4MDczMlomWC1BbXotRXhwaXJlcz0zMDAmWC1BbXotU2lnbmF0dXJlPTFmOGE5ODRiNjRlOWJkZTJlZDk1MWU0Y2Y0MmQwYjM2NDdlODVjZWFhNDM0YWE1YmZlNzg3MDU0M2I4ZTAzZTMmWC1BbXotU2lnbmVkSGVhZGVycz1ob3N0JmFjdG9yX2lkPTAma2V5X2lkPTAmcmVwb19pZD0wIn0._cEwdJQ5tywPPl6dDj613Onx3VRSV9oMuIpI4Zh3TGk)
![image](https://private-user-images.githubusercontent.com/52996290/324675964-2e884488-87e1-4d28-9312-0fd9a7a3d316.png?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3MjA0NjIzNTIsIm5iZiI6MTcyMDQ2MjA1MiwicGF0aCI6Ii81Mjk5NjI5MC8zMjQ2NzU5NjQtMmU4ODQ0ODgtODdlMS00ZDI4LTkzMTItMGZkOWE3YTNkMzE2LnBuZz9YLUFtei1BbGdvcml0aG09QVdTNC1ITUFDLVNIQTI1NiZYLUFtei1DcmVkZW50aWFsPUFLSUFWQ09EWUxTQTUzUFFLNFpBJTJGMjAyNDA3MDglMkZ1cy1lYXN0LTElMkZzMyUyRmF3czRfcmVxdWVzdCZYLUFtei1EYXRlPTIwMjQwNzA4VDE4MDczMlomWC1BbXotRXhwaXJlcz0zMDAmWC1BbXotU2lnbmF0dXJlPTZjMzUzNjg3ZGRjODEyMjhkODQ3MTZhNzI4YWQ0ZTY5ZjFiNzQxYTE5OWViYTM0ZTk2NzY3Yzc4YjRkMGVlM2MmWC1BbXotU2lnbmVkSGVhZGVycz1ob3N0JmFjdG9yX2lkPTAma2V5X2lkPTAmcmVwb19pZD0wIn0.Bx82w3xKRll3l6VYV2TqZY8Y5NACn559dXHOVw8oVHI)