使用2张3090跑不起来，能说明一下最低的启动显卡配置么？

[LiuJinGH]

使用2张3090跑不起来，能说明一下最低的启动显卡配置么？

[BlueZeros]

7b的模型半精度应该是一张3090就可以跑起来的

[LiuJinGH]

可实际情况下，2张3090都跑不起来。而且你去HF看看，这个model有32G，哪个7B的有30多G。

[HougeLangley]

可实际情况下，2张3090都跑不起来。而且你去HF看看，这个model有32G，哪个7B的有30多G。

朋友的 3090 是多少G的显存？

[LiuJinGH]

3090是24G显示，你那边是用怎么样的配置跑起来的呢？

[BlueZeros]

3090是24G显示，你那边是用怎么样的配置跑起来的呢？

我看了一下，应该是下面这段代码load模型时候错误设置了全精度，修改成float16即可，huggingface上的模型大小异常也是这个问题，后面会修复这个问题。

MING/fastchat/serve/inference.py

Line 57 in 089479a

kwargs = {"torch_dtype": torch.float32}

[HougeLangley]

3090是24G显示，你那边是用怎么样的配置跑起来的呢？

我这边也没有跑起来，我更惨，我的才8G，准备魔改称16G

[williamsnow]

3090是24G显示，你那边是用怎么样的配置跑起来的呢？

我这边也没有跑起来，我更惨，我的才8G，准备魔改称16G

16G也难，我的16G，可分配出来的是15.33G，跑7B需要分配15.63G，然后就报错了

[HougeLangley]

各位朋友， @williamsnow @LiuJinGH @BlueZeros @chaoqinhuang 不知道大家的问题是否得到解决。我本身是从事医疗行业工作的，我是昆明市儿童医院呼吸与危重症科的医生，目前在门诊工作，平时爱好折腾 Linux ，参与 RISCV 和 LoongArch（龙芯）的测试系统构建。

这段时间有一个 Ollama 的项目，旨在大语言模型在本地运行，最近我试了下 MING 这个医疗模型，首先需要将模型转换和导入到 ollama 中，在我本地 RTX4060 （8G的显存）上，操作系统是 Archlinux 是可以正常跑起来了，但是不知道是不是我的 prompt 写的不好，并不是准确，有时候提问或者交流会返回空的答案。如果各位有兴趣可以去折腾下。

地址：https://github.com/ollama/ollama
相关转换模型和导入的方法：https://github.com/ollama/ollama/blob/main/docs/import.md

[BlueZeros]

各位朋友， @williamsnow @LiuJinGH @BlueZeros @chaoqinhuang 不知道大家的问题是否得到解决。我本身是从事医疗行业工作的，我是昆明市儿童医院呼吸与危重症科的医生，目前在门诊工作，平时爱好折腾 Linux ，参与 RISCV 和 LoongArch（龙芯）的测试系统构建。

这段时间有一个 Ollama 的项目，旨在大语言模型在本地运行，最近我试了下 MING 这个医疗模型，首先需要将模型转换和导入到 ollama 中，在我本地 RTX4060 （8G的显存）上，操作系统是 Archlinux 是可以正常跑起来了，但是不知道是不是我的 prompt 写的不好，并不是准确，有时候提问或者交流会返回空的答案。如果各位有兴趣可以去折腾下。

地址：https://github.com/ollama/ollama 相关转换模型和导入的方法：https://github.com/ollama/ollama/blob/main/docs/import.md

感谢您对本项目的关注。现有的MING-7B在开发时是交由医生体验给出评价和反馈来改进的，因此主要考虑了模型的对话交互的能力。这导致了可能MING-7B不能很好的按照prompt的要求进行输出，同时由于底座为Bloomz-7b，因此其医疗知识水平并不强。不过我们很快会更新出新一版的的MING，其指令跟随能力与医疗知识相比于现有的MING-7B会有很大的提升。

[HougeLangley]

各位朋友， @williamsnow @LiuJinGH @BlueZeros @chaoqinhuang 不知道大家的问题是否得到解决。我本身是从事医疗行业工作的，我是昆明市儿童医院呼吸与危重症科的医生，目前在门诊工作，平时爱好折腾 Linux ，参与 RISCV 和 LoongArch（龙芯）的测试系统构建。
这段时间有一个 Ollama 的项目，旨在大语言模型在本地运行，最近我试了下 MING 这个医疗模型，首先需要将模型转换和导入到 ollama 中，在我本地 RTX4060 （8G的显存）上，操作系统是 Archlinux 是可以正常跑起来了，但是不知道是不是我的 prompt 写的不好，并不是准确，有时候提问或者交流会返回空的答案。如果各位有兴趣可以去折腾下。
地址：https://github.com/ollama/ollama 相关转换模型和导入的方法：https://github.com/ollama/ollama/blob/main/docs/import.md

感谢您对本项目的关注。现有的MING-7B在开发时是交由医生体验给出评价和反馈来改进的，因此主要考虑了模型的对话交互的能力。这导致了可能MING-7B不能很好的按照prompt的要求进行输出，同时由于底座为Bloomz-7b，因此其医疗知识水平并不强。不过我们很快会更新出新一版的的MING，其指令跟随能力与医疗知识相比于现有的MING-7B会有很大的提升。

非常感谢，我过两天正好我想用 RISCV 试试 ollama，如果一切顺利，我估计能追上朋友的进度。