Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

完全使用本地大模型测试通过 请大家鉴定翻译质量 #202

Open
lonrencn opened this issue Oct 27, 2024 · 15 comments
Open

完全使用本地大模型测试通过 请大家鉴定翻译质量 #202

lonrencn opened this issue Oct 27, 2024 · 15 comments
Labels
use case cool demo by users

Comments

@lonrencn
Copy link

lonrencn commented Oct 27, 2024

平台:ubuntu 24.04 2080TI 22G * 4 2680 v4 128G
用本地模型跑了个视频教程
使用videolingo平台完全使用本地大模型跑出来的videolingo+whisperX+ollama(qwen2.5b:32b)+GPT-sovite没花一分钱。

###【为什么要在今天选择FastAPI Why You Should Learn FastAPI Today】

完全用平台跑出来的,没有手动干预

https://www.bilibili.com/video/BV17Y1aY6EqW/?share_source=copy_web&vd_source=d18a1b9b1a29f564f229a4ed747cfd34

###【怎样用Python建立 RESTful : How to build modern RESTful APIs with Python】

下载1080平台提示格式不支持,但是下载的.mkv文件是正常的,然后用360p文件跑出来,用mkvtoolnix进行组装

https://www.bilibili.com/video/BV1mX1aYdEow/?share_source=copy_web&vd_source=d18a1b9b1a29f564f229a4ed747cfd34

下载1080平台提示格式不支持,但是下载的.mkv文件是正常的,然后用360p文件跑出来,用mkvtoolnix进行组装

【怎么让Fastapi连接数据库 Python FastAPI Tutorial: How to Connect FastAPI to Database】 https://www.bilibili.com/video/BV1mX1aYdEQX/?share_source=copy_web&vd_source=d18a1b9b1a29f564f229a4ed747cfd34

上传用的mkv是有字幕的,b站转格式把字幕丢了

完全用平台跑出来的,没有手动干预,下载1080没有提示格式不支持。
【fastapi与mongodb 的连接 Unlocking the Power of NoSQL_ FastAPI with MongoDB0】 https://www.bilibili.com/video/BV1yf1uYWEmY/?share_source=copy_web&vd_source=d18a1b9b1a29f564f229a4ed747cfd34

qwen2:7b跑不通

喜大普奔啊,我把整个专集的32个视频教程全部跑了一遍,大家可以品鉴尝试了。
自认为效果非常好,这种有判断优化的机制太棒了,比其它的机械翻译工具强的不是一星半点。

@assassinliujie
Copy link

本来唯一要付钱的语言大模型就可以换啊(
无非是效果差距罢了。
倒是希望有个专门特化的小模型能拿来用

@Huanshere
Copy link
Owner

对于某些复杂的场景需要大量的切句和对齐,目前测试下来只有claude能稳定思考并且输出合理的切句

@lonrencn
Copy link
Author

lonrencn commented Oct 27, 2024

对于某些复杂的场景需要大量的切句和对齐,目前测试下来只有claude能稳定思考并且输出合理的切句

英语不过关,实在看不出来切句有没有问题,只是能不能跑通,不完美的地方是语速处理的问题,和专业术语的念法。
如果有样本需要测试,可以发过来,跑一下试试。

@lonrencn lonrencn changed the title 完全使用本地大模型测试通过 完全使用本地大模型测试通过 请大家鉴定翻译质量 Oct 27, 2024
@colin4k
Copy link

colin4k commented Oct 28, 2024

我也试了本地运行qwen2.5b:32b,还是会经常出一些 json 相关的问题,如果是 72b 就基本正常了

@lonrencn
Copy link
Author

我也试了本地运行qwen2.5b:32b,还是会经常出一些 json 相关的问题,如果是 72b 就基本正常了

出错是概率问题,不是保证哪个模型一定不出错,就是claude我感觉也是会出错的,关键是你要会修复错误。刚刚又跑了一个限制级的动作片1个多小时,全片一直保持大量口语对话,出了两处错误,能看懂代码,很容易就能修复,手动改一下就没事了。
如果不会修复,就只能点只香,重新跑。

@Huanshere Huanshere added the use case cool demo by users label Oct 30, 2024
@ktmswzw
Copy link

ktmswzw commented Nov 4, 2024

试过换语音吗?

@lonrencn
Copy link
Author

lonrencn commented Nov 4, 2024

试过换语音吗?

不明白什么意思,你是想要重新换一个配音员吗?

@AlwaysBusyLzc
Copy link

请问你跑 qwen 2.5:32b 本地用的什么显卡

@lonrencn
Copy link
Author

lonrencn commented Nov 15, 2024 via email

@colin4k
Copy link

colin4k commented Nov 15, 2024

请问你跑 qwen 2.5:32b 本地用的什么显卡

我用的 macbook pro/m2 max/96g ram,用 ollama 跑的

@colin4k
Copy link

colin4k commented Nov 15, 2024

实际 72b 都跑得起来,不过就会比较慢,32b 的速度相对能接受一些

@lonrencn
Copy link
Author

lonrencn commented Nov 15, 2024 via email

@ImJoyed
Copy link

ImJoyed commented Nov 27, 2024

我用docker安装的,不知道为什么无法访问主机的ollama,在容器里边执行curl http://host.docker.internal:11434 返回的是空
容器能够正常使用host.docker.internal域名,可以访问主机的proxy
主机的ollama也已经设置了绑定0.0.0.0和跨域了,并且别的机子也能通过ip访问ollama

@lonrencn
Copy link
Author

我用docker安装的,不知道为什么无法访问主机的ollama,在容器里边执行curl http://host.docker.internal:11434 返回的是空 容器能够正常使用host.docker.internal域名,可以访问主机的proxy 主机的ollama也已经设置了绑定0.0.0.0和跨域了,并且别的机子也能通过ip访问ollama

网络配置问题,用的是docker的网络,要么把ollama改成0.0.0.0,接受广域网访问,要么把docker里的网络改成host模式。

@ImJoyed
Copy link

ImJoyed commented Nov 27, 2024

我用docker安装的,不知道为什么无法访问主机的ollama,在容器里边执行curl http://host.docker.internal:11434 返回的是空 容器能够正常使用host.docker.internal域名,可以访问主机的proxy 主机的ollama也已经设置了绑定0.0.0.0和跨域了,并且别的机子也能通过ip访问ollama

网络配置问题,用的是docker的网络,要么把ollama改成0.0.0.0,接受广域网访问,要么把docker里的网络改成host模式。

ollama已经设置了0.0.0.0了,局域网其它机子可以访问,就是容器里边无法访问

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
use case cool demo by users
Projects
None yet
Development

No branches or pull requests

7 participants