Qwen-Web:

一款在本地浏览器运行 Qwen3-0.6b 大语言模型项目,零安装、无日志记录和无数据

图片

在线 Demo:

https://qwen-web.sdan.io

安装

Docker Compose

1
2
3
4
5
6
7
services:
qwen-web:
image: heizicao/qwen-web:latest
container_name: qwen-web
ports:
- 8443:443
restart: always

使用

浏览器中输入 https://NAS的IP:8443 就能看到界面,注意是 HTTPS 协议

图片

TIP:如果显示部署私密连接,选择继续访问即可

图片

每次打开网页访问,都需要先加载 Qwen3-0.6b 的模型

图片

顶部栏可以切换颜色主题

图片

背景加网格效果

图片

输入文字回车确认,能看到就有回复了

图片

上面能看到回复速度为 14.93TPS,因为有显示思考过程,所以感觉速度还能接受

图片

左边内置了几个角色,可以选中进行聊天

图片

网页聊天,模型是调用设备 GPU 进行计算的

图片

总结

这个项目还是挺有意思的,在浏览器就可以运行 Qwen3 的大语言模型。它通过 WebGPU 技术,实现网页调用设备 GPU 进行计算和渲染。不过目前该项目 PC 界面适配不太好,而且运行模型有时候会有 BUG(卡住,回复英文)。但是个人觉得还是挺好玩的,运行模型的同时,也可以测试设备 GPU 性能表现。