WSAI-Heart-Pro 正式版发布

WSAI-Heart-Pro 实验版发布后，我又花了一些时间调整训练超参数，现在正式版可以发布了。

和 Pro-Exp 的区别

Pro 正式版和实验版使用相同的基座模型（Qwen3.5-2B-Base）和 LoRA 层数（16 层），主要区别在于训练超参数的优化。调整后的模型在回复稳定性和对话质量上比实验版有所改善。

三个版本的对比

对比项 WSAI-Heart Pro-Exp Pro
基座模型 Qwen3.5-0.8B-Base Qwen3.5-2B-Base Qwen3.5-2B-Base
参数量 ~0.8B ~2B ~2B
LoRA 层数 2 层 16 层 16 层
模型大小 ~1.6GB ~4.2GB ~4.2GB
超参数 - 初版 优化后
定位 入门版 实验版 正式版

训练过程

和 Pro-Exp 一样，使用 LlamaFactory 框架，全精度 LoRA，心理类对话数据集。16 层 LoRA 覆盖，训练耗时约 5 天多。在 Pro-Exp 的基础上调整了超参数后重新训练。

特点

回复更稳定

相比 Pro-Exp，正式版在相同输入下的输出波动更小，回复质量更加一致。

端侧部署

模型文件约 4.2GB，大多数个人设备可以运行。完全本地运行，不需要联网。

多模态能力

保留了 Qwen3.5 的视觉理解能力，支持图像输入，微调时冻结了 VLM 部分。

免费开源

CC BY-NC-SA 4.0 许可证，免费使用和分享。

快速开始

Ollama

1
2
ollama pull wangshen/wsai-heart-pro
ollama run wangshen/wsai-heart-pro

Transformers

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
from transformers import AutoModelForCausalLM, AutoTokenizer

model_path = "./"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, torch_dtype="auto", device_map="auto")

messages = [
    {"role": "system", "content": "你是一个温暖、有共情能力的心理支持助手。"},
    {"role": "user", "content": "我最近心情不太好，感觉压力很大。"}
]

text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(text, return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=512)
response = tokenizer.decode(outputs[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True)
print(response)

说明

本模型不能替代专业心理咨询或医疗建议，仅供学习和参考。

致谢