最近,Qwen 2.5已经发布了,我已经写了一篇关于他的文章,但我们还没有在真正的编程环境中测试它。所以今天,我将向你展示如何将Qwen 2.5与Aider、Claude Dev、Continue 一起使用,并且我们将进行一些编程测试,看看它的表现如何。
在我们开始之前,我们需要决定使用什么模型,因为有很多可用的模型。
最好的选择是Qwen 2.5的72B模型,因为这是可用的最大模型,击败了llama3.1 405B,所以我们可以把这个模型作为主要的模型,与Claude Dev、Continue 和Aider一起使用。
除此之外,对于简单的聊天和代码交互,我们可以本地使用7B编码器模型,而对于自动补全功能,我们也可以使用新的1.5B编码器模型。
不过,如果你想试试,我会向你展示如何配置,并且我们也会看看Qwen 2.5的自动补全能力。
我们可以轻松地在本地托管7B和1.5B模型,但我们无法在本地托管72B模型,因此我们需要选择一个提供商。有多个提供商提供免费积分和使用权限,例如Together AI,但他们还没有添加新的Qwen模型。
因此,我将使用Hyperbolic,它已经提供了新的72B模型,并且提供了10美元的免费积分。
尽管推理速度较慢,因为它使用的是BF16变体(即未量化的模型),这通常能提供更好的结果。无论如何,我们将使用它,并且你也可以免费跟随进行操作。
让我们开始吧!首先,从Continue开始。前往VS Code,在扩展中搜索Continue,找到后安装它。安装完成后,我们需要进行设置。
在此之前,先前往Hyperbolic创建一个API密钥。复制并妥善保存,因为稍后我们会用到它。
完成后,回到Continue Dev,点击“添加”按钮,然后选择OpenAI兼容选项。
输入Hyperbolic的基本URL,
随便选择一个模型添加,
但我们需要Qwen模型,还需要输入API密钥。
为此,点击“设置”选项,打开此文件,在这里输入API密钥,并将模型名称更改为Qwen 2.5。
完成后,保存设置,现在我们相当于在Continue中添加了一个
Qwen 2.5 72B的基础模型可用于和Continue进行聊天、生成代码、应用更改和重构代码等待操作。当然Continue的代码补全可以设立单独的模型,我推荐使用SuperMaven,
因为它免费且快速,但如果你想让补全功能在本地运行,我们可以使用新的Qwen 2.5 coder:1.5B模型来配置,教你如下操作:
Ollama拉取qwen 2.5:1.5B
你可以看到它运行得非常好,效果也不错。这是一个基本的Copilot设置。你可以使用更大的72B模型或7B编码器模型进行聊天,并使用1.5B模型进行自动补全。
上面是Continue中的配置,现在介绍Claude Dev中如何运行qwen 2.5:72B(这两个插件常常协作使用)
现在,我将使用Hyperbolic端点,所以选择OpenAI兼容选项,但你也可以选择ollama本地选项。
选择API端点、API密钥和模型名称。完成后,点击“完成”按钮并保存。现在我们可以开始使用它了。
让我通过创建一个简单的Todo应用来展示。我们让它生成一个简单的HTML、CSS和JS的Todo应用程序。你可以看到它正在生成代码,现在我们等待一下。
生成的页面运行得很好。这很棒,虽然不如Claude,但可用,而且Hyperbolic有免费的积分,所以你可以免费发送大量请求。
现在我们介绍第三个工具:Aider(Aider+Claude Dev+Continue这三个常常协作使用)。首先运行命令`pip install aider-chat`进行安装。
完成后,我们可以使用它了,不过还需要配置Hyperbolic。通过添加环境变量来更改OpenAI的基本URL,并添加API密钥作为另一个环境变量。一切设置好后,
使用这些参数启动Aider,它将与Hyperbolic一起运行。如果你想使用本地模型,启动时指定模型名称即可。
现在让我们要求它制作一个简单的扫雷游戏,使用HTML、CSS和JS。发送请求后,它开始工作了。稍等一下。
让我们运行一下。好,游戏运行正常,效果很好。
所有的工具在Qwen上都运行得不错,基本没有问题。虽然不如Claude那样功能全面,但这已经很好了。你可以使用它与Aider和Claude Dev生成一些非常不错的东西。而且,通过Hyperbolic访问是免费的。
总的来说,这是一个很棒的设置。你可以试试,让我知道是否对你有效。非常酷!
暂无评论内容