经过较长一段时间的发展,AI技术(大模型)已经较为成熟,尤其是在编写代码的领域。
在这个领域,有很多优秀的模型,它们不仅可以做到在线编写、修改、测试,还支持本地部署。
在EDA领域,本地部署是一个很重要的内容,这是一种保证数据安全的常规手段,但是本地部署的大模型又如何进行使用呢?
通过一段时间的摸索和测试,我们总结了几个比较好用的插件,当然,是针对vscode或者pycharm。
1、Continue
2、Cline
本文主要讲解一下Continue的一些探索过程
一、安装
这个不多说了,建议大家用到最新版的vscode+最新版的的continue,当然,最低也要RHEL8以上的操作系统才可以正常使用,否则会报GLIBC的版本问题。
在安装插件的时候,要用如下命令安装,这样安装后的插件就是全局插件
code --install-extension "插件名.vsix" --extensions-dir "xxxx/code/resources/app/extensions"
二、配置
Continue的配置有点麻烦,尤其是针对本地模型。真是网上很多教程也不对。
那么废话不多说,下面给出一个较为简单的配置模板。您可以通过修改配置文件实现
vim ~/.continue/config.yaml
name: Local Agent
version: 1.0.0
schema: v1
models:
- name: Qwen 3 Coder 32b
provider: vllm
model: /xxx/Qwen3-Coder
apiBase: http://x.x.x.x:8000/v1/
apiKey: fasteda
下面来说明下
前三行不用动
在models配置项中:
name:在continue的显示中的agent的名字
provider:就是你使用的接口,是ollama还是vllm还是其他的
model: 就是你的模型了
apiBase:模型API地址,注意大小写
apiKey:连接的key,注意大小写
三、全局
相信很多人都想解决这个全局的问题,毕竟不想一个人一个人的去配置。
本文列出三种方法,仅供参考
1、采购企业版,企业版支持remote server url功能,可以实现全局配置
2、通过对continue的脚本的解读,我们发现了一个环境变量
CONTINUE_GLOBAL_DIR
可以通过设置这个环境变量来实现全局配置
注意:全局配置的目录,必须是777,否则continue不可用
例如
setenv CONTINUE_GLOBAL_DIR /soft/vscode/continue
chmod -R 777 /soft/vscode/continue
3、修改vscode启动脚本,请将PATH指向vscode的bin目录,不要用vscode目录的code命令启动
修改vscode文件夹中bin目录下的code,拉到最后
ELECTRON="$VSCODE_PATH/code"
CLI="$VSCODE_PATH/resources/app/out/cli.js"
ELECTRON_RUN_AS_NODE=1 "$ELECTRON" "$CLI" "$@"
exit $?
在exit上面添加一些内容后,变成如下:
ELECTRON="$VSCODE_PATH/code"
CLI="$VSCODE_PATH/resources/app/out/cli.js"
ELECTRON_RUN_AS_NODE=1 "$ELECTRON" "$CLI" "$@"
if [ ! -d ~/.continue ]; then
mkdir ~/.continue
cp -f /soft/vscode/continue/config.yaml ~/.continue/
fi
exit $?
切记,这个/soft/vscode/continue/config.yaml 是你已经配置好的模型。
搞定,以上就是最近折腾和探索的内容!~
网友留言: