在启动脚本(例如 webui.py 或 launch.py)时添加参数

openclaw openclaw中文博客 1

由于“AI小龙虾”并非一个官方固定名称,我将为您提供一套 通用且详细的指南,适用于大多数基于 Transformers 库、OllamaLM Studiotext-generation-webui 等框架运行的开源大模型项目。

在启动脚本(例如 webui.py 或 launch.py)时添加参数-第1张图片-OpenClaw 中文版 - 真正能做事的 AI

您可以根据您实际使用的工具,选择对应的部分进行操作。


核心思路

修改路径通常涉及两个关键位置:

  1. 模型文件存储路径:存放下载的模型权重文件(.bin, .safetensors等)和配置文件的位置。
  2. 项目运行时的模型加载路径:在代码、命令行参数或配置文件中指定从何处读取模型文件。

通用方法:通过环境变量修改(推荐)

这是最灵活且跨平台的方法,许多AI工具都支持。

  1. 设置环境变量

    • Windows (PowerShell/CMD)
      # 设置一个名为 MODEL_PATH 的环境变量(用户级)
      # 你想把模型都放到 D:\LLM_Models

      或者在CMD中:

      setx MODEL_PATH "D:\LLM_Models"
    • Linux/macOS (bash/zsh)
      # 将下面这行添加到你的 ~/.bashrc 或 ~/.zshrc 文件末尾
      export MODEL_PATH="/home/username/LLM_Models"
      # 然后使配置生效
      source ~/.bashrc
  2. 在代码或工具中使用该路径

    • 在Python (使用Transformers库) 中

      import os
      from transformers import AutoModelForCausalLM, AutoTokenizer
      model_name = "deepseek-ai/deepseek-coder-6.7b-instruct"
      # 从环境变量读取路径,如果没设置则使用默认的 ~/.cache/huggingface/hub
      cache_dir = os.getenv("MODEL_PATH") or None
      model = AutoModelForCausalLM.from_pretrained(
          model_name,
          cache_dir=cache_dir,  # 指定下载和加载的目录
          device_map="auto"
      )
      tokenizer = AutoTokenizer.from_pretrained(model_name, cache_dir=cache_dir)
    • 在命令行工具中:许多工具支持 --model-dir 或类似的参数。

      python your_script.py --model-path $MODEL_PATH/deepseek-coder-6.7b

针对不同具体工具的路径修改方法

使用 Hugging Face Transformers 库

这是最直接使用DeepSeek官方模型的方式。

  • 修改默认缓存目录:如上所示,最推荐使用 cache_dir 参数。

  • 一劳永逸的方法:直接设置HF的环境变量。

    # Windows
    setx HF_HOME "D:\HuggingFace"
    # Linux/macOS
    export HF_HOME="/path/to/your/huggingface"
    # 同样添加到 ~/.bashrc 中

    设置 HF_HOME 后,所有通过Hugging Face工具下载的模型、数据集都会存储在这个目录下。

使用 Ollama

Ollama 本身管理模型,修改其存储路径需要修改其根目录。

  • Windows
    1. 停止 Ollama 服务(在系统托盘右键点击退出)。
    2. 打开“系统属性” -> “高级” -> “环境变量”。
    3. 新建一个系统变量,变量名 OLLAMA_MODELS,变量值设为你的目标路径,D:\Ollama_Models
    4. 重启电脑或重启Ollama服务,之后拉取的模型都会存储在新路径。
  • Linux/macOS
    1. 停止 Ollama 服务:sudo systemctl stop ollama (Linux) 或 ollama serve 进程。
    2. 设置环境变量:export OLLAMA_MODELS="/new/path/for/models"
    3. 重启服务:sudo systemctl start ollama

使用 LM Studio

LM Studio 提供了图形化界面来修改路径。

  1. 打开 LM Studio。
  2. 点击左侧的 设置(齿轮图标)。
  3. General 选项卡下,找到 “Models”“Downloads” 部分。
  4. 你会看到一个输入框,让你设置 “Download path”“Models cache directory”,将其修改为你想要的路径(E:\LM_Studio\Models)。
  5. 重启 LM Studio 使其生效。

使用 text-generation-webui (oobabooga)

在启动时通过命令行参数指定。


或者,你可以在 models/ 目录下直接创建软链接(Linux/macOS)或目录联结(Windows)指向你的实际模型存储位置。


直接移动已下载的模型文件

如果你已经下载了模型,想移动到新位置:

  1. 找到当前模型位置
    • Transformers:通常在 ~/.cache/huggingface/hub%USERPROFILE%\.cache\huggingface\hub
    • 查看具体模型的 snapshot 目录。
  2. 复制整个模型文件夹(包含 config.json, model.safetensors, tokenizer.json 等所有文件)到你的新路径(如 D:\MyModels\deepseek-coder-6.7b)。
  3. 在代码中,直接加载本地路径
    model = AutoModelForCausalLM.from_pretrained("D:/MyModels/deepseek-coder-6.7b")

注意事项

  • 路径格式:Windows路径使用反斜杠 ,但在Python字符串和大多数配置文件中,最好使用正斜杠 或双反斜杠 以避免转义问题。
  • 权限:确保你的应用程序有对新路径的读写权限。
  • 配置文件:一些封装好的“AI小龙虾”桌面应用可能有自己的配置文件(如 config.yaml, settings.json),在里面寻找 model_path, model_dir 等键值进行修改。

总结步骤

  1. 明确你用什么工具:Transformers, Ollama, LM Studio 还是其他?
  2. 确定修改方式:是环境变量、启动参数、还是图形界面设置?
  3. 定位并修改:找到对应的配置点进行修改。
  4. 重启服务/应用:使更改生效。
  5. 验证:下载一个小模型或加载现有模型,确认文件是否存储/读取自新路径。

请根据您使用的具体工具,选择上述对应的方案进行操作,如果遇到问题,提供更具体的工具名称或错误信息,可以获得更精准的帮助。

抱歉,评论功能暂时关闭!