16G 显存跑出旗舰级：把 Qwen3.8-27B 搬回家，5060 Ti 本地部署实战

powershell -ExecutionPolicy Bypass -File .\Install-Qwen38-Windows11.ps1

powershell -ExecutionPolicy Bypass -File .\Install-Qwen38-Windows11.ps1 -Install

param(
    [switch]$Install,                 # 不加此开关 = 只预演
    [string]$Quant  = "UD-IQ3_S",     # 5060 Ti 16G 推荐; 可改 UD-Q4_K_M
    [string]$Root   = "$HOME\qwen38-27b",
    [string]$HfBase = "https://huggingface.co",
    [switch]$WithVision               # 需要看图能力时加上
)

$ErrorActionPreference = "Stop"
$Repo      = "unsloth/Qwen3.8-27B-GGUF"
$ModelFile = "Qwen3.8-27B-$Quant.gguf"
$DryRun    = -not $Install

Write-Host "[*] Mode: $(if ($DryRun) { 'DRY-RUN (只打印计划)' } else { 'INSTALL' })"

# 1) 环境检测
$nvsmi = Get-Command nvidia-smi -ErrorAction SilentlyContinue
if ($nvsmi) {
    & nvidia-smi --query-gpu=name,memory.total --format=csv,noheader |
        ForEach-Object { Write-Host "[*] GPU: $_" }
} else {
    Write-Warning "未找到 nvidia-smi,请确认已安装 NVIDIA 驱动。"
}

# 2) 取 llama.cpp 最新 release 版本号
$rel  = Invoke-RestMethod "https://api.github.com/repos/ggml-org/llama.cpp/releases/latest"
$tag  = $rel.tag_name
$base = "https://github.com/ggml-org/llama.cpp/releases/download/$tag"
$zip    = "llama-$tag-bin-win-cuda-13.3-x64.zip"
$cudart = "cudart-llama-bin-win-cuda-13.3-x64.zip"
Write-Host "[*] llama.cpp: $tag"

if ($DryRun) {
    Write-Host "[计划] 下载 $base/$zip 与 $cudart 到 $Root\bin"
    Write-Host "[计划] 下载模型 $ModelFile 到 $Root\models (约 12GB, 支持断点续传)"
    Write-Host "[计划] 生成启动脚本 $Root\run-qwen38.ps1 并做一次生成自测"
    Write-Host "[*] 预演结束。确认无误后加 -Install 重跑。"
    exit 0
}

# 3) 安装 llama.cpp (CUDA 预编译包 + CUDA 运行时)
New-Item -ItemType Directory -Force -Path "$Root\bin", "$Root\models" | Out-Null
Invoke-WebRequest "$base/$zip"    -OutFile "$Root\$zip"
Invoke-WebRequest "$base/$cudart" -OutFile "$Root\$cudart"
Expand-Archive "$Root\$zip"    -DestinationPath "$Root\bin" -Force
Expand-Archive "$Root\$cudart" -DestinationPath "$Root\bin" -Force

# 4) 下载模型 (curl.exe 支持断点续传 -C -)
& curl.exe -L -C - -o "$Root\models\$ModelFile" "$HfBase/$Repo/resolve/main/$ModelFile"
if ($WithVision) {
    & curl.exe -L -C - -o "$Root\models\mmproj-F16.gguf" "$HfBase/$Repo/resolve/main/mmproj-F16.gguf"
}

# 5) 生成启动脚本
$lines = @('$ErrorActionPreference = "Stop"')
$lines += ('$Model = "' + "$Root\models\$ModelFile" + '"')
if ($WithVision) { $lines += ('$Mmproj = "' + "$Root\models\mmproj-F16.gguf" + '"') }
$visionArg = if ($WithVision) { '--mmproj $Mmproj ' } else { '' }
$lines += ('& "' + "$Root" + '\bin\llama-server.exe" --model $Model ' + $visionArg + '--n-gpu-layers 99 --ctx-size 8192 --cache-type-k q8_0 --cache-type-v q8_0 --host localhost --port 8080')
Set-Content -LiteralPath "$Root\run-qwen38.ps1" -Value $lines -Encoding UTF8

# 6) 自测: 用 llama-cli 生成 64 个 token, 末尾会打印速度
& "$Root\bin\llama-cli.exe" --model "$Root\models\$ModelFile" `
    --n-gpu-layers 99 --ctx-size 4096 `
    -p "用一句话介绍上海" -n 64 --no-conversation

Write-Host "[√] 完成。以后启动服务: powershell -File $Root\run-qwen38.ps1"
Write-Host "    然后浏览器打开 http://localhost:8080 即可聊天。"

bash install-qwen38-ubuntu2604.sh

bash install-qwen38-ubuntu2604.sh --install

#!/usr/bin/env bash
set -euo pipefail

INSTALL=0
QUANT="UD-IQ3_S"           # 5060 Ti 16G 推荐; 可改 UD-Q4_K_M
ROOT="$HOME/qwen38-27b"
HF_BASE="https://huggingface.co"
WITH_VISION=0

while [[ $# -gt 0 ]]; do
  case "$1" in
    --install)     INSTALL=1 ;;
    --quant)       QUANT="$2"; shift ;;
    --with-vision) WITH_VISION=1 ;;
    *) echo "未知参数: $1" >&2; exit 2 ;;
  esac
  shift
done

REPO="unsloth/Qwen3.8-27B-GGUF"
MODEL_FILE="Qwen3.8-27B-${QUANT}.gguf"

echo "[*] Mode: $([[ $INSTALL -eq 1 ]] && echo INSTALL || echo 'DRY-RUN (只打印计划)')"

# 1) 环境检测
if command -v nvidia-smi >/dev/null; then
  nvidia-smi --query-gpu=name,memory.total --format=csv,noheader | sed 's/^/[*] GPU: /'
else
  echo "[!] 未找到 nvidia-smi,请先安装 NVIDIA 闭源驱动(自带 Vulkan 支持)。" >&2
fi

# 2) 取 llama.cpp 最新版本号
TAG=$(curl -fsSL "https://api.github.com/repos/ggml-org/llama.cpp/releases/latest" \
      | grep -m1 '"tag_name"' | cut -d'"' -f4)
PKG="llama-${TAG}-bin-ubuntu-vulkan-x64.tar.gz"
BASE="https://github.com/ggml-org/llama.cpp/releases/download/${TAG}"
echo "[*] llama.cpp: ${TAG} (vulkan 预编译包)"

if [[ $INSTALL -eq 0 ]]; then
  echo "[计划] 下载 ${BASE}/${PKG} 解压到 ${ROOT}/bin"
  echo "[计划] 下载模型 ${MODEL_FILE} 到 ${ROOT}/models (约 12GB, 断点续传)"
  echo "[计划] 生成启动脚本 ${ROOT}/run-qwen38.sh 并做一次生成自测"
  echo "[*] 预演结束。确认无误后加 --install 重跑。"
  exit 0
fi

# 3) 安装 llama.cpp
mkdir -p "${ROOT}/runtime" "${ROOT}/models"
curl -fSL "${BASE}/${PKG}" -o "${ROOT}/${PKG}"
tar -xzf "${ROOT}/${PKG}" -C "${ROOT}/runtime"
# 官方包内部目录层级随版本变化,这里自动定位 llama-server 所在目录
BIN_DIR=$(dirname "$(find "${ROOT}/runtime" -name llama-server -type f | head -1)")
ln -sfn "${BIN_DIR}" "${ROOT}/bin"

# 4) 下载模型(断点续传)
curl -fSL -C - -o "${ROOT}/models/${MODEL_FILE}" \
  "${HF_BASE}/${REPO}/resolve/main/${MODEL_FILE}"
if [[ $WITH_VISION -eq 1 ]]; then
  curl -fSL -C - -o "${ROOT}/models/mmproj-F16.gguf" \
    "${HF_BASE}/${REPO}/resolve/main/mmproj-F16.gguf"
fi

# 5) 生成启动脚本
{
  echo '#!/usr/bin/env bash'
  echo 'set -euo pipefail'
  echo "ROOT=\"${ROOT}\""
  echo "ARGS=(--model \"\${ROOT}/models/${MODEL_FILE}\" --n-gpu-layers 99 --ctx-size 8192 --cache-type-k q8_0 --cache-type-v q8_0 --host localhost --port 8080)"
  if [[ $WITH_VISION -eq 1 ]]; then
    echo "ARGS+=(--mmproj \"\${ROOT}/models/mmproj-F16.gguf\")"
  fi
  echo 'exec "${ROOT}/bin/llama-server" "${ARGS[@]}"'
} > "${ROOT}/run-qwen38.sh"
chmod +x "${ROOT}/run-qwen38.sh"

# 6) 自测: 生成 64 个 token, 末尾打印速度
"${ROOT}/bin/llama-cli" --model "${ROOT}/models/${MODEL_FILE}" \
    --n-gpu-layers 99 --ctx-size 4096 \
    -p "用一句话介绍上海" -n 64 --no-conversation

echo "[√] 完成。以后启动服务: ${ROOT}/run-qwen38.sh"
echo "    然后浏览器打开 http://localhost:8080 即可聊天。"

bash install-qwen38-macos26.sh

bash install-qwen38-macos26.sh --install

#!/usr/bin/env bash
set -euo pipefail

INSTALL=0
QUANT="UD-IQ3_S"           # 24GB 统一内存推荐; 32GB+ 可改 UD-Q4_K_M
ROOT="$HOME/qwen38-27b"
HF_BASE="https://huggingface.co"
WITH_VISION=0

while [[ $# -gt 0 ]]; do
  case "$1" in
    --install)     INSTALL=1 ;;
    --quant)       QUANT="$2"; shift ;;
    --with-vision) WITH_VISION=1 ;;
    *) echo "未知参数: $1" >&2; exit 2 ;;
  esac
  shift
done

REPO="unsloth/Qwen3.8-27B-GGUF"
MODEL_FILE="Qwen3.8-27B-${QUANT}.gguf"

echo "[*] Mode: $([[ $INSTALL -eq 1 ]] && echo INSTALL || echo 'DRY-RUN (只打印计划)')"

# 1) 环境检测: Apple 芯片 + 统一内存大小
CHIP=$(sysctl -n machdep.cpu.brand_string 2>/dev/null || echo unknown)
MEM_GB=$(( $(sysctl -n hw.memsize) / 1024 / 1024 / 1024 ))
echo "[*] 芯片: ${CHIP}, 统一内存: ${MEM_GB} GB"
if [[ $MEM_GB -lt 20 ]]; then
  echo "[!] 内存小于 20GB,建议改用更小的量化(如 UD-IQ2_S)或更小模型。" >&2
fi

# 2) llama.cpp 走 Homebrew(Metal 加速开箱即用)
if ! command -v brew >/dev/null; then
  echo "[!] 未检测到 Homebrew,请先安装: https://brew.sh" >&2
  exit 1
fi

if [[ $INSTALL -eq 0 ]]; then
  echo "[计划] brew install llama.cpp"
  echo "[计划] 下载模型 ${MODEL_FILE} 到 ${ROOT}/models (约 12GB, 断点续传)"
  echo "[计划] 生成启动脚本 ${ROOT}/run-qwen38.sh 并做一次生成自测"
  echo "[*] 预演结束。确认无误后加 --install 重跑。"
  exit 0
fi

# 3) 安装 llama.cpp
brew install llama.cpp

# 4) 下载模型
mkdir -p "${ROOT}/models"
curl -fSL -C - -o "${ROOT}/models/${MODEL_FILE}" \
  "${HF_BASE}/${REPO}/resolve/main/${MODEL_FILE}"
if [[ $WITH_VISION -eq 1 ]]; then
  curl -fSL -C - -o "${ROOT}/models/mmproj-F16.gguf" \
    "${HF_BASE}/${REPO}/resolve/main/mmproj-F16.gguf"
fi

# 5) 生成启动脚本(Metal 下 --n-gpu-layers 99 即可全部上 GPU)
{
  echo '#!/usr/bin/env bash'
  echo 'set -euo pipefail'
  echo "ROOT=\"${ROOT}\""
  echo "ARGS=(--model \"\${ROOT}/models/${MODEL_FILE}\" --n-gpu-layers 99 --ctx-size 8192 --cache-type-k q8_0 --cache-type-v q8_0 --host localhost --port 8080)"
  if [[ $WITH_VISION -eq 1 ]]; then
    echo "ARGS+=(--mmproj \"\${ROOT}/models/mmproj-F16.gguf\")"
  fi
  echo 'exec llama-server "${ARGS[@]}"'
} > "${ROOT}/run-qwen38.sh"
chmod +x "${ROOT}/run-qwen38.sh"

# 6) 自测
llama-cli --model "${ROOT}/models/${MODEL_FILE}" \
    --n-gpu-layers 99 --ctx-size 4096 \
    -p "用一句话介绍上海" -n 64 --no-conversation

echo "[√] 完成。以后启动服务: ${ROOT}/run-qwen38.sh"
echo "    然后浏览器打开 http://localhost:8080 即可聊天。"

请帮我在本机部署 Qwen3.8-27B 的 GGUF 量化版,要求:
1. 先检测我的显卡/统一内存,确认可用显存不少于 14GB;
2. 安装 llama.cpp(用官方 GitHub Release 预编译包,Windows 用 win-cuda 版,
   Ubuntu 用 ubuntu-vulkan 版,macOS 用 brew);
3. 从 unsloth/Qwen3.8-27B-GGUF 官方仓库下载 UD-IQ3_S 量化文件(约 12GB),
   保存到 ~/qwen38-27b/models/,用断点续传,中断后重试;
4. 写一个启动脚本 ~/qwen38-27b/run-qwen38,参数:--n-gpu-layers 99、
   --ctx-size 8192、--cache-type-k q8_0、--cache-type-v q8_0、
   --host localhost、--port 8080;
5. 启动后用 OpenAI 兼容接口发一条测试消息,确认返回正常并报告生成速度;
6. 每一步先打印计划再执行,不要安装我系统里已有的东西,不要动系统配置。