#!/bin/bash# 日志文件路径
LOG_FILE="/path/to/logfile.log"while true; do# 获取 GPU 设备列表GPU_LIST=$(nvidia-smi --query-gpu=index --format=csv,noheader,nounits)# 遍历 GPU 设备while IFS=',' read -r GPU_INDEX; do# 获取 GPU 内存使用情况MEMORY_INFO=$(nvidia-smi --id="$GPU_INDEX" --query-gpu=memory.total,memory.used --format=csv,noheader,nounits)# 解析内存信息TOTAL_MEMORY=$(echo "$MEMORY_INFO" | cut -d ',' -f 1)USED_MEMORY=$(echo "$MEMORY_INFO" | cut -d ',' -f 2)# 计算内存使用率MEMORY_USAGE_PERCENT=$(echo "scale=2; $USED_MEMORY / $TOTAL_MEMORY * 100" | bc)# 检查内存使用率是否超过阈值if (( $(echo "$MEMORY_USAGE_PERCENT > 75" | bc -l) )); then# 写入告警信息到日志文件echo "$(date +'%Y-%m-%d %H:%M:%S') - GPU $GPU_INDEX 内存使用率超过 75%: $MEMORY_USAGE_PERCENT%" >> "$LOG_FILE"fidone <<< "$GPU_LIST"# 每隔 5 分钟执行一次检测sleep 300
done