Skylark控制器组件指南：CPU、网络、缓存带宽的精细控制

Skylark控制器组件指南：CPU、网络、缓存带宽的精细控制

【免费下载链接】skylarkSkylark is a next-generation QoS-aware scheduler which provides coordinated resource scheduling for co-located applications with different QoS requirements. Typical applications are VM and Container. The architecture is highly scalable, so it's easy to be extended to support new types of applications and resources in the future.项目地址: https://gitcode.com/openeuler/skylark

前往项目官网免费下载：https://ar.openeuler.org/ar/

🚀 你是否在为虚拟机与容器混部场景下的资源争抢问题而烦恼？想要实现不同QoS要求应用的协同调度？那么Skylark控制器组件正是你需要的解决方案！作为openEuler社区的新一代QoS感知资源调度器，Skylark通过精细化的控制器设计，为CPU、网络和缓存带宽提供了智能的资源管控能力。本文将为你详细介绍Skylark三大核心控制器的工作原理、配置方法和使用技巧，帮助你轻松实现资源调度的优化。

📊 Skylark控制器架构概览

Skylark采用模块化设计，将资源控制功能分解为三个独立的控制器组件：

这三个控制器协同工作，通过qos_analyzer/poweranalyzer.py进行实时QoS分析，并由skylark.py主框架统一调度，形成完整的资源管控闭环。

⚙️ CPU控制器：精细化CPU带宽管理

核心功能特性

CPU控制器是Skylark的核心调度组件，它基于Linux cgroup机制，为低优先级虚拟机提供动态的CPU带宽控制。其主要特性包括：

• 智能带宽限制：当系统检测到CPU频率低于阈值或高优先级应用需要更多资源时，自动限制低优先级VM的CPU带宽
• 自动恢复机制：通过ABNORMAL_THRESHOLD参数控制限制周期，到期后自动恢复原始带宽配置
• 优先级调度：支持设置不同QoS等级，确保高优先级应用始终获得足够的CPU资源

配置参数详解

在skylarkd.sysconfig配置文件中，CPU控制器相关的关键参数包括：

# CPU带宽限制阈值（默认0.9） QUOTA_THRESHOLD=0.9 # 异常检测阈值周期（默认3个周期） ABNORMAL_THRESHOLD=3 # 频率阈值（默认0.98） FREQ_THRESHOLD=0.98

工作原理流程

CPU控制器的工作流程遵循以下步骤：

1. 数据采集：通过data_collector/datacollector.py实时收集CPU使用率信息
2. 阈值检测：当CPU频率低于max_freq * FREQ_THRESHOLD时触发限制机制
3. 带宽调整：根据VM的实际使用情况计算新的cpu.cfs_quota_us值
4. 周期管理：维护domain_adjust_dict记录每个VM的限制状态

实战配置示例

要启用CPU QoS管理，只需在配置文件中设置：

POWER_QOS_MANAGEMENT=true TDP_THRESHOLD=0.98 FREQ_THRESHOLD=0.98

🌐 网络控制器：智能网络带宽调度

网络QoS管理机制

网络控制器专注于物理网卡带宽的优先级调度，确保高优先级应用在网络拥塞时仍能获得足够的带宽。其核心功能包括：

• 带宽范围设定：为低优先级VM设置最小和最大带宽限制
• 水位线触发：当高优先级VM的带宽超过水位线时，自动限制低优先级VM的带宽
• 物理网卡管理：自动识别并管理所有物理网络接口

关键配置参数

# 启用网络QoS管理 NET_QOS_MANAGEMENT=true # 低优先级VM带宽范围（下限20MB，上限1GB） NET_QOS_BANDWIDTH_LOW=20MB NET_QOS_BANDWIDTH_HIGH=1GB # 高优先级VM水位线（默认20MB） NET_QOS_WATER_LINE=20MB

工作流程解析

网络控制器的工作流程如下：

1. 网卡识别：扫描/sys/class/net目录，区分物理网卡和虚拟网卡
2. cgroup配置：在/sys/fs/cgroup/net_cls/low_prio_machine.slice路径下设置网络优先级
3. 带宽管理：使用bwmcli工具动态调整网络带宽限制
4. 水位监控：实时监控高优先级VM的网络使用情况

最佳实践建议

• 敏感应用配置：对于网络敏感的高优先级应用，建议将NET_QOS_WATER_LINE设置为较低值
• 带宽范围调整：根据实际网络环境调整NET_QOS_BANDWIDTH_LOW和NET_QOS_BANDWIDTH_HIGH
• 物理网卡选择：确保系统中有可用的物理网卡，网络控制器无法在纯虚拟环境中工作

💾 缓存带宽控制器：内存与缓存资源隔离

缓存与内存带宽控制

缓存带宽控制器是Skylark的高级资源隔离组件，它通过Intel RDT技术实现LLC缓存和内存带宽的精细控制：

• LLC缓存隔离：为低优先级VM分配固定的LLC缓存路数
• 内存带宽限制：控制低优先级VM可使用的内存带宽百分比
• 动态资源分配：根据系统负载动态调整资源分配策略

核心配置参数

# 低优先级VM最小LLC缓存路数（默认2，范围1-3） MIN_LLC_WAYS_LOW_VMS=2 # 低优先级VM最小内存带宽百分比（默认0.1，范围0.1-0.2） MIN_MBW_LOW_VMS=0.1

技术实现细节

缓存带宽控制器通过以下方式实现资源隔离：

1. resctrl文件系统：使用/sys/fs/resctrl/low_prio_machine目录进行资源控制
2. 缓存位掩码：将LLC缓存路数转换为十六进制位掩码格式
3. 进程ID绑定：将VM进程ID写入resctrl的tasks文件，实现资源关联
4. 动态调整：根据系统状态动态调整缓存和内存带宽分配

配置注意事项

• 硬件要求：需要Intel CPU支持RDT技术
• 资源限制：确保MIN_LLC_WAYS_LOW_VMS不超过系统最大缓存路数
• 性能平衡：合理设置缓存和内存带宽限制，避免过度限制影响系统性能

🔧 控制器集成与协同工作

统一调度框架

Skylark的主调度框架skylark.py负责协调三个控制器的协同工作：

class QosManager: def __init__(self, vir_conn): self.cpu_controller = CpuController() self.net_controller = NetController() self.cachembw_controller = CacheMBWController()

初始化流程

1. CPU控制器初始化：设置低优先级cgroup和QoS等级
2. 缓存带宽控制器初始化：创建resctrl组并设置初始分配
3. 网络控制器初始化：识别物理网卡并配置带宽管理
4. 周期性调度：通过APScheduler实现1秒间隔的实时调度

故障恢复机制

Skylark设计了完善的故障恢复机制：

• 异常检测：通过EVENT_JOB_ERROR监听调度异常
• 自动重启：检测到异常时发送SIGABRT信号并重启服务
• 资源清理：使用atexit注册清理函数，确保服务停止时释放所有资源

🚀 快速部署指南

安装步骤

1. 克隆仓库：git clone https://gitcode.com/openeuler/skylark
2. 编译安装：make && make install
3. 服务配置：编辑/etc/sysconfig/skylarkd配置文件
4. 启动服务：systemctl start skylarkd

配置调优建议

根据不同的应用场景，推荐以下配置组合：

监控与调试

Skylark提供详细的日志记录功能，日志位置为/var/log/skylark.log。通过调整LOG_LEVEL参数可以控制日志详细程度：

• critical：仅关键错误
• error：错误信息
• warning：警告信息
• info：一般信息（默认）
• debug：详细调试信息

📈 性能优化技巧

CPU控制器优化

1. 阈值调优：根据应用特性调整QUOTA_THRESHOLD和FREQ_THRESHOLD
2. 周期管理：合理设置ABNORMAL_THRESHOLD避免频繁切换
3. 优先级分组：为不同类型应用设置不同的QoS等级

网络控制器优化

1. 带宽基准测试：在实际环境中测试网络带宽，设置合理的NET_QOS_BANDWIDTH参数
2. 水位线调整：根据应用敏感度调整NET_QOS_WATER_LINE
3. 网卡选择：为关键应用分配专用物理网卡

缓存带宽控制器优化

1. 缓存路数分配：根据VM工作集大小调整MIN_LLC_WAYS_LOW_VMS
2. 内存带宽平衡：避免MIN_MBW_LOW_VMS设置过低导致内存瓶颈
3. 监控工具使用：使用pqos等工具监控RDT资源使用情况

🔍 常见问题解答

Q1: Skylark支持哪些虚拟化平台？

A: Skylark主要支持基于libvirt的虚拟化平台，包括KVM、Xen等。

Q2: 如何验证控制器是否正常工作？

A: 检查/var/log/skylark.log日志文件，查看控制器初始化信息和运行状态。

Q3: 控制器配置修改后需要重启服务吗？

A: 是的，修改/etc/sysconfig/skylarkd配置文件后需要执行systemctl restart skylarkd。

Q4: 如何监控资源使用情况？

A: 可以使用top、htop监控CPU使用，iftop监控网络带宽，pqos监控缓存和内存带宽。

Q5: Skylark对系统性能有影响吗？

A: Skylark的设计目标是最小化性能开销，控制器只在检测到资源争抢时才进行干预，正常情况下的性能影响可以忽略不计。

🎯 总结与展望

Skylark控制器组件为混合部署环境提供了完整的资源调度解决方案。通过CPU、网络和缓存带宽的精细控制，实现了不同QoS要求应用的和谐共存。无论你是运维工程师、系统架构师还是开发人员，掌握Skylark控制器组件的使用技巧，都能显著提升系统的资源利用率和应用性能。

随着技术的不断发展，Skylark社区也在持续优化控制器算法，未来将支持更多资源类型和调度策略。如果你在使用过程中遇到任何问题或有改进建议，欢迎参与openEuler社区贡献，共同打造更优秀的资源调度器！

💡温馨提示：在实际生产环境中部署前，建议先在测试环境中充分验证配置参数，确保满足业务需求。同时，定期监控系统日志和性能指标，及时发现并解决潜在问题。

【免费下载链接】skylarkSkylark is a next-generation QoS-aware scheduler which provides coordinated resource scheduling for co-located applications with different QoS requirements. Typical applications are VM and Container. The architecture is highly scalable, so it's easy to be extended to support new types of applications and resources in the future.项目地址: https://gitcode.com/openeuler/skylark