性能测试【免费下载链接】YCSBYahoo! Cloud Serving Benchmark项目地址https://gitcode.com/gh_mirrors/yc/YCSB点击查看免费下载本篇指南面向 MapR 集群运维与存储性能测试工程师系统讲解如何用 YCSBYahoo! Cloud Serving Benchmark对 MapR-DBBinary 表执行负载基准测试。全文以maprdb/README.md的 Quick Start 流程为骨架深入源码揭示其底层实现复用 HBase 1.x 客户端并补充可复制的参数说明与实战注意事项。读完你将掌握编译 YCSB、创建 MapR-DB Binary 表、加载数据与执行混合读写作负载的完整命令链以及针对吞吐量/延迟测量场景的参数调优方法。一、概览maprdb binding 的技术本质YCSB 为多种数据库提供统一的压力测试接口读、写、扫描、删除等maprdb是其中针对 MapR-DBBinary 模式的专用 binding。从源码看该 binding 的实现非常简洁——MapRDBClient.java 直接继承自site.ycsb.db.hbase1.HBaseClient1public class MapRDBClient extends site.ycsb.db.hbase1.HBaseClient1 { }这意味着MapR-DB 的 Binary 表在 API 层面与 HBase 1.x 兼容YCSB 的 maprdb binding 全部读写逻辑复用 HBaseClient1.java基于 HBase 原生Connection/Table/BufferedMutator客户端构建时通过 pom.xml 依赖org.apache.hbase:hbase-client版本由${maprhbase.version}控制与hbase1-binding因此运行 maprdb 前必须确保 MapR 集群的 HBase 兼容客户端 classpath 可用下文$(mapr classpath)即完成此事。从代码结构可以推断YCSB 的 maprdb binding 面向的是 MapR-DB 的Binary APIHBase 风格表而非 JSON 表JSON 表由maprjsondbbinding 覆盖。本文所有命令均针对 Binary 表。二、Quick Start 完整流程2.1 设置 YCSB克隆仓库并编译git clone https://github.com/brianfrankcooper/YCSB.git cd YCSB mvn clean packagemvn clean package会构建 core 与全部 binding 模块包括maprdb模块其 Maven 坐标见 pom.xmlsite.ycsb:maprdb-binding。构建产物会落入各模块target目录并最终由bin/ycsb脚本统一装配 classpath。2.2 创建 MapR-DB Binary 表在 MapR 集群节点上使用maprcli命令创建卷、表和列族maprcli volume create -name tables -path /tables maprcli table create -path /tables/myTable maprcli table cf create -path /tables/myTable -cfname cf0要点说明volume create先建立挂载于/tables的卷MapR-DB 表必须位于已创建的卷内table create创建名为/tables/myTable的 Binary 表table cf create在表中创建列族cf0——这一步至关重要因为 YCSB 客户端要求表至少含一个列族且运行时通过-p columnfamilycf0指定的列族必须真实存在。2.3 运行 YCSB加载数据与执行负载YCSB 的标准流程是“先 load、后 run”load阶段只执行 insert 操作灌入数据run阶段按工作负载的比例执行混合读写。2.3.1 加载数据load./bin/ycsb load maprdb -P workloads/workloada \ -cp $(mapr classpath) \ -p table/tables/myTable \ -p columnfamilycf02.3.2 执行负载run./bin/ycsb run maprdb -P workloads/workloadb \ -cp $(mapr classpath) \ -p table/tables/myTable \ -p columnfamilycf0命令行参数逐项解读参数含义load/runYCSB 两种执行模式load 仅插入recordcount条记录run 按 workload 定义的比例混合操作maprdb指定使用site.ycsb.db.mapr.MapRDBClient作为数据库驱动-P workloads/workloada加载工作负载配置文件本文示例 load 用 workloada、run 用 workloadb-cp $(mapr classpath)追加 MapR 提供的 HBase 兼容客户端 classpath是连接集群的必要条件-p table/tables/myTable指定目标表映射到 HBase API 中的TableName-p columnfamilycf0指定目标列族对应第 2.2 节创建的表列族工作负载文件位于仓库 workloads 目录例如 workloada 为 50/50 读写混合更新密集型、workloadb 为 95/5 读多写少读为主型二者的记录/操作数默认均为 1000请求分布为 zipfian。三、底层实现与关键配置参数3.1 客户端初始化行为源码级maprdb binding 的初始化逻辑全部来自父类 HBaseClient1.init()结合源码可以确认以下行为所有 YCSB 线程共享一个Connection由ConnectionFactory.createConnection(config)惰性创建首个线程创建连接时会校验目标表是否存在表不存在会直接抛出DBExceptioncolumnfamily参数为必填项未指定时客户端报错Error, must specify a columnfamily for HBase table并抛出DBExceptiontable参数可省略默认值为usertable见 CoreWorkload.java 的TABLENAME_PROPERTY_DEFAULTMapR 场景建议始终显式指定。3.2 可调参数表除table、columnfamily外maprdb经由 HBaseClient1还支持以下-p参数用于控制性能测量与写入行为参数默认值说明columnfamily无必填目标列族名缺省会抛异常tableusertable目标表名建议显式指定clientbufferingfalse是否启用客户端侧缓冲批量写入。测量 insert/update/delete 延迟时应保持关闭false否则延迟被批处理掩盖writebuffersize12MB1024*1024*12客户端缓冲上限仅clientbufferingtrue时生效durabilityUSE_DEFAULT写入是否落 WAL如SKIP_WAL可提升吞吐但牺牲崩溃恢复能力hbase.usepagefiltertruescan 时是否使用PageFilter限制扫描行数debugfalse是否输出调试日志会打印 key、field/value 明细principal/keytab无Kerberos 安全集群下的认证信息HBase 兼容客户端场景3.3 延迟测量与缓冲的权衡父类源码中clientSideBuffering默认false当clientbufferingtrue时写入会进入BufferedMutator由getHTable创建此时cleanup()阶段会以UPDATE类型统一计量缓冲 flush 耗时关闭缓冲时写入走currentTable.put(p)直连路径单次操作延迟真实可测。因此在追求真实延迟数据的基准测试中应使用默认不开启缓冲配置在追求最高写入吞吐时可开启-p clientbufferingtrue并按需调大writebuffersize。四、实战注意事项与排错classpath 是头号坑-cp $(mapr classpath)必须正确展开否则会抛ClassNotFoundException缺 HBase 客户端类。请确认在安装了 MapR 客户端的节点上执行。列族必须预创建table cf create步骤不可省略且-p columnfamily必须与创建的列族名完全一致客户端初始化时也会对表存在性做前置校验。load 与 run 需配套run依赖load已写入的数据若表为空读操作将大量返回NOT_FOUND。可用同一份 workload 文件先 load 再 run也可分别用 workloada插入数据与 workloadb读多写少组合。JDK 兼容性提示maprdb 模块的 pom 中设置了skipJDK9Teststrue即测试用例默认不在 JDK 9 上执行maprdb/pom.xml构建与运行请优先使用受支持的 JDK 8 环境。五、小结YCSB 的 maprdb binding 以极简方式复用了成熟、稳定的 HBase 1.x 客户端实现MapRDBClient.java使任何熟悉 HBase 的工程师都能快速对 MapR-DB Binary 表开展标准化的性能基准测试。整个流程只需四步编译 YCSB → 创建卷/表/列族 →load灌数据 →run跑负载再配合clientbuffering、durability、writebuffersize等参数即可在吞吐优先与延迟精确测量之间灵活切换。赞分享性能测试【免费下载链接】YCSBYahoo! Cloud Serving Benchmark项目地址https://gitcode.com/gh_mirrors/yc/YCSB点击查看免费下载相关推荐YCSB 实战使用 maprjsondb 绑定对 MapR-DB JSON 表执行基准测试YCSB 实战使用 maprjsondb 绑定对 MapR DB JSON 表执行基准测试 导读 本文介绍如何在 MapR 集群上使用 YCSBYahoo性能测试使用 YCSB 对 Azure Cosmos DB 进行基准测试从快速上手到配置参数与源码原理全解析使用 YCSB 对 Azure Cosmos DB 进行基准测试从快速上手到配置参数与源码原理全解析 本文基于 YCSB 仓库中的 Azure Cosmos性能测试使用 YCSB 对 GridDB 进行 NoSQL 基准测试GridDB Binding 完整配置与运行指南使用 YCSB 对 GridDB 进行 NoSQL 基准测试GridDB Binding 完整配置与运行指南 导读 GridDB 是东芝TOSHIBA Di性能测试上一篇超简单Nativefier预加载脚本调试全攻略从配置到实战下一篇如何用 Docker 快速部署 CVATAI 数据标注平台本地启动完整教程创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考