编程语言编译器开发工具【免费下载链接】grammars-v4Grammars written for ANTLR v4; expectation that the grammars are free of actions.项目地址https://gitcode.com/gh_mirrors/gr/grammars-v4点击查看免费下载本篇技术指南围绕 python/python/Cpp/README.md 展开讲解如何在 ANTLR v4 的 grammars-v4 仓库中把通用 Python 语法PythonLexer.g4、PythonParser.g4适配到 C 目标通过transformGrammar.py自动改写语法文件并借助PythonLexerBase/PythonParserBase基类补齐缩进INDENT/DEDENT与 Python 2/3 版本切换等目标特有逻辑。读完本文你将掌握完整的 C 目标构建命令、脚本改写原理、基类实现细节以及如何将生成的解析器集成进自己的 C 工程。一、为什么需要 Target-specific grammar instructionsgrammars-v4 仓库的 python/python 目录维护的是一套通用UniversalPython 语法宣称适用于 Python 2 与 Python 3且不含任何目标语言动作actions。但 ANTLR 的 Python 语法有一个无法回避的难点缩进不是普通文法能直接表达的东西——INDENT、DEDENT这类人造 token必须由词法分析器在运行时动态生成而生成规则又与具体目标语言C、Java、C#、Python3 等的运行时 API 绑定。为此仓库在 python/python 下按目标语言拆分了多个目录Cpp/、CSharp/、Java/、Python3/每个目录内提供目标对应的Base 类源码如 C 的PythonLexerBase/PythonParserBase一个transformGrammar.py脚本负责把通用.g4文件改写成适合该目标的形式。python/python/Cpp/README.md 正是对这套流程的官方说明它本身只有 4 条核心内容——目录用途、两条构建命令、脚本职责说明、更新记录2022-08-03Ken Domino。本文将以它为骨架结合目录内真实源码逐层展开。二、Cpp 目录结构与两条核心命令Cpp 目录 下共 6 个文件职责清晰文件作用transformGrammar.py改写PythonLexer.g4/PythonParser.g4为 C 目标注入header并修正语法PythonLexerBase.h/.cpp词法器基类TabSize 配置、缩进栈、INDENT/DEDENT/LINE_BREAK生成PythonParserBase.h/.cpp解析器基类Python 2/3 版本切换与校验README.md使用说明本文关联文档官方给出的构建流程只有两条命令在python/python/Cpp目录下执行python transformGrammar.py antlr4 -DlanguageCpp -o gen *.g4第一步python transformGrammar.py必须在生成代码之前运行它就地改写两个.g4文件详见第三节第二步antlr4 -DlanguageCpp -o gen *.g4调用 ANTLR v4 工具以 C 为目标语言把改写后的语法生成到gen/子目录。-o gen指定输出目录*.g4会同时匹配改写后的PythonLexer.g4与PythonParser.g4。注意一个细节脚本改写的是当前目录下的PythonLexer.g4/PythonParser.g4脚本内部使用相对文件名而这两个文件默认并不存在于Cpp/目录中它们位于 python/python 根目录。因此实际运行前需先确保这两个.g4文件位于当前工作目录例如先拷贝过去或在仓库约定的构建流程中执行脚本找不到文件时会打印Could not find file: ...并以sys.exit(1)终止——这是 transformGrammar.py 中的显式保护逻辑。三、transformGrammar.py 源码级剖析脚本到底改了什么transformGrammar.py 全文仅 31 行核心是fix(file_path)函数对每个语法文件执行三步改写3.1 备份原文件shutil.move(file_path, file_path .bak)每个.g4在被改写前都会先被移动为.bak备份即生成PythonLexer.g4.bak、PythonParser.g4.bak脚本随后逐行读取备份并写回原文件名。这保证了语法文件可以反复运行脚本而不会累积破坏也让使用者随时能对比改写前后差异。3.2 注入 C 目标的 headerif // Insert here header for C lexer. in x: x x.replace(// Insert here header for C lexer., header {#include PythonLexerBase.h}) if // Insert here header for C parser. in x: x x.replace(// Insert here header for C parser., header {#include PythonParserBase.h})这两个占位注释在通用语法文件中真实存在PythonLexer.g4// Insert here header for C lexer.PythonParser.g4// Insert here header for C parser.改写后生成的 C 代码文件头部将包含#include PythonLexerBase.h/#include PythonParserBase.h从而把基类声明引入生成的词法器/解析器实现中。这与两个.g4文件options块里的superClass PythonLexerBase;PythonLexer.g4和superClass PythonParserBase;PythonParser.g4配合ANTLR 生成类继承自PythonLexerBase/PythonParserBase而后者又继承自antlr4::Lexer/antlr4::Parser。3.3 修正成员访问语法this. → this-if this. in x: x x.replace(this., this-)通用语法文件中使用this.xxx形式的谓词/动作代码这是 Java/C# 风格但 C 中成员访问必须使用this-xxx。脚本对所有包含this.的行做字符串替换这是 C 目标下语法文件能够编译通过的关键一步。这也是 README 所说 The transformGrammar.py script modifies the grammar for the target. 的具体含义。整个脚本由if __name__ __main__: main(sys.argv)入口驱动fix(PythonLexer.g4)与fix(PythonParser.g4)依次执行并在每个文件处理时打印Altering file与Writing ...日志方便确认执行进度。四、PythonLexerBaseC 下如何实现缩进敏感词法词法层面最大的挑战是 Python 的缩进语义。Python 官方规范要求Tab 从左到右被替换为 1~8 个空格使替换后的总字符数是 8 的倍数tab stops。PythonLexerBase.cpp 将这套逻辑完整落地。4.1 构造与默认配置PythonLexerBase::PythonLexerBase(antlr4::CharStream *input) : Lexer(input) { TabSize 8; _number_of_elements 32; _buffer new std::unique_ptrantlr4::Token[_number_of_elements]; ... _lastTokenNull true; _opened 0; }构造时TabSize默认8与 python/python/README.md 中 UseTabSizeproperty inPythonLexerBaseto configure tab size (8 spaces by default) 一致并初始化一个容量为 32 的 token 环形缓冲用于前瞻/回溯场景。_opened记录当前未闭合的括号层级用于判断缩进是否生效。4.2 缩进计算与 INDENT/DEDENT 生成HandleSpaces()中当一行空格后不是换行/注释IsNotNewLineOrComment时逐字符计算缩进宽度indent c \t ? TabSize - indent % TabSize : 1;即普通空格记 1Tab 补齐到下一个TabSize的整数倍——这与官方文档的 tab-stop 规则完全一致。ProcessNewLine(indent)则负责维护一个缩进栈_indents当前缩进 previous入栈并Emit(INDENT)当前缩进 previous循环出栈每弹出一层Emit(DEDENT)从而支持一次退回多级缩进如从三层缩进直接回到顶层。此外HandleNewLine()会把换行以NEWLINE类型、HIDDEN通道发出而LINE_BREAK、INDENT、DEDENT这三个人造 token在 PythonLexer.g4 的tokens {}块中预先声明供解析器侧直接引用。4.3 文件结尾的 DEDENT 补发Python 要求在文件末尾补齐所有未闭合的缩进。nextToken()中专门处理了 end-of-file ahead but DEDENTS still pending 的场景if (_input-LA(1) antlr4::Token::EOF _indents.size() 0) { if (... ! PythonLexer::LINE_BREAK) Emit(PythonLexer::LINE_BREAK); // 先补一个行结束符 while (_indents.size() ! 0) { Emit(PythonLexer::DEDENT); _indents.pop(); } }4.4 token 缓冲与前瞻PythonLexerBase通过_buffer环形数组、_firstTokensInd/_lastTokenInd实现了自定义的 token 缓冲emit()在调用父类Lexer::emit的同时把 token 副本存入缓冲缓冲满时自动扩容_number_of_elements * 2并搬移数据nextToken()从缓冲头部取 token 返回。这一机制保证了解析器做任意前瞻如if/while行尾判断时INDENT/DEDENT等动态 token 的时序依然正确。4.5 括号内的缩进豁免IncIndentLevel()/DecIndentLevel()维护_opened计数IsNotNewLineOrComment()中_opened 0的条件意味着只要处于未闭合括号内就跳过缩进处理。这正是 Python 括号内可任意换行缩进 语义的词法实现。五、PythonParserBase解析期的 Python 2/3 版本控制PythonParserBase.h 定义了版本枚举enum PythonVersion { Autodetect, Python2 2, Python3 3 };构造时默认AutodetectPythonParserBase.cpp。两个核心方法CheckVersion(int version)当版本为Autodetect时始终返回true否则要求version与当前Version一致用于语法中区分 Python 2 与 Python 3 独有的语法构造SetVersion(int requiredVersion)在解析过程中例如识别到print语句或with语句等版本分叉点时把Version固定为实际值。配合 python/python/README.md 的说明若选择Autodetect版本会在解析完某段代码片段后被切换为确定值——也就是说同一份语法、同一套生成代码可以同时正确解析 Python 2 和 Python 3 的源码。语法文件中凡是版本相关的谓词都会经脚本改写为this-CheckVersion(...)/this-SetVersion(...)形式的 C 调用。六、把生成的解析器集成进 C 工程参照 python/python/README.md 的用法说明集成步骤为生成代码按第二节的两条命令执行先transformGrammar.py再antlr4 -DlanguageCpp -o gen *.g4拷贝产物将gen/下生成的 lexer/parser 源码连同本目录的PythonLexerBase.h/.cpp、PythonParserBase.h/.cpp一并加入工程链接 ANTLR 运行时确保包含并链接antlr4-runtime#include antlr4-runtime.h配置参数可选通过PythonLexerBase的TabSize属性自定义 Tab 宽度默认 8 空格通过PythonParserBase的Version属性预置Python2/Python3或保持Autodetect让解析器自动判定。基类头文件中的公开成员TabSize、Version、CheckVersion、SetVersion等见 PythonLexerBase.h、PythonParserBase.h即可作为与生成代码交互的入口点。七、注意事项与适用前提脚本会就地改写 .g4 文件运行transformGrammar.py前请确认工作目录下存在PythonLexer.g4与PythonParser.g4且允许产生.bak备份文件不要在只读目录下直接运行。命令需在正确的目录执行README 的命令假设transformGrammar.py、两个.g4文件位于同一目录若从仓库其他位置调用需自行组织文件布局。基类依赖 ANTLR C 运行时PythonLexerBase继承antlr4::Lexer并包含antlr4-runtime.h编译生成的 lexer/parser 时必须链接与之匹配版本的antlr4-runtime库。版本能力以当前仓库为准上述TabSize默认值、Autodetect行为均出自本仓库源码PythonLexerBase.cpp、PythonParserBase.cpp如使用其他版本或分叉仓库请以实际代码为准。如需对比其他目标语言的实现思路可参阅 python/python/JavaJava 版PythonLexerBase.java/PythonParserBase.java与 python/python/Python3纯 Python 版基类它们与 C 版共享同一套通用语法仅在目标 API 与细节实现上有所差异。赞分享编程语言编译器开发工具【免费下载链接】grammars-v4Grammars written for ANTLR v4; expectation that the grammars are free of actions.项目地址https://gitcode.com/gh_mirrors/gr/grammars-v4点击查看免费下载相关推荐grammars-v4 仓库 Python3 目标文法解析器构建指南transformGrammar 脚本与词法基类深入解析grammars v4 仓库 Python3 目标文法解析器构建指南transformGrammar 脚本与词法基类深入解析 本指南以 grammars v4编程语言编译器开发工具如何解决Mediamtx中RTSP SETUP请求的路径验证问题技术深度解析如何解决Mediamtx中RTSP SETUP请求的路径验证问题技术深度解析 RTSP协议在媒体流传输中扮演着关键角色而Mediamtx作为一款支持SRT、编程语言编译器开发工具ANTLR v4 自举语法深度解析grammars-v4 中 ANTLRv4Lexer 与 ANTLRv4Parser 的实现与验证ANTLR v4 自举语法深度解析grammars v4 中 ANTLRv4Lexer 与 ANTLRv4Parser 的实现与验证 导读 grammars编程语言编译器开发工具上一篇如何使用pyporter自动生成Python模块的RPM Spec文件完整教程来了下一篇OSCompatibility使用详解3个步骤轻松完成硬件兼容性验证创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考