1. 项目概述为什么JSON处理是Python开发的必修课如果你刚开始接触Python或者已经写过一些脚本迟早会遇到一个叫JSON的东西。它可能出现在你调用某个网站API的返回值里也可能是一个配置文件或者是你从数据库导出来的一堆数据。我第一次被JSON“教育”是在做一个天气查询的小工具时从服务器拿回来的数据像一团乱麻当时完全不知道从何下手。后来才发现在Python里处理JSON熟练之后其实就跟打开一个文本文件、读几行字一样简单。这篇指南的目的就是帮你跨过这个“一看就会一写就废”的坎儿把JSON文件的读取、解析、修改、保存这一整套流程掰开揉碎了讲清楚。无论你是想分析网络数据、管理应用配置还是在不同程序间交换信息这套功夫都是基础中的基础绕不开的。简单说JSON就是一种轻量级的数据交换格式它用文本的方式清晰地表示出数组、键值对这样的结构人眼能看机器也好解析。Python呢非常贴心地内置了一个叫json的模块专门负责在这两种形态之间转换把Python里的字典、列表变成JSON格式的字符串这个过程叫序列化或编码或者把JSON字符串变回Python能直接操作的数据结构反序列化或解码。接下来我会从最基础的读写操作讲起深入到编码细节、性能优化再到实际项目里那些容易踩的坑手把手带你掌握这门必备技能。2. 核心模块解析标准库json的完全使用手册Python标准库里的json模块是你处理JSON数据的瑞士军刀。它设计得非常直观核心功能就围绕四个函数展开json.load()json.loads()json.dump()和json.dumps()。单看名字容易晕记住这个诀窍带s的函数处理的是字符串String不带s的函数处理的是文件File。2.1 解码反序列化从JSON到Python对象当你的数据来源是一个JSON格式的字符串或者文件你需要把它“解码”成Python的列表、字典等原生类型这个过程就是反序列化。json.loads()- 解码JSON字符串这是你最常用的函数之一。假设你从网络请求中得到了一个JSON字符串import json json_string {name: Alice, age: 30, city: New York, hobbies: [reading, hiking]} python_dict json.loads(json_string) print(type(python_dict)) # 输出class dict print(python_dict[name]) # 输出Alice print(python_dict[hobbies][1]) # 输出hikingjson.loads()接收一个合法的JSON字符串返回对应的Python对象。JSON的object会变成Python的dictarray变成liststring变成strnumber变成int或floattrue/false变成True/Falsenull变成None。json.load()- 从文件解码当你的JSON数据存储在一个文件里比如config.json,data.json用这个函数最方便。它会自动打开文件读取内容并解码。import json # 假设有一个 data.json 文件内容为{project: JSON Guide, version: 1} with open(data.json, r, encodingutf-8) as f: data json.load(f) print(data[project]) # 输出JSON Guide注意务必使用with open()...语句来管理文件。它能确保文件在使用后被正确关闭即使处理过程中发生了异常。encodingutf-8参数也强烈建议加上这能避免处理中文或其他非ASCII字符时出现乱码问题这是新手常踩的一个坑。2.2 编码序列化从Python对象到JSON当你需要把Python程序里的数据保存成JSON文件或者通过网络发送出去时就需要进行序列化操作。json.dumps()- 编码为JSON字符串这个函数将Python对象转换成一个JSON格式的字符串。import json python_data { name: Bob, is_student: False, courses: [Math, Physics], score: None # Python的None会被转为JSON的null } json_str json.dumps(python_data) print(json_str) # 输出{name: Bob, is_student: false, courses: [Math, Physics], score: null} print(type(json_str)) # 输出class strjson.dump()- 编码并写入文件直接将Python对象序列化后写入一个文件。import json config { host: localhost, port: 8080, debug_mode: True } with open(config.json, w, encodingutf-8) as f: json.dump(config, f)执行后当前目录下就会生成一个config.json文件里面是格式化的JSON内容。2.3 美化输出与关键参数详解默认情况下json.dumps()和json.dump()生成的字符串是紧凑的没有空格和换行不利于阅读。这在传输时省带宽但调试时就很痛苦。这时就需要用到几个关键参数indent 定义缩进空格数让JSON结构层次分明。ensure_ascii 默认为True所有非ASCII字符如中文都会被转义成\uXXXX的形式。设置为False后这些字符会原样输出可读性大大增强。sort_keys 默认为False。设置为True时输出的字典键会按照字母顺序排序这在需要生成确定性输出比如做数据比对或版本控制时非常有用。data {姓名: 小明, 年龄: 25, 城市: 北京} # 默认输出不友好 compact json.dumps(data) print(compact) # 输出{\u59d3\u540d: \u5c0f\u660e, \u5e74\u9f84: 25, \u57ce\u5e02: \u5317\u4eac} # 美化输出友好 pretty json.dumps(data, ensure_asciiFalse, indent4, sort_keysTrue) print(pretty) # 输出 # { # “城市”: “北京” # “年龄”: 25, # “姓名”: “小明” # }在实际项目中我习惯在调试时将indent设为2或4ensure_ascii设为False。而在生产环境进行网络传输时则去掉indent以节省空间。3. 进阶技巧与自定义处理掌握了基本读写你会发现有些场景下默认行为不够用。比如JSON里有个日期字符串“2023-10-27”你想在Python里把它变成datetime对象或者你有一个自定义的类对象想把它也序列化成JSON。这就需要用到json模块更高级的功能。3.1 处理复杂数据类型default和object_hook参数Python的datetime对象或者你自己定义的User类都不是JSON标准支持的类型。直接dumps会抛出TypeError。这时你需要为json.dumps()或json.dump()提供default参数它是一个函数用于处理无法被直接序列化的对象。import json from datetime import datetime def custom_serializer(obj): 自定义序列化函数 if isinstance(obj, datetime): # 将datetime对象转换为ISO格式的字符串 return obj.isoformat() # 如果还有其他不支持的类型可以继续添加判断 # elif isinstance(obj, YourClass): # return obj.to_dict() # 假设你的类有一个to_dict方法 else: # 对于其他无法处理的类型抛出TypeError raise TypeError(f“Object of type {obj.__class__.__name__} is not JSON serializable”) data { “event”: “Meeting”, “time”: datetime.now() } json_str json.dumps(data, defaultcustom_serializer, ensure_asciiFalse, indent2) print(json_str) # 输出会包含类似 “time”: “2023-10-27T14:30:00.123456” 的内容反过来当你从JSON中读回数据想把特定的字符串比如ISO格式的日期还原成Python对象时可以使用json.loads()或json.load()的object_hook参数。这个钩子函数会在解码每个字典时被调用你可以在这里面做转换。def custom_deserializer(dct): 自定义反序列化钩子 if “time” in dct and isinstance(dct[“time”], str): # 尝试将“time”字段的字符串解析为datetime对象 try: dct[“time”] datetime.fromisoformat(dct[“time”]) except ValueError: pass # 如果解析失败保持原样 return dct json_str ‘{“event”: “Meeting”, “time”: “2023-10-27T14:30:00”}’ data json.loads(json_str, object_hookcustom_deserializer) print(data[“time”]) # 输出2023-10-27 14:30:00 (一个datetime对象) print(type(data[“time”])) # 输出class ‘datetime.datetime’3.2 性能考量处理大型JSON文件当你处理几十MB甚至上GB的JSON文件时一次性用json.load()读入内存可能会导致程序崩溃。对于这种大型文件有几种策略使用ijson库进行流式解析ijson是一个第三方库它可以像读流一样解析JSON文件一次只加载一小部分到内存特别适合处理巨大的JSON数组或对象。pip install ijsonimport ijson # 流式解析一个大型数组中的每一项 with open(‘huge_data.json’, ‘rb’) as f: # ijson 通常需要二进制模式 for item in ijson.items(f, ‘item’): # ‘item’是JSON路径 process(item) # 逐项处理内存友好分块读取与写入如果数据结构允许可以考虑将一个大JSON文件拆分成多个小文件或者按行存储每行是一个独立的JSON对象即JSON Lines格式后缀常为.jsonl。# 写入JSON Lines with open(‘data.jsonl’, ‘w’, encoding‘utf-8’) as f: for item in large_list: f.write(json.dumps(item) ‘\n’) # 每行一个JSON对象 # 读取JSON Lines data_list [] with open(‘data.jsonl’, ‘r’, encoding‘utf-8’) as f: for line in f: data_list.append(json.loads(line.strip()))内存映射mmap对于极大的文件可以结合mmap模块和json.loads()的部分读取但这需要你对文件结构和JSON语法有较深的理解操作起来更复杂一般作为最后的手段。实操心得在大多数Web API和数据交换场景JSON文件都不会太大。优先使用标准库的json模块。只有当你明确知道要处理的数据量级非常大时才去考虑ijson或分块策略。过早优化是万恶之源先让程序能正确跑起来。4. 实战场景与常见问题排查理论讲得再多不如实际操练一遍。下面我们通过几个典型的实战场景把前面的知识串联起来并看看其中容易遇到的问题。4.1 场景一读写配置文件这是JSON最经典的应用之一。用JSON来存配置比ini或yaml需要额外安装库更通用比环境变量更适合存储结构化数据。步骤定义配置结构通常是一个字典包含应用的各种参数。保存配置程序启动或配置修改时用json.dump()写入文件。加载配置程序启动时用json.load()读取文件。如果文件不存在则使用默认配置并创建文件。import json import os CONFIG_FILE “app_config.json” DEFAULT_CONFIG { “database”: { “host”: “127.0.0.1”, “port”: 3306, “user”: “admin” }, “app”: { “debug”: False, “log_level”: “INFO” } } def load_config(): “”“加载配置文件如果不存在则创建默认配置”“” if os.path.exists(CONFIG_FILE): try: with open(CONFIG_FILE, ‘r’, encoding‘utf-8’) as f: return json.load(f) except (json.JSONDecodeError, IOError) as e: print(f“配置文件损坏或读取失败: {e}将使用默认配置。”) return DEFAULT_CONFIG.copy() else: print(“配置文件不存在创建默认配置。”) save_config(DEFAULT_CONFIG) return DEFAULT_CONFIG.copy() def save_config(config): “”“保存配置到文件”“” try: with open(CONFIG_FILE, ‘w’, encoding‘utf-8’) as f: json.dump(config, f, ensure_asciiFalse, indent4) print(“配置保存成功。”) except IOError as e: print(f“保存配置失败: {e}”) # 使用示例 current_config load_config() print(f“当前数据库主机: {current_config[‘database’][‘host’]}”) # 修改配置 current_config[‘app’][‘debug’] True save_config(current_config)4.2 场景二解析API响应从网络API如天气API、社交平台API获取的数据几乎都是JSON格式。这里我们结合requests库来演示。import json import requests def fetch_weather(city): “”“模拟获取天气数据使用公开的测试API”“” # 这里用一个模拟URL真实场景请替换为真实的API端点 url f“https://api.example.com/weather?city{city}” try: response requests.get(url, timeout5) response.raise_for_status() # 如果状态码不是200抛出HTTPError # 直接使用response.json()它内部调用了json.loads() weather_data response.json() return weather_data except requests.exceptions.RequestException as e: print(f“网络请求失败: {e}”) return None except json.JSONDecodeError as e: print(f“API返回的不是有效JSON: {e}”) print(f“原始响应文本: {response.text[:200]}”) # 打印前200字符用于调试 return None # 使用 data fetch_weather(“Beijing”) if data: # 实际API返回结构很复杂这里需要根据文档解析 # 例如print(data[‘current’][‘temp_c’]) print(“数据获取成功原始JSON结构:”) print(json.dumps(data, ensure_asciiFalse, indent2)[:500]) # 只打印前500字符注意response.json()确实方便但它一旦解析失败就会抛出json.JSONDecodeError。在生产环境中更稳健的做法是先获取文本response.text记录日志然后再尝试解析。这样即使API返回了HTML错误页面而不是JSON你也能在日志里看到原因而不是一个笼统的“解码错误”。4.3 常见错误与调试技巧处理JSON时你肯定会遇到各种错误。下面是一个快速排查指南错误/问题可能原因解决方案json.decoder.JSONDecodeError1. JSON字符串语法错误缺少引号、逗号、括号不匹配。2. 文件编码问题如包含BOM头或非UTF-8编码。3. 字符串中包含控制字符或非法字符。1. 使用在线的JSON验证工具如 JSONLint检查你的JSON字符串。2. 确保读写文件时指定正确的编码encoding‘utf-8’。对于有BOM的文件可用encoding‘utf-8-sig’。3. 打印出有问题的字符串片段检查是否有换行符\n等未转义在JSON字符串中应为\\n。TypeError: Object of type ... is not JSON serializable尝试序列化JSON不支持的类型如datetime,set, 自定义类实例。使用json.dumps()的default参数提供一个自定义序列化函数。中文字符显示为\uXXXXjson.dumps()的ensure_ascii参数默认为True。在json.dumps()或json.dump()中设置ensure_asciiFalse。读取文件后得到乱码文件保存的编码与读取时指定的编码不一致。统一使用UTF-8编码。在文本编辑器中确认文件编码并在open()函数中明确指定encoding‘utf-8’。处理超大文件时内存不足使用json.load()一次性加载整个文件。考虑使用ijson库进行流式解析或将文件转换为JSON Lines格式逐行处理。键Key的顺序在序列化后发生变化Python 3.7中字典虽保持插入顺序但json.dumps()默认不按此顺序输出。如果需要保持特定顺序可以使用collections.OrderedDict或在json.dumps()中设置sort_keysFalse但注意JSON标准本身不要求对象键有序某些解析器可能会打乱顺序。调试技巧实录有一次我遇到一个诡异的JSONDecodeError提示在某个位置有错误。我用print(repr(json_string[error_pos-50:error_pos50]))打印了错误位置附近的字符串并用repr()函数显示这才发现字符串中间夹杂了一个\x00空字符这是从某个旧数据库导数据时带出来的。JSON标准不允许字符串中有未转义的控制字符。最后的解决办法是在解析前先清洗字符串clean_string original_string.replace(‘\x00’, ‘’)。所以当JSON解析出错时别只看错误信息把有问题的原始数据“揪”出来仔细看往往能发现端倪。5. 与其他数据格式的互操作及工具链JSON虽然好用但也不是银弹。在实际项目中你可能会遇到需要与其他数据格式互相转换的情况。5.1 JSON与Python字典/列表的细微差别尽管非常相似但JSON和Python数据类型并非完全一一对应了解这些差异能避免一些隐蔽的bug数字类型JSON只有一种“数字”类型不区分整数和浮点数。Python的json模块在解码时会将没有小数点的数字解析为int有小数点的解析为float。但像1.0这样的数在JSON里是数字解码到Python会变成float类型的1.0而不是int的1。键的类型JSON要求对象的键必须是字符串。Python字典的键可以是任何不可变类型如整数、元组。当你尝试序列化一个键为整数的字典时json.dumps()会自动将这些键转换为字符串。d {1: “one”, 2: “two”} s json.dumps(d) print(s) # 输出{“1”: “one”, “2”: “two”} # 解码回来时键变成了字符串“1”和“2”不再是整数1和2。NaN,Infinity这些特殊的浮点数值在JSON标准中是不被允许的。Python的json模块默认无法序列化它们。如果你需要处理可以像处理datetime一样在default参数中自定义处理逻辑。5.2 与YAML、XML的转换有时你需要与使用其他格式的系统交互。JSON ↔ YAMLYAML可读性更好支持注释是很多配置文件的优选。使用PyYAML库可以轻松转换。pip install pyyamlimport json, yaml # JSON 转 YAML json_str ‘{“name”: “Alice”, “hobbies”: [“reading”]}’ python_obj json.loads(json_str) yaml_str yaml.dump(python_obj, default_flow_styleFalse, allow_unicodeTrue) print(yaml_str) # YAML 转 JSON yaml_content “”” name: Bob age: 30 “”” python_obj yaml.safe_load(yaml_content) json_str json.dumps(python_obj, indent2) print(json_str)注意尽量使用yaml.safe_load()而不是yaml.load()以避免潜在的安全风险它可能执行YAML中的任意代码。JSON ↔ XMLXML在有些老系统或特定领域如SOAP协议中仍在使用。转换相对复杂因为XML有标签、属性、命名空间等概念。可以使用xmltodict库它能在XML和类JSON的字典结构间转换。pip install xmltodictimport json, xmltodict # XML 转 JSON (实际上是转成字典再转JSON字符串) xml_string “”” person nameCharlie/name age28/age /person “”” dict_data xmltodict.parse(xml_string) json_string json.dumps(dict_data, indent2) print(json_string) # 字典 转 XML dict_data {“person”: {“name”: “David”, “age”: 35}} xml_string xmltodict.unparse(dict_data, prettyTrue) print(xml_string)5.3 开发工具与编辑器支持工欲善其事必先利其器。好的工具能极大提升你处理JSON的效率。代码编辑器/IDEVS Code 对JSON有原生高亮和语法验证。安装“JSON Tools”等扩展可以一键格式化美化、压缩去除空格JSON。在配置Python环境时其强大的调试和代码提示功能也对处理JSON数据很有帮助。PyCharm 作为专业的Python IDE对JSON的支持同样出色能自动识别.json文件并提供格式化、验证和代码折叠功能。EditPlus / Notepad 这些轻量级编辑器可以通过插件或内置功能实现JSON格式化。在EditPlus中通常需要安装或配置一个JSON格式化工具如jq命令行工具并将其集成到工具菜单中。命令行工具jq 这是一个处理JSON数据的命令行“瑞士军刀”特别适合在Shell脚本中过滤、查询、转换JSON。虽然学习曲线稍陡但功能极其强大。# 示例从 data.json 中提取所有 name 字段 cat data.json | jq ‘.[].name’Python内置 对于简单的格式化可以直接在Python交互环境里操作。python -m json.tool ugly.json pretty.json这条命令会读取ugly.json文件将其美化后输出到pretty.json。在线工具 像 JSONLint、JSON Formatter Validator 这类网站当你遇到棘手的JSON语法错误时粘贴进去就能快速定位问题非常方便。我个人在开发中的习惯是在VS Code里写代码和查看JSON文件用它的格式化快捷键ShiftAltF在写脚本或需要自动化处理时会用到jq当怀疑数据源有问题时第一时间用在线验证工具检查。这套组合拳基本能解决所有日常遇到的JSON相关问题。说到底工具是辅助核心还是对JSON结构和Pythonjson模块的透彻理解。理解了原理无论数据以何种形式出现你都能游刃有余地处理。
1. 项目概述为什么JSON处理是Python开发的必修课如果你刚开始接触Python或者已经写过一些脚本迟早会遇到一个叫JSON的东西。它可能出现在你调用某个网站API的返回值里也可能是一个配置文件或者是你从数据库导出来的一堆数据。我第一次被JSON“教育”是在做一个天气查询的小工具时从服务器拿回来的数据像一团乱麻当时完全不知道从何下手。后来才发现在Python里处理JSON熟练之后其实就跟打开一个文本文件、读几行字一样简单。这篇指南的目的就是帮你跨过这个“一看就会一写就废”的坎儿把JSON文件的读取、解析、修改、保存这一整套流程掰开揉碎了讲清楚。无论你是想分析网络数据、管理应用配置还是在不同程序间交换信息这套功夫都是基础中的基础绕不开的。简单说JSON就是一种轻量级的数据交换格式它用文本的方式清晰地表示出数组、键值对这样的结构人眼能看机器也好解析。Python呢非常贴心地内置了一个叫json的模块专门负责在这两种形态之间转换把Python里的字典、列表变成JSON格式的字符串这个过程叫序列化或编码或者把JSON字符串变回Python能直接操作的数据结构反序列化或解码。接下来我会从最基础的读写操作讲起深入到编码细节、性能优化再到实际项目里那些容易踩的坑手把手带你掌握这门必备技能。2. 核心模块解析标准库json的完全使用手册Python标准库里的json模块是你处理JSON数据的瑞士军刀。它设计得非常直观核心功能就围绕四个函数展开json.load()json.loads()json.dump()和json.dumps()。单看名字容易晕记住这个诀窍带s的函数处理的是字符串String不带s的函数处理的是文件File。2.1 解码反序列化从JSON到Python对象当你的数据来源是一个JSON格式的字符串或者文件你需要把它“解码”成Python的列表、字典等原生类型这个过程就是反序列化。json.loads()- 解码JSON字符串这是你最常用的函数之一。假设你从网络请求中得到了一个JSON字符串import json json_string {name: Alice, age: 30, city: New York, hobbies: [reading, hiking]} python_dict json.loads(json_string) print(type(python_dict)) # 输出class dict print(python_dict[name]) # 输出Alice print(python_dict[hobbies][1]) # 输出hikingjson.loads()接收一个合法的JSON字符串返回对应的Python对象。JSON的object会变成Python的dictarray变成liststring变成strnumber变成int或floattrue/false变成True/Falsenull变成None。json.load()- 从文件解码当你的JSON数据存储在一个文件里比如config.json,data.json用这个函数最方便。它会自动打开文件读取内容并解码。import json # 假设有一个 data.json 文件内容为{project: JSON Guide, version: 1} with open(data.json, r, encodingutf-8) as f: data json.load(f) print(data[project]) # 输出JSON Guide注意务必使用with open()...语句来管理文件。它能确保文件在使用后被正确关闭即使处理过程中发生了异常。encodingutf-8参数也强烈建议加上这能避免处理中文或其他非ASCII字符时出现乱码问题这是新手常踩的一个坑。2.2 编码序列化从Python对象到JSON当你需要把Python程序里的数据保存成JSON文件或者通过网络发送出去时就需要进行序列化操作。json.dumps()- 编码为JSON字符串这个函数将Python对象转换成一个JSON格式的字符串。import json python_data { name: Bob, is_student: False, courses: [Math, Physics], score: None # Python的None会被转为JSON的null } json_str json.dumps(python_data) print(json_str) # 输出{name: Bob, is_student: false, courses: [Math, Physics], score: null} print(type(json_str)) # 输出class strjson.dump()- 编码并写入文件直接将Python对象序列化后写入一个文件。import json config { host: localhost, port: 8080, debug_mode: True } with open(config.json, w, encodingutf-8) as f: json.dump(config, f)执行后当前目录下就会生成一个config.json文件里面是格式化的JSON内容。2.3 美化输出与关键参数详解默认情况下json.dumps()和json.dump()生成的字符串是紧凑的没有空格和换行不利于阅读。这在传输时省带宽但调试时就很痛苦。这时就需要用到几个关键参数indent 定义缩进空格数让JSON结构层次分明。ensure_ascii 默认为True所有非ASCII字符如中文都会被转义成\uXXXX的形式。设置为False后这些字符会原样输出可读性大大增强。sort_keys 默认为False。设置为True时输出的字典键会按照字母顺序排序这在需要生成确定性输出比如做数据比对或版本控制时非常有用。data {姓名: 小明, 年龄: 25, 城市: 北京} # 默认输出不友好 compact json.dumps(data) print(compact) # 输出{\u59d3\u540d: \u5c0f\u660e, \u5e74\u9f84: 25, \u57ce\u5e02: \u5317\u4eac} # 美化输出友好 pretty json.dumps(data, ensure_asciiFalse, indent4, sort_keysTrue) print(pretty) # 输出 # { # “城市”: “北京” # “年龄”: 25, # “姓名”: “小明” # }在实际项目中我习惯在调试时将indent设为2或4ensure_ascii设为False。而在生产环境进行网络传输时则去掉indent以节省空间。3. 进阶技巧与自定义处理掌握了基本读写你会发现有些场景下默认行为不够用。比如JSON里有个日期字符串“2023-10-27”你想在Python里把它变成datetime对象或者你有一个自定义的类对象想把它也序列化成JSON。这就需要用到json模块更高级的功能。3.1 处理复杂数据类型default和object_hook参数Python的datetime对象或者你自己定义的User类都不是JSON标准支持的类型。直接dumps会抛出TypeError。这时你需要为json.dumps()或json.dump()提供default参数它是一个函数用于处理无法被直接序列化的对象。import json from datetime import datetime def custom_serializer(obj): 自定义序列化函数 if isinstance(obj, datetime): # 将datetime对象转换为ISO格式的字符串 return obj.isoformat() # 如果还有其他不支持的类型可以继续添加判断 # elif isinstance(obj, YourClass): # return obj.to_dict() # 假设你的类有一个to_dict方法 else: # 对于其他无法处理的类型抛出TypeError raise TypeError(f“Object of type {obj.__class__.__name__} is not JSON serializable”) data { “event”: “Meeting”, “time”: datetime.now() } json_str json.dumps(data, defaultcustom_serializer, ensure_asciiFalse, indent2) print(json_str) # 输出会包含类似 “time”: “2023-10-27T14:30:00.123456” 的内容反过来当你从JSON中读回数据想把特定的字符串比如ISO格式的日期还原成Python对象时可以使用json.loads()或json.load()的object_hook参数。这个钩子函数会在解码每个字典时被调用你可以在这里面做转换。def custom_deserializer(dct): 自定义反序列化钩子 if “time” in dct and isinstance(dct[“time”], str): # 尝试将“time”字段的字符串解析为datetime对象 try: dct[“time”] datetime.fromisoformat(dct[“time”]) except ValueError: pass # 如果解析失败保持原样 return dct json_str ‘{“event”: “Meeting”, “time”: “2023-10-27T14:30:00”}’ data json.loads(json_str, object_hookcustom_deserializer) print(data[“time”]) # 输出2023-10-27 14:30:00 (一个datetime对象) print(type(data[“time”])) # 输出class ‘datetime.datetime’3.2 性能考量处理大型JSON文件当你处理几十MB甚至上GB的JSON文件时一次性用json.load()读入内存可能会导致程序崩溃。对于这种大型文件有几种策略使用ijson库进行流式解析ijson是一个第三方库它可以像读流一样解析JSON文件一次只加载一小部分到内存特别适合处理巨大的JSON数组或对象。pip install ijsonimport ijson # 流式解析一个大型数组中的每一项 with open(‘huge_data.json’, ‘rb’) as f: # ijson 通常需要二进制模式 for item in ijson.items(f, ‘item’): # ‘item’是JSON路径 process(item) # 逐项处理内存友好分块读取与写入如果数据结构允许可以考虑将一个大JSON文件拆分成多个小文件或者按行存储每行是一个独立的JSON对象即JSON Lines格式后缀常为.jsonl。# 写入JSON Lines with open(‘data.jsonl’, ‘w’, encoding‘utf-8’) as f: for item in large_list: f.write(json.dumps(item) ‘\n’) # 每行一个JSON对象 # 读取JSON Lines data_list [] with open(‘data.jsonl’, ‘r’, encoding‘utf-8’) as f: for line in f: data_list.append(json.loads(line.strip()))内存映射mmap对于极大的文件可以结合mmap模块和json.loads()的部分读取但这需要你对文件结构和JSON语法有较深的理解操作起来更复杂一般作为最后的手段。实操心得在大多数Web API和数据交换场景JSON文件都不会太大。优先使用标准库的json模块。只有当你明确知道要处理的数据量级非常大时才去考虑ijson或分块策略。过早优化是万恶之源先让程序能正确跑起来。4. 实战场景与常见问题排查理论讲得再多不如实际操练一遍。下面我们通过几个典型的实战场景把前面的知识串联起来并看看其中容易遇到的问题。4.1 场景一读写配置文件这是JSON最经典的应用之一。用JSON来存配置比ini或yaml需要额外安装库更通用比环境变量更适合存储结构化数据。步骤定义配置结构通常是一个字典包含应用的各种参数。保存配置程序启动或配置修改时用json.dump()写入文件。加载配置程序启动时用json.load()读取文件。如果文件不存在则使用默认配置并创建文件。import json import os CONFIG_FILE “app_config.json” DEFAULT_CONFIG { “database”: { “host”: “127.0.0.1”, “port”: 3306, “user”: “admin” }, “app”: { “debug”: False, “log_level”: “INFO” } } def load_config(): “”“加载配置文件如果不存在则创建默认配置”“” if os.path.exists(CONFIG_FILE): try: with open(CONFIG_FILE, ‘r’, encoding‘utf-8’) as f: return json.load(f) except (json.JSONDecodeError, IOError) as e: print(f“配置文件损坏或读取失败: {e}将使用默认配置。”) return DEFAULT_CONFIG.copy() else: print(“配置文件不存在创建默认配置。”) save_config(DEFAULT_CONFIG) return DEFAULT_CONFIG.copy() def save_config(config): “”“保存配置到文件”“” try: with open(CONFIG_FILE, ‘w’, encoding‘utf-8’) as f: json.dump(config, f, ensure_asciiFalse, indent4) print(“配置保存成功。”) except IOError as e: print(f“保存配置失败: {e}”) # 使用示例 current_config load_config() print(f“当前数据库主机: {current_config[‘database’][‘host’]}”) # 修改配置 current_config[‘app’][‘debug’] True save_config(current_config)4.2 场景二解析API响应从网络API如天气API、社交平台API获取的数据几乎都是JSON格式。这里我们结合requests库来演示。import json import requests def fetch_weather(city): “”“模拟获取天气数据使用公开的测试API”“” # 这里用一个模拟URL真实场景请替换为真实的API端点 url f“https://api.example.com/weather?city{city}” try: response requests.get(url, timeout5) response.raise_for_status() # 如果状态码不是200抛出HTTPError # 直接使用response.json()它内部调用了json.loads() weather_data response.json() return weather_data except requests.exceptions.RequestException as e: print(f“网络请求失败: {e}”) return None except json.JSONDecodeError as e: print(f“API返回的不是有效JSON: {e}”) print(f“原始响应文本: {response.text[:200]}”) # 打印前200字符用于调试 return None # 使用 data fetch_weather(“Beijing”) if data: # 实际API返回结构很复杂这里需要根据文档解析 # 例如print(data[‘current’][‘temp_c’]) print(“数据获取成功原始JSON结构:”) print(json.dumps(data, ensure_asciiFalse, indent2)[:500]) # 只打印前500字符注意response.json()确实方便但它一旦解析失败就会抛出json.JSONDecodeError。在生产环境中更稳健的做法是先获取文本response.text记录日志然后再尝试解析。这样即使API返回了HTML错误页面而不是JSON你也能在日志里看到原因而不是一个笼统的“解码错误”。4.3 常见错误与调试技巧处理JSON时你肯定会遇到各种错误。下面是一个快速排查指南错误/问题可能原因解决方案json.decoder.JSONDecodeError1. JSON字符串语法错误缺少引号、逗号、括号不匹配。2. 文件编码问题如包含BOM头或非UTF-8编码。3. 字符串中包含控制字符或非法字符。1. 使用在线的JSON验证工具如 JSONLint检查你的JSON字符串。2. 确保读写文件时指定正确的编码encoding‘utf-8’。对于有BOM的文件可用encoding‘utf-8-sig’。3. 打印出有问题的字符串片段检查是否有换行符\n等未转义在JSON字符串中应为\\n。TypeError: Object of type ... is not JSON serializable尝试序列化JSON不支持的类型如datetime,set, 自定义类实例。使用json.dumps()的default参数提供一个自定义序列化函数。中文字符显示为\uXXXXjson.dumps()的ensure_ascii参数默认为True。在json.dumps()或json.dump()中设置ensure_asciiFalse。读取文件后得到乱码文件保存的编码与读取时指定的编码不一致。统一使用UTF-8编码。在文本编辑器中确认文件编码并在open()函数中明确指定encoding‘utf-8’。处理超大文件时内存不足使用json.load()一次性加载整个文件。考虑使用ijson库进行流式解析或将文件转换为JSON Lines格式逐行处理。键Key的顺序在序列化后发生变化Python 3.7中字典虽保持插入顺序但json.dumps()默认不按此顺序输出。如果需要保持特定顺序可以使用collections.OrderedDict或在json.dumps()中设置sort_keysFalse但注意JSON标准本身不要求对象键有序某些解析器可能会打乱顺序。调试技巧实录有一次我遇到一个诡异的JSONDecodeError提示在某个位置有错误。我用print(repr(json_string[error_pos-50:error_pos50]))打印了错误位置附近的字符串并用repr()函数显示这才发现字符串中间夹杂了一个\x00空字符这是从某个旧数据库导数据时带出来的。JSON标准不允许字符串中有未转义的控制字符。最后的解决办法是在解析前先清洗字符串clean_string original_string.replace(‘\x00’, ‘’)。所以当JSON解析出错时别只看错误信息把有问题的原始数据“揪”出来仔细看往往能发现端倪。5. 与其他数据格式的互操作及工具链JSON虽然好用但也不是银弹。在实际项目中你可能会遇到需要与其他数据格式互相转换的情况。5.1 JSON与Python字典/列表的细微差别尽管非常相似但JSON和Python数据类型并非完全一一对应了解这些差异能避免一些隐蔽的bug数字类型JSON只有一种“数字”类型不区分整数和浮点数。Python的json模块在解码时会将没有小数点的数字解析为int有小数点的解析为float。但像1.0这样的数在JSON里是数字解码到Python会变成float类型的1.0而不是int的1。键的类型JSON要求对象的键必须是字符串。Python字典的键可以是任何不可变类型如整数、元组。当你尝试序列化一个键为整数的字典时json.dumps()会自动将这些键转换为字符串。d {1: “one”, 2: “two”} s json.dumps(d) print(s) # 输出{“1”: “one”, “2”: “two”} # 解码回来时键变成了字符串“1”和“2”不再是整数1和2。NaN,Infinity这些特殊的浮点数值在JSON标准中是不被允许的。Python的json模块默认无法序列化它们。如果你需要处理可以像处理datetime一样在default参数中自定义处理逻辑。5.2 与YAML、XML的转换有时你需要与使用其他格式的系统交互。JSON ↔ YAMLYAML可读性更好支持注释是很多配置文件的优选。使用PyYAML库可以轻松转换。pip install pyyamlimport json, yaml # JSON 转 YAML json_str ‘{“name”: “Alice”, “hobbies”: [“reading”]}’ python_obj json.loads(json_str) yaml_str yaml.dump(python_obj, default_flow_styleFalse, allow_unicodeTrue) print(yaml_str) # YAML 转 JSON yaml_content “”” name: Bob age: 30 “”” python_obj yaml.safe_load(yaml_content) json_str json.dumps(python_obj, indent2) print(json_str)注意尽量使用yaml.safe_load()而不是yaml.load()以避免潜在的安全风险它可能执行YAML中的任意代码。JSON ↔ XMLXML在有些老系统或特定领域如SOAP协议中仍在使用。转换相对复杂因为XML有标签、属性、命名空间等概念。可以使用xmltodict库它能在XML和类JSON的字典结构间转换。pip install xmltodictimport json, xmltodict # XML 转 JSON (实际上是转成字典再转JSON字符串) xml_string “”” person nameCharlie/name age28/age /person “”” dict_data xmltodict.parse(xml_string) json_string json.dumps(dict_data, indent2) print(json_string) # 字典 转 XML dict_data {“person”: {“name”: “David”, “age”: 35}} xml_string xmltodict.unparse(dict_data, prettyTrue) print(xml_string)5.3 开发工具与编辑器支持工欲善其事必先利其器。好的工具能极大提升你处理JSON的效率。代码编辑器/IDEVS Code 对JSON有原生高亮和语法验证。安装“JSON Tools”等扩展可以一键格式化美化、压缩去除空格JSON。在配置Python环境时其强大的调试和代码提示功能也对处理JSON数据很有帮助。PyCharm 作为专业的Python IDE对JSON的支持同样出色能自动识别.json文件并提供格式化、验证和代码折叠功能。EditPlus / Notepad 这些轻量级编辑器可以通过插件或内置功能实现JSON格式化。在EditPlus中通常需要安装或配置一个JSON格式化工具如jq命令行工具并将其集成到工具菜单中。命令行工具jq 这是一个处理JSON数据的命令行“瑞士军刀”特别适合在Shell脚本中过滤、查询、转换JSON。虽然学习曲线稍陡但功能极其强大。# 示例从 data.json 中提取所有 name 字段 cat data.json | jq ‘.[].name’Python内置 对于简单的格式化可以直接在Python交互环境里操作。python -m json.tool ugly.json pretty.json这条命令会读取ugly.json文件将其美化后输出到pretty.json。在线工具 像 JSONLint、JSON Formatter Validator 这类网站当你遇到棘手的JSON语法错误时粘贴进去就能快速定位问题非常方便。我个人在开发中的习惯是在VS Code里写代码和查看JSON文件用它的格式化快捷键ShiftAltF在写脚本或需要自动化处理时会用到jq当怀疑数据源有问题时第一时间用在线验证工具检查。这套组合拳基本能解决所有日常遇到的JSON相关问题。说到底工具是辅助核心还是对JSON结构和Pythonjson模块的透彻理解。理解了原理无论数据以何种形式出现你都能游刃有余地处理。
![[C++]内存管理：串顺序存储的内存回收](http://pic.xiahunao.cn/yaotu/[C++]内存管理：串顺序存储的内存回收)
