在日常数据处理工作中你是否遇到过这样的困扰Excel处理大量数据时卡顿严重SQL查询结果需要进一步分析时操作繁琐或者需要从多个数据源整合信息时手动操作效率低下这些问题都可以通过Python的Pandas库得到完美解决。本文将用2小时带你系统掌握Pandas数据分析的核心技能从基础概念到实战应用涵盖数据处理、分析和可视化的完整流程无论是数据分析初学者还是希望提升效率的开发者都能快速上手。1. Pandas数据分析入门基础1.1 什么是Pandas及其核心价值Pandas是Python语言中一个开源的数据分析库提供了快速、灵活、易用的数据结构旨在使关系或标记数据的工作变得简单直观。它构建在NumPy库之上为Python编程语言提供了高性能的数据操作能力。Pandas的核心价值体现在以下几个方面数据处理效率能够快速处理GB级别的大型数据集数据清洗能力提供丰富的数据清洗和预处理功能数据整合功能支持多种数据源的读取和合并操作时间序列分析内置强大的时间序列处理能力数据可视化集成与Matplotlib、Seaborn等可视化库无缝集成1.2 Pandas在数据分析领域的地位在当今的数据分析生态中Pandas已经成为Python数据分析的事实标准。根据2023年的开发者调查Pandas在数据科学项目中的使用率超过85%远高于其他数据处理工具。无论是学术研究、商业分析还是机器学习项目Pandas都扮演着不可或缺的角色。与Excel相比Pandas可以处理更大规模的数据集与SQL相比Pandas提供了更灵活的数据操作方式与R语言相比Pandas与Python生态系统的集成更加紧密。这种独特的定位使得Pandas成为数据分析和数据科学领域的必备技能。2. 环境准备与Pandas安装2.1 安装Python和Pandas在开始学习Pandas之前需要确保你的环境中已经安装了Python和Pandas库。推荐使用Python 3.7及以上版本这些版本对Pandas有更好的支持。使用pip安装Pandas# 基础安装 pip install pandas # 如果使用Anaconda conda install pandas # 安装完整的数据科学套件推荐 pip install pandas numpy matplotlib jupyter验证安装是否成功import pandas as pd print(pd.__version__)2.2 开发环境配置对于Pandas学习推荐使用Jupyter Notebook或Jupyter Lab这些交互式环境特别适合数据探索和分析工作。启动Jupyter Notebook# 安装Jupyter pip install jupyter # 启动Notebook jupyter notebook在Notebook中你可以逐行执行代码并立即看到结果这种即时反馈的学习方式非常适合数据分析初学者。3. Pandas核心数据结构详解3.1 Series一维数据容器Series是Pandas中最基本的数据结构类似于一维数组或列表但带有标签索引。创建Series的多种方式import pandas as pd import numpy as np # 从列表创建 s1 pd.Series([1, 3, 5, 7, 9]) print(从列表创建:, s1) # 从字典创建字典的键成为索引 s2 pd.Series({a: 10, b: 20, c: 30}) print(从字典创建:, s2) # 指定索引和数据类型 s3 pd.Series([1.1, 2.2, 3.3], index[x, y, z], dtypefloat64) print(指定索引和类型:, s3)Series的基本操作# 创建示例Series data pd.Series([10, 20, 30, 40, 50], index[a, b, c, d, e]) # 访问数据 print(第一个元素:, data[0]) # 位置索引 print(索引a的值:, data[a]) # 标签索引 # 切片操作 print(前三个元素:, data[:3]) print(索引a到c:, data[a:c]) # 基本统计 print(平均值:, data.mean()) print(总和:, data.sum()) print(最大值:, data.max())3.2 DataFrame二维数据表DataFrame是Pandas中最重要的数据结构可以看作是由多个Series组成的二维表格类似于Excel工作表或SQL数据库表。创建DataFrame的常用方法# 从字典创建最常用 data { 姓名: [张三, 李四, 王五, 赵六], 年龄: [25, 30, 35, 28], 城市: [北京, 上海, 广州, 深圳], 薪资: [15000, 20000, 18000, 22000] } df pd.DataFrame(data) print(基本DataFrame:) print(df) # 从列表创建 data_list [ [张三, 25, 北京, 15000], [李四, 30, 上海, 20000], [王五, 35, 广州, 18000], [赵六, 28, 深圳, 22000] ] df_list pd.DataFrame(data_list, columns[姓名, 年龄, 城市, 薪资]) print(从列表创建:) print(df_list)DataFrame的基本属性和方法# 查看DataFrame的基本信息 print(形状行数, 列数:, df.shape) print(索引:, df.index) print(列名:, df.columns) print(数据类型:) print(df.dtypes) # 查看数据 print(前2行:) print(df.head(2)) print(后2行:) print(df.tail(2)) # 基本统计信息 print(描述性统计:) print(df.describe())4. 数据读取与导出实战4.1 读取各种格式的数据Pandas支持读取多种数据格式这是其强大功能的重要体现。读取CSV文件# 基本读取 df_csv pd.read_csv(data.csv) # 带参数的读取处理常见问题 df_csv pd.read_csv( data.csv, encodingutf-8, # 指定编码 sep,, # 分隔符 header0, # 表头行 index_col0, # 索引列 na_values[NULL, N/A] # 识别为缺失值的值 )读取Excel文件# 读取Excel df_excel pd.read_excel(data.xlsx, sheet_nameSheet1) # 读取多个sheet with pd.ExcelFile(data.xlsx) as xls: df_sheet1 pd.read_excel(xls, Sheet1) df_sheet2 pd.read_excel(xls, Sheet2)读取JSON数据# 从JSON文件读取 df_json pd.read_json(data.json) # 从JSON字符串读取 json_str {姓名: [张三, 李四], 年龄: [25, 30]} df_json_str pd.read_json(json_str)4.2 数据导出保存将处理好的数据保存为各种格式同样重要。保存为CSV文件df.to_csv( output.csv, indexFalse, # 不保存索引 encodingutf-8-sig # 支持中文的编码 )保存为Excel文件df.to_excel( output.xlsx, sheet_name处理结果, indexFalse )5. 数据清洗与预处理5.1 处理缺失值真实世界的数据往往存在缺失值Pandas提供了多种处理方式。检测缺失值# 创建包含缺失值的示例数据 data { 姓名: [张三, 李四, 王五, None], 年龄: [25, None, 35, 28], 薪资: [15000, 20000, None, 22000] } df pd.DataFrame(data) print(缺失值统计:) print(df.isnull().sum()) print(数据概览:) print(df.info())处理缺失值# 删除包含缺失值的行 df_dropna df.dropna() print(删除缺失值后:) print(df_dropna) # 填充缺失值 df_fillna df.fillna({ 姓名: 未知, 年龄: df[年龄].mean(), # 用平均值填充 薪资: 0 # 用0填充 }) print(填充缺失值后:) print(df_fillna) # 向前填充或向后填充 df_ffill df.fillna(methodffill) # 用前一个有效值填充 print(向前填充后:) print(df_ffill)5.2 数据去重与类型转换数据去重操作# 创建包含重复值的数据 data { 姓名: [张三, 李四, 张三, 王五, 李四], 年龄: [25, 30, 25, 35, 30], 城市: [北京, 上海, 北京, 广州, 上海] } df pd.DataFrame(data) print(原始数据:) print(df) # 检测重复行 print(重复行数:, df.duplicated().sum()) # 删除重复行 df_dedup df.drop_duplicates() print(去重后数据:) print(df_dedup) # 基于特定列去重 df_dedup_col df.drop_duplicates(subset[姓名]) print(按姓名去重:) print(df_dedup_col)数据类型转换# 数据类型转换示例 data { 字符串数字: [100, 200, 300], 日期字符串: [2023-01-01, 2023-01-02, 2023-01-03], 布尔字符串: [True, False, True] } df pd.DataFrame(data) print(转换前数据类型:) print(df.dtypes) # 类型转换 df[字符串数字] df[字符串数字].astype(int) df[日期字符串] pd.to_datetime(df[日期字符串]) df[布尔字符串] df[布尔字符串].map({True: True, False: False}) print(转换后数据类型:) print(df.dtypes)6. 数据筛选与排序技巧6.1 条件筛选数据基于条件的筛选# 创建示例数据 data { 姓名: [张三, 李四, 王五, 赵六, 钱七], 年龄: [25, 30, 35, 28, 32], 城市: [北京, 上海, 广州, 北京, 深圳], 薪资: [15000, 20000, 18000, 22000, 25000] } df pd.DataFrame(data) # 单条件筛选 beijing_employees df[df[城市] 北京] print(北京员工:) print(beijing_employees) # 多条件筛选且关系 high_salary_beijing df[(df[城市] 北京) (df[薪资] 20000)] print(北京高薪员工:) print(high_salary_beijing) # 多条件筛选或关系 beijing_shanghai df[(df[城市] 北京) | (df[城市] 上海)] print(北京或上海员工:) print(beijing_shanghai)使用query方法筛选# 使用query方法更简洁 result df.query(年龄 30 and 薪资 20000) print(30岁以上且薪资2万以上:) print(result) # 包含变量的查询 min_age 30 max_salary 25000 result_var df.query(年龄 min_age and 薪资 max_salary) print(使用变量查询:) print(result_var)6.2 数据排序操作单列和多列排序# 按单列排序 df_sorted_salary df.sort_values(薪资, ascendingFalse) print(按薪资降序排序:) print(df_sorted_salary) # 按多列排序 df_sorted_multi df.sort_values([城市, 薪资], ascending[True, False]) print(先按城市升序再按薪资降序:) print(df_sorted_multi) # 按索引排序 df_sorted_index df.sort_index(ascendingFalse) print(按索引降序排序:) print(df_sorted_index)7. 数据分组与聚合分析7.1 分组操作基础分组聚合是数据分析的核心操作可以揭示数据中的模式和趋势。基本分组操作# 创建销售数据示例 data { 销售员: [张三, 李四, 王五, 张三, 李四, 王五, 张三, 李四], 产品类别: [电子, 电子, 电子, 服装, 服装, 服装, 家居, 家居], 销售额: [1000, 1200, 800, 500, 600, 700, 300, 400], 月份: [1月, 1月, 1月, 2月, 2月, 2月, 3月, 3月] } df pd.DataFrame(data) print(原始销售数据:) print(df) # 按销售员分组计算总销售额 grouped_salesman df.groupby(销售员)[销售额].sum() print(按销售员分组的总销售额:) print(grouped_salesman) # 按产品类别分组计算平均销售额 grouped_category df.groupby(产品类别)[销售额].mean() print(按产品类别的平均销售额:) print(grouped_category)7.2 多维度聚合分析多列分组和多种聚合函数# 多列分组 grouped_multi df.groupby([销售员, 产品类别])[销售额].sum() print(按销售员和产品类别分组:) print(grouped_multi) # 使用agg进行多种聚合计算 agg_result df.groupby(销售员)[销售额].agg([sum, mean, count, max]) print(多种聚合统计:) print(agg_result) # 对不同列使用不同的聚合函数 agg_result_multi df.groupby(销售员).agg({ 销售额: [sum, mean], 产品类别: count }) print(多列不同聚合:) print(agg_result_multi)8. 数据合并与连接操作8.1 多种合并方式在实际项目中数据往往分散在多个表中需要合并分析。concat纵向合并# 创建两个结构相同的DataFrame df1 pd.DataFrame({ 姓名: [张三, 李四], 年龄: [25, 30], 部门: [技术部, 市场部] }) df2 pd.DataFrame({ 姓名: [王五, 赵六], 年龄: [35, 28], 部门: [财务部, 人事部] }) # 纵向合并 df_concat pd.concat([df1, df2], ignore_indexTrue) print(合并后的数据:) print(df_concat)merge横向连接# 创建两个有关联的DataFrame df_employees pd.DataFrame({ 员工ID: [1, 2, 3, 4], 姓名: [张三, 李四, 王五, 赵六], 部门ID: [101, 102, 101, 103] }) df_departments pd.DataFrame({ 部门ID: [101, 102, 103], 部门名称: [技术部, 市场部, 财务部] }) # 内连接 df_inner pd.merge(df_employees, df_departments, on部门ID, howinner) print(内连接结果:) print(df_inner) # 左连接 df_left pd.merge(df_employees, df_departments, on部门ID, howleft) print(左连接结果:) print(df_left)9. 实战案例学生成绩分析系统9.1 案例背景与数据准备让我们通过一个完整的学生成绩分析案例综合运用前面学到的Pandas技能。创建示例数据# 学生基本信息 students_data { 学号: [S001, S002, S003, S004, S005], 姓名: [张三, 李四, 王五, 赵六, 钱七], 班级: [一班, 一班, 二班, 二班, 三班], 性别: [男, 女, 男, 女, 男] } # 成绩信息 scores_data { 学号: [S001, S002, S003, S004, S005, S001, S002, S003], 科目: [数学, 数学, 数学, 数学, 数学, 英语, 英语, 英语], 成绩: [85, 92, 78, 88, 95, 80, 85, 90] } df_students pd.DataFrame(students_data) df_scores pd.DataFrame(scores_data) print(学生信息:) print(df_students) print(\n成绩信息:) print(df_scores)9.2 数据分析与统计数据合并与基本分析# 合并学生信息和成绩信息 df_combined pd.merge(df_students, df_scores, on学号) print(合并后的数据:) print(df_combined) # 按班级统计平均成绩 class_avg df_combined.groupby(班级)[成绩].mean() print(各班平均成绩:) print(class_avg) # 按科目和性别统计 subject_gender_avg df_combined.groupby([科目, 性别])[成绩].mean() print(各科目男女平均成绩:) print(subject_gender_avg)高级分析# 创建数据透视表 pivot_table pd.pivot_table(df_combined, values成绩, index班级, columns科目, aggfuncmean) print(数据透视表:) print(pivot_table) # 成绩分段统计 def grade_level(score): if score 90: return 优秀 elif score 80: return 良好 elif score 70: return 中等 else: return 待提高 df_combined[等级] df_combined[成绩].apply(grade_level) grade_distribution df_combined[等级].value_counts() print(成绩等级分布:) print(grade_distribution)10. 数据可视化基础10.1 使用Pandas内置绘图功能Pandas集成了Matplotlib的绘图功能可以快速创建各种图表。基本图表绘制import matplotlib.pyplot as plt # 设置中文字体 plt.rcParams[font.sans-serif] [SimHei] plt.rcParams[axes.unicode_minus] False # 创建示例数据 data { 月份: [1月, 2月, 3月, 4月, 5月, 6月], 销售额: [100, 150, 130, 200, 180, 220], 利润: [20, 30, 25, 40, 35, 45] } df pd.DataFrame(data) # 折线图 df.plot(x月份, y[销售额, 利润], kindline, title销售额和利润趋势) plt.show() # 柱状图 df.plot(x月份, y销售额, kindbar, title月度销售额) plt.show()10.2 常用统计图表多种图表类型示例# 创建学生成绩数据 grades_data { 等级: [优秀, 良好, 中等, 待提高], 人数: [15, 25, 30, 10] } df_grades pd.DataFrame(grades_data) # 饼图 df_grades.plot(x等级, y人数, kindpie, autopct%1.1f%%, title成绩等级分布) plt.ylabel() # 隐藏y轴标签 plt.show() # 箱线图查看数据分布 df_combined[[成绩]].plot(kindbox, title成绩分布箱线图) plt.show()11. 常见问题与解决方案11.1 性能优化技巧处理大数据集时的优化# 使用合适的数据类型节省内存 def reduce_memory_usage(df): 优化DataFrame内存使用 start_mem df.memory_usage().sum() / 1024**2 print(f初始内存使用: {start_mem:.2f} MB) for col in df.columns: col_type df[col].dtype if col_type ! object: c_min df[col].min() c_max df[col].max() if str(col_type)[:3] int: if c_min np.iinfo(np.int8).min and c_max np.iinfo(np.int8).max: df[col] df[col].astype(np.int8) elif c_min np.iinfo(np.int16).min and c_max np.iinfo(np.int16).max: df[col] df[col].astype(np.int16) # 继续其他类型的优化... end_mem df.memory_usage().sum() / 1024**2 print(f优化后内存使用: {end_mem:.2f} MB) print(f内存减少: {100 * (start_mem - end_mem) / start_mem:.1f}%) return df # 使用分块读取大文件 chunk_size 10000 chunks [] for chunk in pd.read_csv(large_file.csv, chunksizechunk_size): # 对每个块进行处理 processed_chunk process_data(chunk) chunks.append(processed_chunk) df_combined pd.concat(chunks)11.2 常见错误处理数据类型错误处理# 安全的数据类型转换 def safe_convert_to_numeric(series): 安全转换为数值类型 try: return pd.to_numeric(series, errorscoerce) except Exception as e: print(f转换错误: {e}) return series # 处理文件读取编码问题 def read_file_safe(file_path): 安全读取文件自动尝试多种编码 encodings [utf-8, gbk, gb2312, latin1] for encoding in encodings: try: return pd.read_csv(file_path, encodingencoding) except UnicodeDecodeError: continue raise ValueError(无法找到合适的编码读取文件)12. Pandas最佳实践与进阶学习12.1 代码规范与性能建议Pandas编程最佳实践# 1. 使用向量化操作代替循环 # 不推荐的方式慢 result [] for i in range(len(df)): result.append(df.iloc[i][销售额] * 1.1) # 推荐的方式快 df[调整后销售额] df[销售额] * 1.1 # 2. 使用inplace参数谨慎 # 不推荐 df.dropna(inplaceTrue) # 推荐更安全便于调试 df_clean df.dropna() # 3. 使用copy避免链式赋值警告 df_new df[df[年龄] 25].copy() df_new[新列] 100 # 不会产生警告12.2 下一步学习路线掌握Pandas基础后可以继续学习以下方向时间序列分析Pandas在时间序列处理方面非常强大数据可视化进阶结合Seaborn、Plotly等库机器学习集成与Scikit-learn等机器学习库配合使用大数据处理学习Dask或PySpark处理超大规模数据Web数据获取结合Requests、BeautifulSoup进行网络数据采集实践是最好的学习方式建议从真实项目入手如分析个人消费数据、爬取网站信息进行分析等在实践中不断巩固和提升Pandas技能。通过本文2小时的系统学习你已经掌握了Pandas数据分析的核心技能。从基础数据结构到实战应用从数据清洗到可视化分析这些技能将为你的数据分析工作奠定坚实基础。记住数据分析的关键在于实践多动手解决实际问题你的数据分析能力一定会不断提升。
在日常数据处理工作中你是否遇到过这样的困扰Excel处理大量数据时卡顿严重SQL查询结果需要进一步分析时操作繁琐或者需要从多个数据源整合信息时手动操作效率低下这些问题都可以通过Python的Pandas库得到完美解决。本文将用2小时带你系统掌握Pandas数据分析的核心技能从基础概念到实战应用涵盖数据处理、分析和可视化的完整流程无论是数据分析初学者还是希望提升效率的开发者都能快速上手。1. Pandas数据分析入门基础1.1 什么是Pandas及其核心价值Pandas是Python语言中一个开源的数据分析库提供了快速、灵活、易用的数据结构旨在使关系或标记数据的工作变得简单直观。它构建在NumPy库之上为Python编程语言提供了高性能的数据操作能力。Pandas的核心价值体现在以下几个方面数据处理效率能够快速处理GB级别的大型数据集数据清洗能力提供丰富的数据清洗和预处理功能数据整合功能支持多种数据源的读取和合并操作时间序列分析内置强大的时间序列处理能力数据可视化集成与Matplotlib、Seaborn等可视化库无缝集成1.2 Pandas在数据分析领域的地位在当今的数据分析生态中Pandas已经成为Python数据分析的事实标准。根据2023年的开发者调查Pandas在数据科学项目中的使用率超过85%远高于其他数据处理工具。无论是学术研究、商业分析还是机器学习项目Pandas都扮演着不可或缺的角色。与Excel相比Pandas可以处理更大规模的数据集与SQL相比Pandas提供了更灵活的数据操作方式与R语言相比Pandas与Python生态系统的集成更加紧密。这种独特的定位使得Pandas成为数据分析和数据科学领域的必备技能。2. 环境准备与Pandas安装2.1 安装Python和Pandas在开始学习Pandas之前需要确保你的环境中已经安装了Python和Pandas库。推荐使用Python 3.7及以上版本这些版本对Pandas有更好的支持。使用pip安装Pandas# 基础安装 pip install pandas # 如果使用Anaconda conda install pandas # 安装完整的数据科学套件推荐 pip install pandas numpy matplotlib jupyter验证安装是否成功import pandas as pd print(pd.__version__)2.2 开发环境配置对于Pandas学习推荐使用Jupyter Notebook或Jupyter Lab这些交互式环境特别适合数据探索和分析工作。启动Jupyter Notebook# 安装Jupyter pip install jupyter # 启动Notebook jupyter notebook在Notebook中你可以逐行执行代码并立即看到结果这种即时反馈的学习方式非常适合数据分析初学者。3. Pandas核心数据结构详解3.1 Series一维数据容器Series是Pandas中最基本的数据结构类似于一维数组或列表但带有标签索引。创建Series的多种方式import pandas as pd import numpy as np # 从列表创建 s1 pd.Series([1, 3, 5, 7, 9]) print(从列表创建:, s1) # 从字典创建字典的键成为索引 s2 pd.Series({a: 10, b: 20, c: 30}) print(从字典创建:, s2) # 指定索引和数据类型 s3 pd.Series([1.1, 2.2, 3.3], index[x, y, z], dtypefloat64) print(指定索引和类型:, s3)Series的基本操作# 创建示例Series data pd.Series([10, 20, 30, 40, 50], index[a, b, c, d, e]) # 访问数据 print(第一个元素:, data[0]) # 位置索引 print(索引a的值:, data[a]) # 标签索引 # 切片操作 print(前三个元素:, data[:3]) print(索引a到c:, data[a:c]) # 基本统计 print(平均值:, data.mean()) print(总和:, data.sum()) print(最大值:, data.max())3.2 DataFrame二维数据表DataFrame是Pandas中最重要的数据结构可以看作是由多个Series组成的二维表格类似于Excel工作表或SQL数据库表。创建DataFrame的常用方法# 从字典创建最常用 data { 姓名: [张三, 李四, 王五, 赵六], 年龄: [25, 30, 35, 28], 城市: [北京, 上海, 广州, 深圳], 薪资: [15000, 20000, 18000, 22000] } df pd.DataFrame(data) print(基本DataFrame:) print(df) # 从列表创建 data_list [ [张三, 25, 北京, 15000], [李四, 30, 上海, 20000], [王五, 35, 广州, 18000], [赵六, 28, 深圳, 22000] ] df_list pd.DataFrame(data_list, columns[姓名, 年龄, 城市, 薪资]) print(从列表创建:) print(df_list)DataFrame的基本属性和方法# 查看DataFrame的基本信息 print(形状行数, 列数:, df.shape) print(索引:, df.index) print(列名:, df.columns) print(数据类型:) print(df.dtypes) # 查看数据 print(前2行:) print(df.head(2)) print(后2行:) print(df.tail(2)) # 基本统计信息 print(描述性统计:) print(df.describe())4. 数据读取与导出实战4.1 读取各种格式的数据Pandas支持读取多种数据格式这是其强大功能的重要体现。读取CSV文件# 基本读取 df_csv pd.read_csv(data.csv) # 带参数的读取处理常见问题 df_csv pd.read_csv( data.csv, encodingutf-8, # 指定编码 sep,, # 分隔符 header0, # 表头行 index_col0, # 索引列 na_values[NULL, N/A] # 识别为缺失值的值 )读取Excel文件# 读取Excel df_excel pd.read_excel(data.xlsx, sheet_nameSheet1) # 读取多个sheet with pd.ExcelFile(data.xlsx) as xls: df_sheet1 pd.read_excel(xls, Sheet1) df_sheet2 pd.read_excel(xls, Sheet2)读取JSON数据# 从JSON文件读取 df_json pd.read_json(data.json) # 从JSON字符串读取 json_str {姓名: [张三, 李四], 年龄: [25, 30]} df_json_str pd.read_json(json_str)4.2 数据导出保存将处理好的数据保存为各种格式同样重要。保存为CSV文件df.to_csv( output.csv, indexFalse, # 不保存索引 encodingutf-8-sig # 支持中文的编码 )保存为Excel文件df.to_excel( output.xlsx, sheet_name处理结果, indexFalse )5. 数据清洗与预处理5.1 处理缺失值真实世界的数据往往存在缺失值Pandas提供了多种处理方式。检测缺失值# 创建包含缺失值的示例数据 data { 姓名: [张三, 李四, 王五, None], 年龄: [25, None, 35, 28], 薪资: [15000, 20000, None, 22000] } df pd.DataFrame(data) print(缺失值统计:) print(df.isnull().sum()) print(数据概览:) print(df.info())处理缺失值# 删除包含缺失值的行 df_dropna df.dropna() print(删除缺失值后:) print(df_dropna) # 填充缺失值 df_fillna df.fillna({ 姓名: 未知, 年龄: df[年龄].mean(), # 用平均值填充 薪资: 0 # 用0填充 }) print(填充缺失值后:) print(df_fillna) # 向前填充或向后填充 df_ffill df.fillna(methodffill) # 用前一个有效值填充 print(向前填充后:) print(df_ffill)5.2 数据去重与类型转换数据去重操作# 创建包含重复值的数据 data { 姓名: [张三, 李四, 张三, 王五, 李四], 年龄: [25, 30, 25, 35, 30], 城市: [北京, 上海, 北京, 广州, 上海] } df pd.DataFrame(data) print(原始数据:) print(df) # 检测重复行 print(重复行数:, df.duplicated().sum()) # 删除重复行 df_dedup df.drop_duplicates() print(去重后数据:) print(df_dedup) # 基于特定列去重 df_dedup_col df.drop_duplicates(subset[姓名]) print(按姓名去重:) print(df_dedup_col)数据类型转换# 数据类型转换示例 data { 字符串数字: [100, 200, 300], 日期字符串: [2023-01-01, 2023-01-02, 2023-01-03], 布尔字符串: [True, False, True] } df pd.DataFrame(data) print(转换前数据类型:) print(df.dtypes) # 类型转换 df[字符串数字] df[字符串数字].astype(int) df[日期字符串] pd.to_datetime(df[日期字符串]) df[布尔字符串] df[布尔字符串].map({True: True, False: False}) print(转换后数据类型:) print(df.dtypes)6. 数据筛选与排序技巧6.1 条件筛选数据基于条件的筛选# 创建示例数据 data { 姓名: [张三, 李四, 王五, 赵六, 钱七], 年龄: [25, 30, 35, 28, 32], 城市: [北京, 上海, 广州, 北京, 深圳], 薪资: [15000, 20000, 18000, 22000, 25000] } df pd.DataFrame(data) # 单条件筛选 beijing_employees df[df[城市] 北京] print(北京员工:) print(beijing_employees) # 多条件筛选且关系 high_salary_beijing df[(df[城市] 北京) (df[薪资] 20000)] print(北京高薪员工:) print(high_salary_beijing) # 多条件筛选或关系 beijing_shanghai df[(df[城市] 北京) | (df[城市] 上海)] print(北京或上海员工:) print(beijing_shanghai)使用query方法筛选# 使用query方法更简洁 result df.query(年龄 30 and 薪资 20000) print(30岁以上且薪资2万以上:) print(result) # 包含变量的查询 min_age 30 max_salary 25000 result_var df.query(年龄 min_age and 薪资 max_salary) print(使用变量查询:) print(result_var)6.2 数据排序操作单列和多列排序# 按单列排序 df_sorted_salary df.sort_values(薪资, ascendingFalse) print(按薪资降序排序:) print(df_sorted_salary) # 按多列排序 df_sorted_multi df.sort_values([城市, 薪资], ascending[True, False]) print(先按城市升序再按薪资降序:) print(df_sorted_multi) # 按索引排序 df_sorted_index df.sort_index(ascendingFalse) print(按索引降序排序:) print(df_sorted_index)7. 数据分组与聚合分析7.1 分组操作基础分组聚合是数据分析的核心操作可以揭示数据中的模式和趋势。基本分组操作# 创建销售数据示例 data { 销售员: [张三, 李四, 王五, 张三, 李四, 王五, 张三, 李四], 产品类别: [电子, 电子, 电子, 服装, 服装, 服装, 家居, 家居], 销售额: [1000, 1200, 800, 500, 600, 700, 300, 400], 月份: [1月, 1月, 1月, 2月, 2月, 2月, 3月, 3月] } df pd.DataFrame(data) print(原始销售数据:) print(df) # 按销售员分组计算总销售额 grouped_salesman df.groupby(销售员)[销售额].sum() print(按销售员分组的总销售额:) print(grouped_salesman) # 按产品类别分组计算平均销售额 grouped_category df.groupby(产品类别)[销售额].mean() print(按产品类别的平均销售额:) print(grouped_category)7.2 多维度聚合分析多列分组和多种聚合函数# 多列分组 grouped_multi df.groupby([销售员, 产品类别])[销售额].sum() print(按销售员和产品类别分组:) print(grouped_multi) # 使用agg进行多种聚合计算 agg_result df.groupby(销售员)[销售额].agg([sum, mean, count, max]) print(多种聚合统计:) print(agg_result) # 对不同列使用不同的聚合函数 agg_result_multi df.groupby(销售员).agg({ 销售额: [sum, mean], 产品类别: count }) print(多列不同聚合:) print(agg_result_multi)8. 数据合并与连接操作8.1 多种合并方式在实际项目中数据往往分散在多个表中需要合并分析。concat纵向合并# 创建两个结构相同的DataFrame df1 pd.DataFrame({ 姓名: [张三, 李四], 年龄: [25, 30], 部门: [技术部, 市场部] }) df2 pd.DataFrame({ 姓名: [王五, 赵六], 年龄: [35, 28], 部门: [财务部, 人事部] }) # 纵向合并 df_concat pd.concat([df1, df2], ignore_indexTrue) print(合并后的数据:) print(df_concat)merge横向连接# 创建两个有关联的DataFrame df_employees pd.DataFrame({ 员工ID: [1, 2, 3, 4], 姓名: [张三, 李四, 王五, 赵六], 部门ID: [101, 102, 101, 103] }) df_departments pd.DataFrame({ 部门ID: [101, 102, 103], 部门名称: [技术部, 市场部, 财务部] }) # 内连接 df_inner pd.merge(df_employees, df_departments, on部门ID, howinner) print(内连接结果:) print(df_inner) # 左连接 df_left pd.merge(df_employees, df_departments, on部门ID, howleft) print(左连接结果:) print(df_left)9. 实战案例学生成绩分析系统9.1 案例背景与数据准备让我们通过一个完整的学生成绩分析案例综合运用前面学到的Pandas技能。创建示例数据# 学生基本信息 students_data { 学号: [S001, S002, S003, S004, S005], 姓名: [张三, 李四, 王五, 赵六, 钱七], 班级: [一班, 一班, 二班, 二班, 三班], 性别: [男, 女, 男, 女, 男] } # 成绩信息 scores_data { 学号: [S001, S002, S003, S004, S005, S001, S002, S003], 科目: [数学, 数学, 数学, 数学, 数学, 英语, 英语, 英语], 成绩: [85, 92, 78, 88, 95, 80, 85, 90] } df_students pd.DataFrame(students_data) df_scores pd.DataFrame(scores_data) print(学生信息:) print(df_students) print(\n成绩信息:) print(df_scores)9.2 数据分析与统计数据合并与基本分析# 合并学生信息和成绩信息 df_combined pd.merge(df_students, df_scores, on学号) print(合并后的数据:) print(df_combined) # 按班级统计平均成绩 class_avg df_combined.groupby(班级)[成绩].mean() print(各班平均成绩:) print(class_avg) # 按科目和性别统计 subject_gender_avg df_combined.groupby([科目, 性别])[成绩].mean() print(各科目男女平均成绩:) print(subject_gender_avg)高级分析# 创建数据透视表 pivot_table pd.pivot_table(df_combined, values成绩, index班级, columns科目, aggfuncmean) print(数据透视表:) print(pivot_table) # 成绩分段统计 def grade_level(score): if score 90: return 优秀 elif score 80: return 良好 elif score 70: return 中等 else: return 待提高 df_combined[等级] df_combined[成绩].apply(grade_level) grade_distribution df_combined[等级].value_counts() print(成绩等级分布:) print(grade_distribution)10. 数据可视化基础10.1 使用Pandas内置绘图功能Pandas集成了Matplotlib的绘图功能可以快速创建各种图表。基本图表绘制import matplotlib.pyplot as plt # 设置中文字体 plt.rcParams[font.sans-serif] [SimHei] plt.rcParams[axes.unicode_minus] False # 创建示例数据 data { 月份: [1月, 2月, 3月, 4月, 5月, 6月], 销售额: [100, 150, 130, 200, 180, 220], 利润: [20, 30, 25, 40, 35, 45] } df pd.DataFrame(data) # 折线图 df.plot(x月份, y[销售额, 利润], kindline, title销售额和利润趋势) plt.show() # 柱状图 df.plot(x月份, y销售额, kindbar, title月度销售额) plt.show()10.2 常用统计图表多种图表类型示例# 创建学生成绩数据 grades_data { 等级: [优秀, 良好, 中等, 待提高], 人数: [15, 25, 30, 10] } df_grades pd.DataFrame(grades_data) # 饼图 df_grades.plot(x等级, y人数, kindpie, autopct%1.1f%%, title成绩等级分布) plt.ylabel() # 隐藏y轴标签 plt.show() # 箱线图查看数据分布 df_combined[[成绩]].plot(kindbox, title成绩分布箱线图) plt.show()11. 常见问题与解决方案11.1 性能优化技巧处理大数据集时的优化# 使用合适的数据类型节省内存 def reduce_memory_usage(df): 优化DataFrame内存使用 start_mem df.memory_usage().sum() / 1024**2 print(f初始内存使用: {start_mem:.2f} MB) for col in df.columns: col_type df[col].dtype if col_type ! object: c_min df[col].min() c_max df[col].max() if str(col_type)[:3] int: if c_min np.iinfo(np.int8).min and c_max np.iinfo(np.int8).max: df[col] df[col].astype(np.int8) elif c_min np.iinfo(np.int16).min and c_max np.iinfo(np.int16).max: df[col] df[col].astype(np.int16) # 继续其他类型的优化... end_mem df.memory_usage().sum() / 1024**2 print(f优化后内存使用: {end_mem:.2f} MB) print(f内存减少: {100 * (start_mem - end_mem) / start_mem:.1f}%) return df # 使用分块读取大文件 chunk_size 10000 chunks [] for chunk in pd.read_csv(large_file.csv, chunksizechunk_size): # 对每个块进行处理 processed_chunk process_data(chunk) chunks.append(processed_chunk) df_combined pd.concat(chunks)11.2 常见错误处理数据类型错误处理# 安全的数据类型转换 def safe_convert_to_numeric(series): 安全转换为数值类型 try: return pd.to_numeric(series, errorscoerce) except Exception as e: print(f转换错误: {e}) return series # 处理文件读取编码问题 def read_file_safe(file_path): 安全读取文件自动尝试多种编码 encodings [utf-8, gbk, gb2312, latin1] for encoding in encodings: try: return pd.read_csv(file_path, encodingencoding) except UnicodeDecodeError: continue raise ValueError(无法找到合适的编码读取文件)12. Pandas最佳实践与进阶学习12.1 代码规范与性能建议Pandas编程最佳实践# 1. 使用向量化操作代替循环 # 不推荐的方式慢 result [] for i in range(len(df)): result.append(df.iloc[i][销售额] * 1.1) # 推荐的方式快 df[调整后销售额] df[销售额] * 1.1 # 2. 使用inplace参数谨慎 # 不推荐 df.dropna(inplaceTrue) # 推荐更安全便于调试 df_clean df.dropna() # 3. 使用copy避免链式赋值警告 df_new df[df[年龄] 25].copy() df_new[新列] 100 # 不会产生警告12.2 下一步学习路线掌握Pandas基础后可以继续学习以下方向时间序列分析Pandas在时间序列处理方面非常强大数据可视化进阶结合Seaborn、Plotly等库机器学习集成与Scikit-learn等机器学习库配合使用大数据处理学习Dask或PySpark处理超大规模数据Web数据获取结合Requests、BeautifulSoup进行网络数据采集实践是最好的学习方式建议从真实项目入手如分析个人消费数据、爬取网站信息进行分析等在实践中不断巩固和提升Pandas技能。通过本文2小时的系统学习你已经掌握了Pandas数据分析的核心技能。从基础数据结构到实战应用从数据清洗到可视化分析这些技能将为你的数据分析工作奠定坚实基础。记住数据分析的关键在于实践多动手解决实际问题你的数据分析能力一定会不断提升。
![[C++]内存管理：串顺序存储的内存回收](http://pic.xiahunao.cn/yaotu/[C++]内存管理：串顺序存储的内存回收)
