简体中文 繁體中文 English Deutsch 한국 사람 بالعربية TÜRKÇE português คนไทย Français Japanese

开启辅助访问 切换到宽版

站内搜索

搜索

活动公告

通知：本站资源由网友上传分享，如有违规等问题请到版务模块进行投诉，将及时处理！
10-23 09:31
>社区 > 科技 > 经验交流 >帖子
本版发帖返回

掌握Pandas数据透视表操作技巧轻松应对复杂数据分析需求提升工作效率成为数据处理高手

威震华夏关云长
SunJu_FaceMall

3万

主题

166

科技点

3万

积分

大区版主

碾压王

积分
32106
发表于 2025-8-27 12:40:00 | 显示全部楼层 |阅读模式 [标记阅至此楼]

马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。

您需要 登录 才可以下载或查看，没有账号？立即注册

x
引言

在当今数据驱动的时代，高效处理和分析数据已成为各行各业专业人士的基本技能。Python的Pandas库作为数据分析的利器，提供了强大的数据处理功能，其中数据透视表（Pivot Table）是一项尤为实用的功能。数据透视表能够帮助我们快速汇总、分析和探索大型数据集，从海量数据中提取有价值的洞察。

本文将全面介绍Pandas数据透视表的操作技巧，从基础概念到高级应用，帮助您轻松应对复杂数据分析需求，显著提升工作效率，最终成为数据处理高手。无论您是数据分析师、科学家，还是需要处理数据的业务人员，掌握这些技巧都将为您的工作带来质的飞跃。

Pandas数据透视表基础概念

数据透视表是一种数据汇总工具，它能够按照指定的行和列对数据进行分组，并对指定的值应用聚合函数。在Pandas中，pivot_table()函数是创建数据透视表的核心方法。

基本语法
  2. pandas.pivot_table(data, values=None, index=None, columns=None, aggfunc='mean',
  3.                   fill_value=None, margins=False, dropna=True, margins_name='All',
  4.                   observed=False, sort=True)
复制代码

参数详解

• data：要进行透视的DataFrame
• values：需要聚合的列
• index：作为行索引的列
• columns：作为列索引的列
• aggfunc：聚合函数，可以是函数、函数列表、字典，默认为’mean’
• fill_value：用于替换缺失值的值
• margins：是否添加行/列的总计
• dropna：是否删除包含所有NaN的列
• margins_name：总计行/列的名称
• observed：是否只显示观察到的分类值
• sort：是否对结果进行排序

创建基本数据透视表

让我们从一个简单的例子开始，了解如何创建基本的数据透视表。

准备示例数据

首先，我们创建一个示例数据集：
  2. import pandas as pd
  3. import numpy as np
  5. # 创建示例数据
  6. data = {
  7.     'Date': pd.date_range(start='2023-01-01', periods=30),
  8.     'Region': ['North', 'South', 'East', 'West'] * 7 + ['North', 'South'],
  9.     'Product': ['A', 'B', 'C', 'D'] * 7 + ['A', 'B'],
  10.     'Sales': np.random.randint(100, 1000, size=30),
  11.     'Quantity': np.random.randint(1, 10, size=30)
  12. }
  14. df = pd.DataFrame(data)
  15. print(df.head())
复制代码

输出结果：
  2. Date Region Product  Sales  Quantity
  3. 0 2023-01-01  North       A    345         5
  4. 1 2023-01-02  South       B    782         3
  5. 2 2023-01-03   East       C    234         7
  6. 3 2023-01-04   West       D    567         2
  7. 4 2023-01-05  North       A    890         4
复制代码

创建简单的数据透视表

现在，我们创建一个简单的数据透视表，按地区和产品汇总销售额：
  2. # 创建基本数据透视表
  3. pivot = pd.pivot_table(df, values='Sales', index='Region', columns='Product', aggfunc='sum')
  4. print(pivot)
复制代码

输出结果：
  2. Product      A      B      C      D
  3. Region                           
  4. East       NaN  456.0  234.0    NaN
  5. North    1235.0    NaN    NaN  567.0
  6. South       NaN  782.0    NaN  234.0
  7. West      890.0    NaN  678.0    NaN
复制代码

在这个例子中，我们：

• 使用’Sales’列作为值
• 使用’Region’列作为行索引
• 使用’Product’列作为列索引
• 使用’sum’函数作为聚合函数

处理缺失值

注意到结果中有许多NaN值，这是因为某些地区没有销售某些产品。我们可以使用fill_value参数来填充这些缺失值：
  2. # 填充缺失值
  3. pivot_filled = pd.pivot_table(df, values='Sales', index='Region', columns='Product',
  4.                              aggfunc='sum', fill_value=0)
  5. print(pivot_filled)
复制代码

输出结果：
  2. Product      A    B      C      D
  3. Region                          
  4. East        0  456    234      0
  5. North    1235    0      0    567
  6. South       0  782      0    234
  7. West      890    0    678      0
复制代码

数据透视表的高级参数和选项

使用多个聚合函数

有时我们需要同时查看多个聚合指标，例如总和和平均值：
  2. # 使用多个聚合函数
  3. pivot_multi_agg = pd.pivot_table(df, values='Sales', index='Region', columns='Product',
  4.                                 aggfunc=['sum', 'mean'], fill_value=0)
  5. print(pivot_multi_agg)
复制代码

输出结果：
  2. sum                         mean                    
  3. Product     A      B      C      D      A      B      C      D
  4. Region                                                  
  5. East        0  456.0  234.0    0.0    0.0  456.0  234.0    0.0
  6. North    1235    0.0    0.0  567.0  617.5    0.0    0.0  567.0
  7. South       0  782.0    0.0  234.0    0.0  782.0    0.0  234.0
  8. West      890    0.0  678.0    0.0  890.0    0.0  678.0    0.0
复制代码

添加总计行和列

通过设置margins=True，我们可以添加总计行和列：
  2. # 添加总计行和列
  3. pivot_margins = pd.pivot_table(df, values='Sales', index='Region', columns='Product',
  4.                               aggfunc='sum', fill_value=0, margins=True)
  5. print(pivot_margins)
复制代码

输出结果：
  2. Product        A      B      C      D    All
  3. Region                                    
  4. East         0.0  456.0  234.0    0.0  690.0
  5. North     1235.0    0.0    0.0  567.0 1802.0
  6. South        0.0  782.0    0.0  234.0 1016.0
  7. West       890.0    0.0  678.0    0.0 1568.0
  8. All       2125.0 1238.0  912.0  801.0 5076.0
复制代码

为不同的列应用不同的聚合函数

我们可以使用字典为不同的列指定不同的聚合函数：
  2. # 为不同的列应用不同的聚合函数
  3. pivot_diff_agg = pd.pivot_table(df, values=['Sales', 'Quantity'], index='Region',
  4.                                aggfunc={'Sales': 'sum', 'Quantity': 'mean'})
  5. print(pivot_diff_agg)
复制代码

输出结果：
  2. Sales  Quantity
  3. Region                  
  4. East     690.0  5.000000
  5. North   1802.0  4.500000
  6. South   1016.0  2.500000
  7. West    1568.0  4.666667
复制代码

多维度数据分析

使用多个索引列

我们可以使用多个列作为索引，实现更细粒度的数据分析：
  2. # 添加月份列
  3. df['Month'] = df['Date'].dt.month_name()
  5. # 使用多个索引列
  6. pivot_multi_index = pd.pivot_table(df, values='Sales', index=['Region', 'Month'],
  7.                                   columns='Product', aggfunc='sum', fill_value=0)
  8. print(pivot_multi_index)
复制代码

输出结果：
  2. Product               A      B      C      D
  3. Region Month                                 
  4. East   January      0.0  456.0  234.0    0.0
  5. North  January   1235.0    0.0    0.0  567.0
  6. South  January      0.0  782.0    0.0  234.0
  7. West   January    890.0    0.0  678.0    0.0
复制代码

使用多个列作为列索引

同样，我们也可以使用多个列作为列索引：
  2. # 添加星期几列
  3. df['DayOfWeek'] = df['Date'].dt.day_name()
  5. # 使用多个列作为列索引
  6. pivot_multi_columns = pd.pivot_table(df, values='Sales', index='Region',
  7.                                     columns=['Product', 'DayOfWeek'],
  8.                                     aggfunc='sum', fill_value=0)
  9. print(pivot_multi_columns)
复制代码

输出结果：
  2. Product       A                                        B                     C                     D            
  3. DayOfWeek Friday Monday Saturday Sunday Thursday Wednesday Friday Monday Saturday Sunday Thursday Wednesday Friday Monday Saturday Sunday Thursday Wednesday Friday Monday Saturday Sunday Thursday Wednesday
  4. Region                                                                                                                                                                 
  5. East          0      0       0      0        0        0    456      0       0      0        0        0    234      0       0      0        0        0      0      0       0      0        0        0
  6. North       345    890       0      0        0        0      0      0       0      0        0        0      0      0       0      0        0        0    567      0       0      0        0        0
  7. South         0      0       0      0        0        0      0    782       0      0        0        0      0      0       0      0        0        0    234      0       0      0        0        0
  8. West          0      0     890      0        0        0      0      0       0      0        0        0    678      0       0      0        0        0      0      0       0      0        0        0
复制代码

层次化索引的处理

当数据透视表具有层次化索引时，我们可以使用stack()和unstack()方法进行重塑：
  2. # 使用stack将列索引转换为行索引
  3. stacked = pivot_multi_columns.stack()
  4. print(stacked.head())
  6. # 使用unstack将行索引转换为列索引
  7. unstacked = pivot_multi_index.unstack()
  8. print(unstacked.head())
复制代码

数据透视表的样式和美化

基本样式设置

Pandas提供了style属性，可以对数据透视表进行样式设置：
  2. # 基本样式设置
  3. styled_pivot = pd.pivot_table(df, values='Sales', index='Region', columns='Product',
  4.                              aggfunc='sum', fill_value=0)
  6. # 应用样式
  7. styled_pivot.style.background_gradient(cmap='Blues').format('{:.0f}')
复制代码

条件格式化

我们可以根据单元格的值应用不同的格式：
  2. # 条件格式化
  3. styled_pivot.style.background_gradient(cmap='Blues').format('{:.0f}') \
  4.     .highlight_max(axis=0, color='lightgreen') \
  5.     .highlight_min(axis=0, color='lightcoral')
复制代码

自定义样式函数

我们还可以定义自己的样式函数：
  2. # 自定义样式函数
  3. def highlight_cells(val):
  4.     color = 'red' if val > 500 else 'green'
  5.     return f'color: {color}'
  7. styled_pivot.style.applymap(highlight_cells).format('{:.0f}')
复制代码

实际案例分析

销售数据分析

让我们通过一个更实际的例子来展示数据透视表的强大功能。假设我们有一个更详细的销售数据集：
  2. # 创建更详细的销售数据
  3. np.random.seed(42)
  4. dates = pd.date_range(start='2023-01-01', end='2023-12-31')
  5. regions = ['North', 'South', 'East', 'West']
  6. products = ['A', 'B', 'C', 'D', 'E']
  7. salespeople = ['Alice', 'Bob', 'Charlie', 'David', 'Eva']
  9. n_records = 1000
  10. sales_data = {
  11.     'Date': np.random.choice(dates, n_records),
  12.     'Region': np.random.choice(regions, n_records),
  13.     'Product': np.random.choice(products, n_records),
  14.     'Salesperson': np.random.choice(salespeople, n_records),
  15.     'Sales': np.random.randint(100, 5000, n_records),
  16.     'Quantity': np.random.randint(1, 20, n_records),
  17.     'Discount': np.random.uniform(0, 0.3, n_records)
  18. }
  20. sales_df = pd.DataFrame(sales_data)
  21. sales_df['Month'] = sales_df['Date'].dt.month_name()
  22. sales_df['Quarter'] = sales_df['Date'].dt.quarter
  23. sales_df['Profit'] = sales_df['Sales'] * (1 - sales_df['Discount']) * 0.3  # 假设利润率是30%
  25. print(sales_df.head())
复制代码

输出结果：
  2. Date Region Product Salesperson  Sales  Quantity  Discount      Month  Quarter     Profit
  3. 0 2023-06-18  South       E       David   3259         5  0.238725       June        2  744.030719
  4. 1 2023-05-13   West       C         Eva   2869        12  0.075729        May        2  795.099509
  5. 2 2023-07-22   East       D       Alice   3789        13  0.299017       July        3  795.623716
  6. 3 2023-08-20   West       A       Bob     4350         3  0.241768     August        3  989.926800
  7. 4 2023-02-24  North       B     Charlie   3456        18  0.021966   February        1 1014.831323
复制代码

分析各地区各产品的销售情况
  2. # 分析各地区各产品的销售情况
  3. region_product_sales = pd.pivot_table(sales_df, values='Sales', index='Region',
  4.                                      columns='Product', aggfunc='sum',
  5.                                      fill_value=0, margins=True)
  6. print(region_product_sales)
复制代码

分析各销售人员的业绩
  2. # 分析各销售人员的业绩
  3. salesperson_performance = pd.pivot_table(sales_df, values=['Sales', 'Profit'],
  4.                                         index='Salesperson',
  5.                                         aggfunc={'Sales': 'sum', 'Profit': 'sum'})
  6. salesperson_performance['Profit_Margin'] = salesperson_performance['Profit'] / salesperson_performance['Sales']
  7. print(salesperson_performance)
复制代码

按季度和地区分析销售趋势
  2. # 按季度和地区分析销售趋势
  3. quarter_region_sales = pd.pivot_table(sales_df, values='Sales', index='Quarter',
  4.                                      columns='Region', aggfunc='sum',
  5.                                      fill_value=0, margins=True)
  6. print(quarter_region_sales)
复制代码

多维度分析：销售人员的月度表现
  2. # 多维度分析：销售人员的月度表现
  3. salesperson_monthly = pd.pivot_table(sales_df, values='Sales',
  4.                                     index=['Salesperson', 'Month'],
  5.                                     columns='Region',
  6.                                     aggfunc='sum', fill_value=0)
  7. print(salesperson_monthly.head(10))
复制代码

性能优化技巧

使用适当的数据类型

对于大型数据集，使用适当的数据类型可以显著提高性能：
  2. # 优化数据类型
  3. optimized_df = sales_df.copy()
  5. # 将类别型数据转换为category类型
  6. for col in ['Region', 'Product', 'Salesperson', 'Month']:
  7.     optimized_df[col] = optimized_df[col].astype('category')
  9. # 检查内存使用
  10. print(f"原始数据内存使用: {sales_df.memory_usage(deep=True).sum() / 1024:.2f} KB")
  11. print(f"优化后内存使用: {optimized_df.memory_usage(deep=True).sum() / 1024:.2f} KB")
复制代码

使用query方法过滤数据

在创建数据透视表之前，可以使用query方法过滤数据，减少处理的数据量：
  2. # 使用query方法过滤数据
  3. high_value_sales = sales_df.query('Sales > 3000')
  4. high_value_pivot = pd.pivot_table(high_value_sales, values='Sales',
  5.                                  index='Region', columns='Product',
  6.                                  aggfunc='sum', fill_value=0)
  7. print(high_value_pivot)
复制代码

使用crosstab作为替代方案

对于某些简单的交叉表，pd.crosstab可能是更高效的选择：
  2. # 使用crosstab
  3. cross_tab = pd.crosstab(sales_df['Region'], sales_df['Product'],
  4.                        values=sales_df['Sales'], aggfunc='sum',
  5.                        margins=True)
  6. print(cross_tab)
复制代码

常见问题和解决方案

处理重复值

当数据中存在重复的索引组合时，需要明确指定聚合函数：
  2. # 创建包含重复值的数据
  3. duplicate_data = sales_df.head(10).append(sales_df.head(5))
  5. # 不指定聚合函数会报错
  6. try:
  7.     pd.pivot_table(duplicate_data, values='Sales', index='Region', columns='Product')
  8. except ValueError as e:
  9.     print(f"错误: {e}")
  11. # 指定聚合函数
  12. pivot_with_duplicates = pd.pivot_table(duplicate_data, values='Sales', index='Region',
  13.                                       columns='Product', aggfunc='sum', fill_value=0)
  14. print(pivot_with_duplicates)
复制代码

处理时间序列数据

对于时间序列数据，可以先对时间进行分组，再创建数据透视表：
  2. # 处理时间序列数据
  3. sales_df['Weekday'] = sales_df['Date'].dt.dayofweek  # 0=Monday, 6=Sunday
  5. weekday_sales = pd.pivot_table(sales_df, values='Sales',
  6.                               index='Weekday',
  7.                               columns='Region',
  8.                               aggfunc='mean')
  9. weekday_sales.index = ['Mon', 'Tue', 'Wed', 'Thu', 'Fri', 'Sat', 'Sun']
  10. print(weekday_sales)
复制代码

处理多级索引的筛选

当数据透视表有多级索引时，可以使用xs方法进行筛选：
  2. # 创建多级索引的数据透视表
  3. multi_index_pivot = pd.pivot_table(sales_df, values='Sales',
  4.                                   index=['Region', 'Product'],
  5.                                   columns='Quarter',
  6.                                   aggfunc='sum', fill_value=0)
  8. # 使用xs方法筛选特定区域
  9. north_sales = multi_index_pivot.xs('North', level='Region')
  10. print(north_sales)
  12. # 筛选特定产品和区域
  13. north_product_a = multi_index_pivot.xs(('North', 'A'), level=('Region', 'Product'))
  14. print(north_product_a)
复制代码

总结与进阶学习资源

通过本文的学习，我们深入了解了Pandas数据透视表的各种操作技巧，从基础概念到高级应用，包括多维度数据分析、样式美化、性能优化以及常见问题的解决方案。掌握这些技巧，将帮助您轻松应对复杂数据分析需求，显著提升工作效率，成为数据处理高手。

数据透视表是数据分析中不可或缺的工具，它能够帮助我们快速从海量数据中提取有价值的洞察。通过灵活运用Pandas的pivot_table()函数，我们可以进行各种复杂的数据汇总和分析工作，为业务决策提供有力支持。

进阶学习资源

1. Pandas官方文档 - 数据透视表
2. Pandas Cookbook: 数据透视表实例
3. DataCamp: Pandas数据透视表教程
4. Towards Data Science: Pandas数据透视表终极指南

实践建议

1. 多练习：理论知识需要通过实践来巩固。尝试使用真实数据集创建各种数据透视表。
2. 探索数据：在使用数据透视表之前，先使用df.info()、df.describe()等方法了解数据的基本情况。
3. 逐步复杂：从简单的单维度分析开始，逐步过渡到多维度、多指标的复杂分析。
4. 可视化：结合Matplotlib、Seaborn等可视化库，将数据透视表的结果以图表形式展示，更直观地呈现数据洞察。

通过不断学习和实践，您将能够熟练掌握Pandas数据透视表的操作技巧，轻松应对各种复杂数据分析需求，成为真正的数据处理高手。
数据处理, 工作效率, 透视, 高手
「七転び八起き（ななころびやおき）」
回复

使用道具 举报

返回列表 发新帖
您需要登录后才可以回帖 登录 | 立即注册
高级模式
B Color Image Link Quote Code Smilies

本版积分规则

友情链接

keba
磕巴白菜
别管 别听 就是玩
二次元论坛
二次元论坛
按下F逃离世界！
友链交换
友链交换
友链为随机排序，不代表本论坛观点
加入Discord频道

加入Discord频道

加入QQ社群

加入QQ社群

联系我们|小黑屋|TG频道|RSS |网站地图

Powered by Pixtech

© 2025-2026 Pixtech Team.