Python statsmodels 0.14 双因素方差分析实战：3步完成可重复/无重复实验检验

Python statsmodels 0.14 双因素方差分析实战3步完成可重复/无重复实验检验在数据分析领域双因素方差分析Two-Way ANOVA是一种强大的统计工具用于同时研究两个分类变量对连续型因变量的影响。与单因素方差分析相比双因素分析不仅能评估各因素的独立效应还能检测因素间的交互作用。本文将使用Python的statsmodels 0.14库通过实际代码演示如何快速实现这一分析。对于数据科学家和分析师而言掌握双因素方差分析的自动化实现至关重要。传统手动计算不仅耗时且容易出错而现代统计软件如statsmodels则能高效完成从数据准备到结果解读的全流程。我们将重点区分可重复有交互和无重复无交互两种实验设计并提供可直接运行的Jupyter Notebook代码示例。1. 环境准备与数据模拟在开始分析前我们需要确保环境配置正确并生成合适的测试数据。statsmodels 0.14对Python 3.8有最佳支持建议使用虚拟环境管理依赖。# 基础环境配置 import numpy as np import pandas as pd import statsmodels.api as sm from statsmodels.formula.api import ols import matplotlib.pyplot as plt import seaborn as sns print(fstatsmodels版本: {sm.__version__})1.1 模拟无重复实验数据无重复双因素实验意味着每个因素组合只有一个观测值无法评估交互效应。我们模拟一个农业实验场景研究肥料类型A/B/C和灌溉方式X/Y对作物产量的影响np.random.seed(42) # 定义因素水平 fertilizers [A, B, C] irrigation [X, Y] # 生成模拟数据 data [] for fert in fertilizers: for irr in irrigation: # 基础产量 肥料效应 灌溉效应 随机误差 yield_base 50 fert_effect {A: 0, B: 5, C: 3}[fert] irr_effect {X: 0, Y: 4}[irr] noise np.random.normal(0, 2) data.append({ Fertilizer: fert, Irrigation: irr, Yield: yield_base fert_effect irr_effect noise }) df_no_replication pd.DataFrame(data)1.2 模拟可重复实验数据可重复实验每个因素组合有多个观测值可评估交互作用。我们扩展上述场景每个组合测量3次np.random.seed(42) data [] for fert in fertilizers: for irr in irrigation: for rep in range(3): # 每个组合3次重复 # 基础设置 yield_base 50 fert_effect {A: 0, B: 5, C: 3}[fert] irr_effect {X: 0, Y: 4}[irr] # 交互效应特定组合有额外影响 interaction 0 if fert B and irr Y: interaction 3 elif fert C and irr X: interaction -2 noise np.random.normal(0, 2) data.append({ Fertilizer: fert, Irrigation: irr, Yield: yield_base fert_effect irr_effect interaction noise }) df_with_replication pd.DataFrame(data)2. 无重复双因素方差分析实现无重复实验的分析模型较为简单不考虑交互项。statsmodels提供了简洁的公式接口实现。2.1 模型构建与拟合使用ols函数指定模型公式其中C()表示分类变量# 无重复实验模型 model_no_interaction ols(Yield ~ C(Fertilizer) C(Irrigation), datadf_no_replication).fit()2.2 结果解读与可视化拟合完成后使用anova_table查看方差分析结果anova_table sm.stats.anova_lm(model_no_interaction, typ2) print(anova_table)典型输出结果示例来源平方和(SS)自由度(df)均方(MS)F值P值Fertilizer86.72243.3612.450.0079Irrigation32.04132.049.200.0286Residual13.9443.48关键解读点Fertilizer效应P0.00790.05表明肥料类型对产量有显著影响Irrigation效应P0.02860.05灌溉方式也有显著影响无交互项因为实验设计无法评估交互作用可视化效应大小plt.figure(figsize(10, 4)) sns.barplot(xFertilizer, yYield, hueIrrigation, datadf_no_replication, ciNone) plt.title(无重复实验各因素组合的平均产量) plt.show()3. 可重复双因素方差分析实现可重复实验能评估交互作用模型需包含交互项。这是更全面的分析方法。3.1 包含交互项的模型构建在公式中使用*运算符自动包含主效应和交互效应model_with_interaction ols(Yield ~ C(Fertilizer) * C(Irrigation), datadf_with_replication).fit()3.2 交互效应分析与解读获取完整的方差分析表anova_table_interaction sm.stats.anova_lm(model_with_interaction, typ2) print(anova_table_interaction)典型输出示例来源平方和(SS)自由度(df)均方(MS)F值P值Fertilizer167.56283.7825.320.0001Irrigation124.331124.3337.580.0001Fertilizer:Irrigation58.17229.088.790.0038Residual39.72123.31关键发现显著交互作用交互项P0.00380.01表明肥料效果依赖于灌溉方式主效应依然显著但需谨慎解释因存在交互作用交互效应可视化plt.figure(figsize(10, 5)) sns.pointplot(xFertilizer, yYield, hueIrrigation, datadf_with_replication, ci95, dodgeTrue) plt.title(可重复实验中的交互效应图示) plt.show()4. 模型诊断与进阶技巧确保方差分析结果可靠需进行模型诊断。statsmodels提供多种诊断工具。4.1 残差分析残差应满足正态性和方差齐性假设# 残差正态性检验 from scipy.stats import shapiro residuals model_with_interaction.resid _, p_value shapiro(residuals) print(fShapiro-Wilk正态性检验P值: {p_value:.4f}) # 残差图 plt.figure(figsize(12, 4)) plt.subplot(121) sns.histplot(residuals, kdeTrue) plt.title(残差分布) plt.subplot(122) sns.scatterplot(xmodel_with_interaction.fittedvalues, yresiduals) plt.axhline(y0, colorr, linestyle--) plt.title(拟合值 vs 残差) plt.show()4.2 多重比较校正当主效应显著时可能需要进行事后检验from statsmodels.stats.multicomp import pairwise_tukeyhsd # 对肥料类型进行多重比较 tukey pairwise_tukeyhsd(endogdf_with_replication[Yield], groupsdf_with_replication[Fertilizer], alpha0.05) print(tukey.summary())4.3 效应量计算除P值外计算效应量如η²更全面评估因素重要性def calculate_eta_squared(anova_table): total_ss anova_table[sum_sq].sum() return anova_table[sum_sq] / total_ss eta_squared calculate_eta_squared(anova_table_interaction) print(各效应项的η²值:) print(eta_squared)5. 实际应用中的注意事项在真实项目应用中有几个关键点需要特别注意样本量规划可重复实验需要足够的样本量来检测交互作用。一般建议每个组合至少3-5次重复。数据平衡性不平衡设计各组合观测数不同需要特别处理Type III方差分析可能更合适。交互作用解释当存在显著交互作用时主效应解释需谨慎。应优先分析交互模式。离群值处理ANOVA对极端值敏感。可使用稳健方法或数据转换如对数变换。非参数替代当正态性假设严重违反时可考虑Kruskal-Wallis等非参数方法。