数据分析技术

📊 课程目标

掌握数据分析方法

深入理解描述性统计、推断统计、相关分析、回归分析等核心数据分析方法

熟练使用分析工具

掌握 Pandas、NumPy、Matplotlib、Seaborn 等 Python 数据分析库的高级应用

提升数据可视化能力

能够根据业务需求选择合适的图表类型，制作专业的数据可视化报告

培养商业分析思维

能够从商业视角分析数据，为企业决策提供数据支撑

📋 前置课程

Python基础 · 数据采集与处理 · 商务数据分析与应用基础

📚 课程大纲

第1-2周

模块一：数据分析基础回顾与进阶

数据分析流程与方法论
数据质量评估与清洗技巧
数据类型与数据结构进阶
探索性数据分析(EDA)方法

🎀 实践项目：电商用户行为数据探索性分析

练习1：数据读取与基本信息查看

读取电商用户行为数据集，查看数据基本信息

📝 代码编辑器

import pandas as pd
import numpy as np

# 创建模拟的电商用户行为数据
np.random.seed(42)
data = {
    'user_id': np.random.randint(1001, 5000, size=100),
    'action': np.random.choice(['浏览', '点击', '收藏', '购买'], 100, p=[0.5, 0.3, 0.15, 0.05]),
    'price': np.random.uniform(10, 500, 100).round(2),
    'quantity': np.random.randint(1, 5, size=100),
    'category': np.random.choice(['电子产品', '服装', '食品', '家居'], 100)
}
df = pd.DataFrame(data)

# 查看数据前5行
print("=== 数据前5行 ===")
print(df.head())
print()

# 查看数据基本信息
print("=== 数据基本信息 ===")
print(f"数据形状: {df.shape}")
print(f"列名: {list(df.columns)}")
print(f"数据类型:\n{df.dtypes}")
print()

# 查看描述性统计
print("=== 数值列统计摘要 ===")
print(df.describe())

练习2：数据清洗与缺失值处理

处理缺失值，删除无效数据

📝 代码编辑器

import pandas as pd
import numpy as np

# 创建包含缺失值的数据
np.random.seed(42)
data = {
    'user_id': np.random.randint(1001, 5000, size=50),
    'age': np.random.randint(18, 60, size=50).astype(float),
    'amount': np.random.uniform(50, 500, 50).round(2)
}
# 随机插入一些缺失值
for _ in range(10):
    idx = np.random.randint(0, 50)
    data['age'][idx] = np.nan

df = pd.DataFrame(data)

# 检查缺失值
print("=== 缺失值统计 ===")
print(df.isnull().sum())
print()

# 删除包含缺失值的行
df_clean = df.dropna()
print(f"原始数据量: {len(df)}")
print(f"清洗后数据量: {len(df_clean)}")
print(f"删除行数: {len(df) - len(df_clean)}")
print()

# 或者用均值填充数值列
df_filled = df.copy()
df_filled['age'] = df_filled['age'].fillna(df_filled['age'].mean())
print("=== 用均值填充后 ===")
print(f"age列缺失值: {df_filled['age'].isnull().sum()}")
print(f"填充后的age均值: {df_filled['age'].mean():.2f}")

第3-4周

模块二：描述性统计分析

集中趋势与离散程度度量
分布形态与异常值检测
交叉分析与透视表应用
分组统计与聚合分析

🎀 实践项目：销售数据统计分析报告

练习1：计算描述性统计量

计算销售额的均值、中位数、标准差等统计量

📝 代码编辑器

import pandas as pd
import numpy as np

# 创建销售数据
np.random.seed(42)
regions = ['华北', '华东', '华南']
data = {
    'order_id': range(1, 201),
    'region': np.random.choice(regions, 200),
    'amount': np.random.normal(268, 156, 200).round(2)
}
df = pd.DataFrame(data)
df['amount'] = df['amount'].clip(25, 899)

# 计算基本统计量
mean_sales = df['amount'].mean()
median_sales = df['amount'].median()
std_sales = df['amount'].std()
min_sales = df['amount'].min()
max_sales = df['amount'].max()

print("=== 销售数据描述性统计 ===")
print(f"平均销售额: {mean_sales:.2f}")
print(f"中位数销售额: {median_sales:.2f}")
print(f"标准差: {std_sales:.2f}")
print(f"最小值: {min_sales:.2f}")
print(f"最大值: {max_sales:.2f}")
print(f"极差: {max_sales - min_sales:.2f}")
print()

# 按地区分组统计
region_stats = df.groupby('region')['amount'].agg(['mean', 'median', 'std', 'count'])
print("=== 各地区销售统计 ===")
print(region_stats.round(2))

练习2：透视表分析

按地区和产品分组统计销售额

📝 代码编辑器

import pandas as pd
import numpy as np

# 创建销售数据
np.random.seed(42)
regions = ['华北', '华东', '华南']
months = ['1月', '2月', '3月', '4月']
data = {
    'order_id': range(1, 101),
    'region': np.random.choice(regions, 100),
    'month': np.random.choice(months, 100),
    'amount': np.random.uniform(100, 500, 100).round(2)
}
df = pd.DataFrame(data)

# 创建透视表
pivot = pd.pivot_table(
    df,
    values='amount',
    index='region',
    columns='month',
    aggfunc='sum',
    margins=True,
    margins_name='总计'
)

print("=== 销售透视表 (各地区各月销售额总和) ===")
print(pivot.round(2))
print()

# 计算各地区销售占比
region_totals = df.groupby('region')['amount'].sum()
region_percentage = (region_totals / region_totals.sum() * 100).round(2)
print("=== 各地区销售占比 (%) ===")
print(region_percentage)

第5-6周

模块三：数据可视化

数据可视化原则与最佳实践
Matplotlib 高级绘图
Seaborn 统计可视化
交互式可视化(Plotly)

🎀 实践项目：产品销售数据看板设计

练习1：绘制销售趋势图

使用 Matplotlib 绘制销售趋势图

📝 代码编辑器

import pandas as pd
import numpy as np

# 创建销售趋势数据
np.random.seed(42)
months = ['1月', '2月', '3月', '4月', '5月', '6月']
sales = [12000, 15500, 13800, 18200, 16500, 22000]
products = ['产品A', '产品B', '产品C', '产品D']

# 月度销售汇总
monthly_sales = pd.DataFrame({
    '月份': months,
    '销售额': sales
})

print("=== 月度销售数据 ===")
print(monthly_sales.to_string(index=False))
print()

# 计算增长率
monthly_sales['增长率(%)'] = monthly_sales['销售额'].pct_change() * 100
print("=== 销售增长率 ===")
for i, row in monthly_sales.iterrows():
    if pd.isna(row['增长率(%)']):
        print(f"{row['月份']}: {row['销售额']}")
    else:
        print(f"{row['月份']}: {row['销售额']} (增长 {row['增长率(%)']:.1f}%)")

print()
# 简单的文本柱状图
print("=== 销售趋势图 (文本可视化) ===")
max_val = max(sales)
for m, s in zip(months, sales):
    bars = '█' * int(s / max_val * 30)
    print(f"{m}: {bars} ¥{s}")

练习2：数据分布分析

分析销售数据的分布特征

📝 代码编辑器

import pandas as pd
import numpy as np

# 创建销售数据
np.random.seed(42)
data = np.random.normal(loc=300, scale=100, size=500).clip(50, 600).round(2)
df = pd.DataFrame({'amount': data})

# 计算分位数
quantiles = [0.1, 0.25, 0.5, 0.75, 0.9]
quantile_values = df['amount'].quantile(quantiles)

print("=== 销售数据分布分析 ===")
print(f"数据总数: {len(df)}")
print(f"均值: {df['amount'].mean():.2f}")
print(f"中位数: {df['amount'].median():.2f}")
print(f"标准差: {df['amount'].std():.2f}")
print()

print("=== 分位数统计 ===")
for q, v in quantile_values.items():
    print(f"{int(q*100)}分位: {v:.2f}")

print()
# 文本分布图
print("=== 数据分布图 (文本) ===")
counts, bins = np.histogram(df['amount'], bins=10)
for i in range(len(counts)):
    bin_range = f"{bins[i]:.0f}-{bins[i+1]:.0f}"
    bar = '█' * int(counts[i] / max(counts) * 30)
    print(f"{bin_range:>10} | {bar} {counts[i]}")

第7-8周

模块四：相关分析与回归分析

相关系数与相关矩阵
简单线性回归
多元线性回归
回归诊断与模型优化

🎀 实践项目：房价影响因素分析与预测

练习1：相关分析

分析房价与各影响因素的相关性

📝 代码编辑器

import pandas as pd
import numpy as np

# 创建房价数据
np.random.seed(42)
n = 100
area = np.random.normal(95, 30, n).clip(30, 200).round(1)
bedrooms = np.random.randint(1, 5, n)
price = (area * 4500 + bedrooms * 15000 + np.random.normal(0, 20000, n)).round(0)

df = pd.DataFrame({
    'price': price,
    'area': area,
    'bedrooms': bedrooms
})

# 计算相关系数矩阵
corr_matrix = df.corr()

print("=== 相关系数矩阵 ===")
print(corr_matrix.round(3))
print()

# 查看与房价的相关性排序
price_corr = corr_matrix['price'].sort_values(ascending=False)
print("=== 与房价的相关性排序 ===")
print(price_corr.round(3))
print()

# 计算简单的线性回归系数 (手动)
x = df['area'].values
y = df['price'].values
slope = np.corrcoef(x, y)[0, 1] * np.std(y) / np.std(x)
intercept = y.mean() - slope * x.mean()

print("=== 线性回归方程 (房价 vs 面积) ===")
print(f"price = {slope:.2f} × area + {intercept:.2f}")
print(f"相关系数 R = {price_corr['area']:.3f}")
print(f"R² = {price_corr['area']**2:.3f}")

练习2：简单预测

使用回归模型进行预测

📝 代码编辑器

import pandas as pd
import numpy as np

# 复用前面的模型参数
np.random.seed(42)
n = 100
area = np.random.normal(95, 30, n).clip(30, 200).round(1)
bedrooms = np.random.randint(1, 5, n)
price = (area * 4500 + bedrooms * 15000 + np.random.normal(0, 20000, n)).round(0)

df = pd.DataFrame({
    'price': price,
    'area': area,
    'bedrooms': bedrooms
})

# 计算回归系数
def simple_linear_regression(x, y):
    slope = np.corrcoef(x, y)[0, 1] * np.std(y) / np.std(x)
    intercept = y.mean() - slope * x.mean()
    return slope, intercept

# 房价 vs 面积 模型
slope_area, intercept_area = simple_linear_regression(df['area'].values, df['price'].values)

# 使用模型进行预测
print("=== 基于面积的房价预测 ===")
test_areas = [50, 70, 90, 110, 130, 150]
for test_area in test_areas:
    predicted = slope_area * test_area + intercept_area
    print(f"面积 {test_area} ㎡ → 预测房价: ¥{predicted:,.0f}")

print()
# 计算预测误差
print("=== 模型评估 ===")
y_pred = df['area'] * slope_area + intercept_area
mse = np.mean((df['price'] - y_pred) ** 2)
rmse = np.sqrt(mse)
mae = np.mean(np.abs(df['price'] - y_pred))
print(f"均方误差 (MSE): {mse:,.0f}")
print(f"均方根误差 (RMSE): {rmse:,.0f}")
print(f"平均绝对误差 (MAE): {mae:,.0f}")
print(f"平均房价: {df['price'].mean():,.0f}")
print(f"相对误差: {mae/df['price'].mean()*100:.2f}%")

第9-16周

模块五至八：高级分析与综合项目

时间序列分析与销量预测
客户细分与精准营销 (RFM分析, K-means聚类)
A/B测试与假设检验 (卡方检验, t检验)
综合项目实战：企业经营数据分析与决策建议

🎀 实践项目：电商数据分析完整项目

综合练习：完整的数据分析项目

模拟一次完整的电商数据分析流程

📝 代码编辑器

import pandas as pd
import numpy as np

print("=" * 60)
print("🎀 电商数据分析完整项目")
print("=" * 60)
print()

# 1. 数据准备
print("=== 1. 数据准备 ===")
np.random.seed(42)
n_orders = 200
data = {
    'order_id': range(1001, 1001 + n_orders),
    'customer_id': np.random.randint(2001, 2101, n_orders),
    'amount': np.random.uniform(80, 800, n_orders).round(2),
    'category': np.random.choice(['电子产品', '服装', '食品', '家居', '美妆'], n_orders),
    'region': np.random.choice(['华北', '华东', '华南', '西南'], n_orders)
}
df = pd.DataFrame(data)
print(f"数据加载完成！共 {len(df)} 条订单记录")
print()

# 2. 数据探索
print("=== 2. 数据探索 ===")
print(f"总销售额: ¥{df['amount'].sum():,.2f}")
print(f"订单数量: {len(df)}")
print(f"客单价: ¥{df['amount'].mean():,.2f}")
print(f"独立客户数: {df['customer_id'].nunique()}")
print()

# 3. 分类分析
print("=== 3. 各品类销售分析 ===")
category_stats = df.groupby('category')['amount'].agg(['sum', 'count', 'mean']).round(2)
category_stats = category_stats.sort_values('sum', ascending=False)
category_stats.columns = ['销售额', '订单数', '客单价']
print(category_stats)
print()

# 4. 地区分析
print("=== 4. 各地区销售占比 ===")
region_sales = df.groupby('region')['amount'].sum().sort_values(ascending=False)
total_sales = region_sales.sum()
for region, sales in region_sales.items():
    pct = sales / total_sales * 100
    bar = '█' * int(pct / 2)
    print(f"{region}: {bar} ¥{sales:,.0f} ({pct:.1f}%)")
print()

# 5. TOP客户分析
print("=== 5. TOP10 客户消费排行 ===")
customer_spending = df.groupby('customer_id')['amount'].sum().sort_values(ascending=False).head(10)
for rank, (cid, amount) in enumerate(customer_spending.items(), 1):
    print(f"第{rank}名: 客户{cid} - ¥{amount:,.2f}")
print()

print("=" * 60)
print("✅ 数据分析完成！")
print("=" * 60)

🎁 主要工具与库

🐱

Pandas

数据处理与分析

💎

NumPy

科学计算基础

🎀

Matplotlib

数据可视化

🌸

Seaborn

统计可视化

✨

Scikit-learn

机器学习基础

📓

Jupyter

交互式编程环境

🏆 考核方式

40%

平时成绩

课堂练习与代码作业

30%

项目实践

数据分析项目报告

30%

综合考核

期末报告与答辩