Python实用工具：大数据分析的高效利器Vaex

pip install vaex

git clone https://github.com/vaexio/vaex.git
cd vaex
pip install .

import vaex

# 加载CSV文件（假设文件名为data.csv，支持百万级数据）
df = vaex.open('data.csv')  # 内存映射方式打开，不立即加载数据

# 查看数据前5行（延迟计算，此时尚未执行实际读取）
print(df.head())

# 查看数据统计信息（触发计算）
print(df.describe())

# 过滤出年龄大于30且收入大于50000的记录
filtered_df = df[(df['age'] > 30) & (df['income'] > 50000)]

# 对过滤后的数据计算平均年龄
average_age = filtered_df['age'].mean()
print(f"平均年龄：{average_age:.2f}")

# 定义自定义函数：计算BMI指数
def calculate_bmi(weight, height):
    return weight / (height / 100) ** 2

# 向量化应用自定义函数，创建新列'bmi'
df['bmi'] = vaex.apply(calculate_bmi, df['weight'], df['height'])

# 按'bmi'分组统计人数
grouped = df.groupby('bmi', sort=True).count()
print(grouped.head())

# 内存映射方式打开大文件
df = vaex.from_csv('large_data.csv', convert=True)  # convert=True自动转换数据类型

# 计算某列的唯一值数量（无需加载全部数据）
unique_values = df['category_column'].nunique()
print(f"唯一值数量：{unique_values}")

# 创建两个延迟计算的表达式
x = df['x'] ** 2
y = df['y'] ** 3

# 仅在需要时计算表达式（如绘制散点图）
df.plot(x, y, title='延迟计算示例')

# 绘制年龄与收入的2D直方图
df.hist2d(df['age'], df['income'], bins=50, log=True)

pip install vaex-viz

import vaex.viz

# 创建3D散点图对象
scatter = vaex.viz.Scatter3D(df, x='x', y='y', z='z', color='intensity')
scatter.show()  # 打开交互式可视化窗口

from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression

# 创建特征矩阵和标签（延迟计算）
X = df[['age', 'income', 'bmi']]
y = df['target']

# 转换为NumPy数组（触发计算并返回副本）
X_numpy = X.to_numpy()
y_numpy = y.to_numpy()

# 划分训练集与测试集
X_train, X_test, y_train, y_test = train_test_split(X_numpy, y_numpy, test_size=0.2)

# 训练线性回归模型
model = LinearRegression()
model.fit(X_train, y_train)

# 评估模型
score = model.score(X_test, y_test)
print(f"R^2得分：{score:.2f}")

# 示例数据下载（实际需替换为真实数据路径）
import urllib.request
urllib.request.urlretrieve('https://example.com/astronomy_data.parquet', 'astronomy_data.parquet')

# 加载Parquet文件（内存映射方式）
df = vaex.open('astronomy_data.parquet')

# 查看数据结构
print(df.column_names)  # 输出列名：['galaxy_id', 'redshift', 'intensity', 'type', 'noise']

# 清洗异常值：移除红移值为负数或强度为0的记录
cleaned_df = df[(df['redshift'] > 0) & (df['intensity'] > 0)]

# 处理缺失值：用中位数填充'noise'列
cleaned_df['noise'] = cleaned_df['noise'].fillna(cleaned_df['noise'].median())

# 计算红移与强度的Pearson相关系数
corr = cleaned_df['redshift'].corr(cleaned_df['intensity'])
print(f"相关系数：{corr:.3f}")  # 输出：相关系数：-0.782

# 绘制红移与强度的散点图
cleaned_df.plot(cleaned_df['redshift'], cleaned_df['intensity'], 
                title='红移与光谱强度相关性', 
                xlabel='红移值', ylabel='强度', 
                alpha=0.1, size=5)  # alpha控制透明度，size控制标记大小

from sklearn.ensemble import RandomForestClassifier
from sklearn.preprocessing import LabelEncoder

# 标签编码：将星系类型转换为数值
le = LabelEncoder()
cleaned_df['type_encoded'] = le.fit_transform(cleaned_df['type'].to_numpy())

# 选择特征与标签
X = cleaned_df[['redshift', 'intensity', 'noise']]
y = cleaned_df['type_encoded']

# 划分训练集与测试集（使用Vaex的分块抽样）
train_df, test_df = cleaned_df.random_split([0.8, 0.2])
X_train = train_df[['redshift', 'intensity', 'noise']].to_numpy()
y_train = train_df['type_encoded'].to_numpy()
X_test = test_df[['redshift', 'intensity', 'noise']].to_numpy()
y_test = test_df['type_encoded'].to_numpy()

# 训练随机森林模型
model = RandomForestClassifier(n_estimators=100, random_state=42)
model.fit(X_train, y_train)

# 评估模型
accuracy = model.score(X_test, y_test)
print(f"测试集准确率：{accuracy:.2f}")  # 输出：测试集准确率：0.91