15TB 物理仿真数据集！物理AI再也不愁数据了
- 公众号：GitHubStore
- 发布时间：2026-07-18T08:11:24+08:00
- 微信链接：https://mp.weixin.qq.com/s/Ut3c-tASBDP15dJo75Wd6g
- RSS ID：3916483328-2247495764_1
- Feed ID：MP_WXS_3916483328
- Glance 当前首页可见：是
其实现在做AI、做大模型拼的主要是数据，模型技术都差不多，真正拉开距离的是数据的质量
做科学机器学习也是，最费劲的常常不是换一个模型，而是换一份数据。
流体、等离子体、声波、生物系统，各自有不同的网格、变量命名和时间步。一个模型想跨数据集训练，前面往往先要做一大段数据清洗与适配。
Polymathic AI 开源的 The Well，把来自 16 类物理系统的数值仿真，整理为一套可训练、可比较的数据集合。
不是一个模型，而是一口“数据井”
The Well 收录约 15TB 的时空物理仿真数据，覆盖流体动力学、声学散射、磁流体、超新星演化、活性物质和生物系统等方向。每一类数据保留的是仿真过程中的物理场如何随时间变化，而不只是最后的一张结果图。
它既可以被当作单个领域的数据源，也可以被用作科学机器学习的统一评测基准。项目的重点不在于宣称某个模型已经解决了物理问题，而是让不同模型终于能在更一致的数据条件下比较。
先让不同物理系统说同一种数据语言
不同方程可以描述完全不同的现象，但它们在数值仿真后，往往都会落到“很多条轨迹、很多个时间步、一个或多个空间维度、若干物理量”这类结构上。The Well 把这种共性固定下来：
轨迹数量 × 时间步 × 空间网格 × 物理场分量数据以 HDF5 保存，并配套 YAML 元数据。标量场、向量场和张量场被分别存放，坐标、边界条件、单位等信息也有统一描述。对做模型的人来说，这意味着不必先为每份数据重新猜一遍数组维度和字段含义。
项目中的数据采用统一网格与等间隔采样时间，并预先划分训练、验证和测试集。它不会抹平不同物理问题之间的差异，但把读取、切片和批处理的共同部分收拢了。
数据之外，还有可直接接上的训练入口
The Well 并不是把一批大文件放出来就结束。它提供了 Python 包和 WellDataset，可以直接接到 PyTorch 的 DataLoader；研究者按数据集和数据划分选择即可，不必自己从 HDF5 文件开始搭读取层。
from the_well.data import WellDataset from torch.utils.data import DataLoader
trainset = WellDataset( well_base_path=“path/to/base”, well_dataset_name=“active_matter”, well_split_name=“train”, ) train_loader = DataLoader(trainset)数据既可以按需下载到本地，也可以通过 Hugging Face 流式读取。后者适合先探索数据；真正训练大模型时，官方文档也明确建议优先使用本地数据，以避免持续的远程读取成为瓶颈。
完整的基准测试
项目附带了 FNO、TFNO、U-Net 和 ConvNeXt U-Net 等基线，以及对应的训练脚本。它们面对的是典型的前向预测任务：给模型一小段历史状态，预测下一个时间快照。
这套基线的定位很克制。它们是在单张 NVIDIA H100、12 小时预算内跑出的可复现实验，不是为了刷出每个数据集上的最佳分数。这样的设置反而更适合作为新方法的共同起点：先确认数据、任务与计算预算，再讨论模型是否真的更好。
从一个数据集开始
Python 3.10 及以上环境可直接安装。数据不必一次下载完，先选一个领域和一个划分即可：
pip install the_well
the-well-download —base-path ./the-well
—dataset active_matter
—split train完整集合约 15TB，单个数据集的体量也从约 6.9GB 到 5.1TB 不等。先从小规模数据验证管线，再决定是否扩展到本地大规模训练，会更实际。
适合谁关注
如果你在做 PDE 代理模型、物理场预测、科学基础模型，或希望检验一个架构能否跨不同物理系统泛化，The Well 值得作为数据与基准入口。
它对通用 AI 应用未必直接有用，但对科学机器学习来说，它解决的是一个很朴素也很关键的问题：先把彼此难以复用的仿真数据，变成可以共同训练和共同讨论的材料。
项目地址
GitHub：
https://github.com/PolymathicAI/the_well项目文档：
https://polymathic-ai.org/the_well/
预览时标签不可点