Amazon S3表现在支持Apache Iceberg V3规范中的所有数据类型。您可以创建V3表或升级现有的V2表,以利用V3功能,如删除矢量、行沿袭和新数据类型,如变量、纳秒时间戳、未知、几何和地理。Apache Iceberg已成为管理大型分析数据集的开放标准。
它允许您管理具有架构演进、隐藏分区和时间旅行查询等功能的PB级表,同时将数据保存在对象存储(如Amazon S3 )上的数据湖中打开的Parquet文件中。Amazon S3表提供了专为保持Iceberg表在增长过程中的性能和成本效益而构建的存储,具有自动压缩、维护、复制和智能分层等完全托管功能。
在Apache Iceberg V2表上运行分析的团队通常会遇到与其数据增长相同的限制。从20亿行表中删除50,000条用户记录的合规性请求留下了位置删除文件,这些文件在压缩运行之前会减慢查询速度。半结构化事件以JSON字符串的形式出现,每个查询都必须对其进行解析。地理空间坐标和纳秒精度时间戳被编码为字符串或整数。
每个解决方法都会增加存储成本、查询延迟和管道代码。借助V3, Iceberg通过提供对半结构化和地理空间数据的本机支持、更快的行级操作以及用于数据治理的内置行谱系来解决这些挑战。从今天开始, Amazon S3表支持所有V3数据类型,包括变量、纳秒时间戳、几何图形、地理位置和未知数,以及删除矢量和行沿袭。
AWS News Blog发布了与云服务、企业架构、AI相关的技术动态,反映出企业级技术应用正在围绕效率、安全和可落地场景持续演进。