今天，我们宣布了一条简单、经济高效的数据湖现代化之路。Amazon S3表现在支持将Apache Hive表托管迁移到Apache Iceberg。迁移适用于在AWS胶水数据目录中注册的Amazon S3中的Parquet表，并允许您升级数据湖，而无需构建管道或进行计算以进行配置，同时生产工作负载继续运行。
Apache Iceberg已成为大型分析数据集的开放标准。它允许您管理具有模式演进、隐藏分区和时间旅行查询等功能的PB级表，同时使用任何与Iceberg兼容的引擎保持数据开放和可查询。
Amazon S3表提供了完全托管的存储，专为保持Iceberg表的性能和成本效益而构建，并内置了自动维护、优化、复制和S3智能分层等功能。新功能以前，将Apache Hive表迁移到Apache Iceberg可能需要数周的工程工作来构建和管理所需的基础设施。
转换数据类型和构建回滚功能增加了操作复杂性。现在，这可以作为一个托管的、API驱动的操作。S3表处理整个迁移工作流程，包括数据验证、兼容性检查、类型转换、文件重新压缩和压缩。在复制任何数据之前， S3表标识作用域中的每个源对象并生成兼容性报告。
您可以根据需要进行多次同步，而无需停止对源表的写入，但切换期间的几分钟除外。准备就绪后，您可以完成迁移，最大限度地减少表离线的时间。