Data Infra 工程师（深圳）

Responsibilities

1. 湖仓：设计AI场景的湖仓一体架构（Iceberg / Delta Lake / Hudi）处理 PB 级数据，主导多模态湖仓整体架构（结构化 + 非结构化 + 向量数据统一存储与访问）； 2. 多模态处理：设计大规模多模态处理框架（并行处理、质量评估、标注管理、去重），构建多模态统一表征与检索（embedding 存储、向量数据库、跨模态检索），建设面向AI训练的样本工厂； 3. 资产治理：设计完整治理体系（数据标准、质量监控、血缘、生命周期、分级分类、权限），主导企业级数据资产平台（发现、共享、成本核算、价值评估）； 4. 查询优化：对PB级查询做系统性优化（物化视图、数据倾斜、资源调度），设计平台级方案（自适应Query Plan、智能缓存、计算存储分离），建立SLA容量规划； 5. 流水线：设计批流一体、多数据源接入、数据版本管理。主导平台全链路建设，设计面向AI训练的特征工程平台+高效样本生产线。

Requirements

任职要求： 1. 本科及以上学历，计算机、软件工程、大数据、人工智能等相关专业； 2. 熟练掌握Python、C++、GO或Java中至少一种开发语言； 3. 精通SQL，理解复杂查询的执行逻辑及性能调优方法； 4. 熟悉至少一种大数据分布式计算或存储组件（如Spark、Flink、Hadoop、Kafka、Hive）； 5. 了解数据仓库、ETL流程和数据建模的基本理论； 6. 具备扎实的计算机基础，包括数据结构、算法和操作系统知识； 7. 熟悉Iceberg、Paimon、Hudi、Alluxio、JuiceFS、Docker、K8S等技术，加分； 8. 了解向量数据库或图数据库，有多模态数据处理或RAG应用实践经验，加分。

Who this role is for

本科及以上

Company overview