浙江省长兴县建设局网站/建站abc
目录
一、采用海豚调度器+Doris开发平替CDH Hdfs + Yarn + Hive + Oozie的理由。
1. 架构复杂性
2. 数据处理性能
3. 数据同步与更新
4. 资源利用率与成本
6. 生态系统与兼容性
7. 符合信创或国产化要求
二、ODS层接入数据
接入kafka实时数据
踩坑的问题细节
三、海豚调度器调度Doris进行报表开发
创建带分区的表
在doris进行开发调试
开发海豚调度器脚本
解决shell脚本使用 MySQL 命令行给 SQL 文件传参遇到的坑
综合案例
一、采用海豚调度器+Doris开发平替CDH Hdfs + Yarn + Hive + Oozie的理由。
海豚调度器+Doris离线数仓方案与CDH Hive在多个方面存在显著差异，以下是对这两种方案的对比分析：
1. 架构复杂性
- CDH Hive：基于Hadoop生态，组件众多，配置和维护复杂，需要管理HDFS、YARN、Hive等多个服务。
- 海豚调度器+Doris：架构简化，易于部署和维护。Doris本身是一个高性能的分布式OLAP数据库，支持在线模式变更，减少了额外的组件和复杂性。