Page 1 of 1

dataiku on-prem 使用 Hadoop 进行计算

Posted: Sat Mar 01, 2025 7:02 am
by ayeshshiddika11
专业知识: Hadoop 和其他本地数据环境通常需要 Java、MapReduce、Scala 和 PySpark 方面的技能,从而限制了可用性。
基础设施成本高:维护大规模的内部计算集群的成本很高。
可扩展性限制:与基于云的替代方案相比,在内部环境中扩展 AI 工作负载更加复杂。
Jed 分享道,Dataiku 长期以来一直支持本地部署,并与 Hadoop 集群、Teradata、Greenplum MPP 数据库和其他企业系统集成。这种灵活性使 Dataiku 能够作为一个集中式平台运行 — 即使在复杂的环境中,也能为分析师、数据科学家和工程师提供更简化的工作方式。


借助 Dataiku,组织可以更好地管理 奥地利 Whatsapp 数据 这些复杂性,从而提供在现有基础架构内更高效的工作方式。通过与现有的本地计算引擎集成,Dataiku 允许团队无缝执行分析和 AI 工作负载,而无需完全迁移到云。

2.混合模式:向云端的务实过渡
对于许多企业来说,全面迁移到云并非一蹴而就,甚至不现实。相反,它们在混合环境中运营,其中一些工作负载仍保留在本地,而其他工作负载则随着时间的推移转移到Snowflake或Databricks等云平台。虽然这种方法提供了灵活性,但也带来了复杂性,因为同时管理本地和云资源可能具有挑战性。
Jed 和 Lynn 分享了一家大型金融机构的例子,该机构在应对这一转变的过程中为数千名用户使用了 Dataiku。他们的安全架构 (SecArch) 团队正在逐步批准云组件,允许某些工作负载逐步过渡。一些数据仍在 Cloudera 上运行,而其他工作负载已经在 Snowflake 中运行。