背景：新入职的一家传统公司，开发运维的活都要自己干。领导不懂技术，今年定下的目标是要在公司内搞一个大数据平台，指定要部署一套 Hadoop 集群，让我来负责。我感觉按目前公司的业务来说根本用不到，基本上属于是绩效工程，我自己也对这方面没有太多研究。很早以前接触过一点 Hadoop ，印象就是安装配置挺麻烦的，所以我想来请教下在生产环境上能否使用 Docker 来简化 Hadoop 的安装配置，是否有什么坑？
This topic created in 980 days ago, the information mentioned may be changed or developed.
 |
cutiechiMar 4, 2024
1
太可以了，现在政府的底层都是在 k8s 上了
|
 |
2
@superchijinpeng 没有 k8s 环境，弄 k8s 感觉更复杂了。我想直接用 docker compose ，但这样是不是就和 hadoop 伪分布式集群差不多了，组件都跑在一个机器节点上了
|
 |
cusMar 4, 2024 via iPhone
3
单机就没有任何必要布集群了
|
|
cusMar 4, 2024 via iPhone
4
可以看看阿里云的 lindorm ，我们之前的场景 lindorm 成本和自建接近。
|
|
5
@cus 绩效工程，领导要啥就只能做啥，打工人没有拍板的权力。领导要 Hadoop 就得上 Hadoop ，领导要 Docker 就得用 Docker 。
其实我主要是想问在不引入 k8s 、docker swarm 等的情况下有没有比较好的方案编排这些组件，并且不是单机集群 |
 |
6
我的理解，应该是有 ansible 编排的 hadoop 集群，可以去 GitHub 找找
|
1 |
kneoMar 5, 2024 via Android
7
能。生产环境常用。当然坑很多，说有一百个坑都不为过。你想一个都不踩是不可能的。该踩的都得踩一遍，都是经验，就别想着避坑了。
|
 |
ispongMar 5, 2024
8
合作一下？ 😊
|
|
ispongMar 5, 2024
9
|
Select Language