hadoop

hadoop

livy 安装并集成kerberos

使用原因：因为griffin需要安装livy组件的支持，所以需要安装livy提交spark任务。版本说明: Livy版本0.7 spark版本CDH6.2-spark2.4 安装（1）下载apache livy 下载地址：https://github.com/apache/incubator-l

5年前 48

hadoop

启动yarn失败，明明端口没有被占用，但是仍然无法连接？

如题，用vm虚拟机创建了几个linux主机，hadoop102机器为master，slave机器hadoop103上指定ResourceManager。在hadoop102上启动yarn失败，log中报错： cause: org.apache.hadoop.yarn.exceptions.YarnR

5年前 36

hadoop

如何解释numpy.correlate和numpy.corrcoef返回的值？

我有两个1D数组，我想看看它们之间的相互关系。我应该在numpy中使用什么程序？我正在使用numpy.corrcoef(arrayA, arrayB)和numpy.correlate(arrayA, arrayB)，但都给出了一些我无法理解或理解的结果。有人可以阐明如何理解和解释这些数值结果（最好

6年前 76

hadoop

Hadoop是否会被Spark取代？Hadoop生态组件原理解析

首页专栏数据库文章详情 1 Hadoop是否会被Spark取代？Hadoop生态组件原理解析录信数软发布于 4 月 19 日 Hadoop和Spark都是目前主流的大数据框架，但是随着Spark在速度和易用性方面表现出的优势，一些国内外专家逐渐推崇S

4年前 21

hadoop

使用spark-submit部署程序时的java.lang.NoSuchMethodError

我正在编写一个程序来将数据上传到某个s3a：//链接。该计划是通过mvn install编制的。在本地运行程序（如使用java -jar jarfile.jar）没有返回任何错误。但是，当我使用spark-submit（如使用spark-submit jarfile.jar）时，它返回了这样的错误：

6年前 46

hadoop

你如何检查dfs中的目录

我在dfs中创建了一个名为/ foodir的目录来测试，如下所示： hadoop dfs -mkdir /foodir 有人能告诉我这个/美食家在哪里保存了吗？我该如何查看路径？我需要确保它不会保存在本地文件系统/ tmp下，因为每次重启服务器/ tmp都会被删除。任何想法如何检查服务器文件系统

6年前 60

hadoop

hdfs命令的那点事

首页专栏 shell 文章详情 0 hdfs命令的那点事 lang 发布于 2 月 26 日背景时间：2021年02月26日13:58:26 简要步骤：确定命令是什么？确定命令的位置是是哪里？确定命令执行的主类是哪一个？按照执行流程查看例子：发现hd

5年前 56

hadoop

Hadoop 入门

首页专栏 hadoop 文章详情 0 Hadoop 入门想你就写信发布于 2 月 1 日 1 大数据概率大数据是指在一定时间内无法用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多

5年前 40

hadoop

Hadoop“Permission denied（publickey，password，keyboard-interactive）”警告

我正在关注this教程，以便在我的计算机中安装Hadoop。完成安装后，当我尝试使用此命令./start-dfs.sh启动Hadoop时，它返回以下内容： U:sbin U$ ./start-dfs.sh Starting namenodes on [localhost] localhost: U@

6年前 642

hadoop