当前位置: 首页 > news >正文

部署单节点大数据平台

环境

主机  hadoop1

系统 centos7

hadoop版本 3.2.2

jdk版本 1.8.0_301

jdk和hadoop安装位置/app/

部署

免密

# 输入四次回车
ssh-keygen -t rsa
cd .ssh/
cat id_rsa.pub > authorized_keys
chmod 600 authorized_keys

解压软件包

tar -zxf hadoop-3.2.2.tar.gz 
tar -zxf jdk-8u301-linux-x64.tar.gz 

进入hadoop配置文件目录

cd hadoop-3.2.2/etc/hadoop/

配置hadoop-env.sh

export JAVA_HOME=/app/jdk1.8.0_301

配置core-site.xml

<!-- 制定HDFS的老大(NameNode)的地址 -->
<property><name>fs.defaultFS</name><value>hdfs://hadoop1:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property><name>hadoop.tmp.dir</name><value>/app/hadoop-3.2.2/tmp</value>
</property><property><name>hadoop.proxyuser.hadoop.hosts</name><value>*</value>
</property>
<property><name>hadoop.proxyuser.hadoop.groups</name><value>*</value>
</property>

配置hdfs-site.xml

<property><name>dfs.replication</name><value>1</value>
</property>
<property><name>dfs.namenode.http-address</name><value>hadoop1:50070</value>
</property>

配置mapred-site.xml

<!-- 指定mr运行在yarn上 -->
<property><name>mapreduce.framework.name</name><value>yarn</value>
</property>
<property><name>mapreduce.application.classpath</name><value>/app/hadoop-3.2.2/etc/*,/app/hadoop-3.2.2/etc/hadoop/*,/app/hadoop-3.2.2/lib/*,/app/hadoop-3.2.2/share/hadoop/common/*,/app/hadoop-3.2.2/share/hadoop/common/lib/*,/app/hadoop-3.2.2/share/hadoop/mapreduce/*,/app/hadoop-3.2.2/share/hadoop/mapreduce/lib-examples/*,/app/hadoop-3.2.2/share/hadoop/hdfs/*,/app/hadoop-3.2.2/share/hadoop/hdfs/lib/*,/app/hadoop-3.2.2/share/hadoop/yarn/*,/app/hadoop-3.2.2/share/hadoop/yarn/lib/*,</value>
</property>

配置yarn-site.xml

<!-- 指定YARN的老大(ResourceManager)的地址 -->
<property><name>yarn.resourcemanager.hostname</name><value>hadoop1</value>
</property>
<!-- reducer获取数据的方式 -->
<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value>
</property>
<property><name>yarn.nodemanager.vmem-check-enabled</name><value>false</value>
</property>
<property><name>mapreduce.application.classpath</name><value>/app/hadoop-3.2.2/etc/*,/app/hadoop-3.2.2/etc/hadoop/*,/app/hadoop-3.2.2/lib/*,/app/hadoop-3.2.2/share/hadoop/common/*,/app/hadoop-3.2.2/share/hadoop/common/lib/*,/app/hadoop-3.2.2/share/hadoop/mapreduce/*,/app/hadoop-3.2.2/share/hadoop/mapreduce/lib-examples/*,/app/hadoop-3.2.2/share/hadoop/hdfs/*,/app/hadoop-3.2.2/share/hadoop/hdfs/lib/*,/app/hadoop-3.2.2/share/hadoop/yarn/*,/app/hadoop-3.2.2/share/hadoop/yarn/lib/*,</value>
</property>

配置环境变量

export JAVA_HOME=/app/jdk1.8.0_301
export HADOOP_HOME=/app/hadoop-3.2.2
export HADOOP_CLASSPATH=`$HADOOP_HOME/bin/hadoop classpath`
export CLASSPATH=${CLASSPATH}:$HADOOP_CLASSPATH
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

格式化namenode

hdfs namenode -format

浏览器访问

http://hadoop1:8088
http://hadoop1:50070

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.exyb.cn/news/show-35384.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈,一经查实,立即删除!

BUUCTF 逆向工程(reverse)之Java逆向解密

程序员小张不小心弄丢了加密文件用的秘钥&#xff0c;已知还好小张曾经编写了一个秘钥验证算法&#xff0c;聪明的你能帮小张找到秘钥吗&#xff1f; 注意&#xff1a;得到的 flag 请包上 flag{} 提交 下载好题目后&#xff0c;发现它是个以.class为后缀的。所以用JD-GUI打开这…...

半个小时搞懂GDB调试

GNU调试器常常以它的命令gbd称呼它&#xff0c;它是一个交互的控制台&#xff0c;可以帮助你浏览源代码、分析执行的内容&#xff0c;其本质上是对错误的应用程序中出现的问题inx逆向工程。 一、启动调试 对于C/C程序来说&#xff0c;需要编译时加上-g参数&#xff0c;保留调…...

Javascript ES6中export与import指令使用说明

javascript ES6 支持模块化编程&#xff0c;模块是独立的文件js文件&#xff0c;该文件内部的所有的变量与函数都是局限在该模块内部&#xff0c;外部模块无法访问&#xff0c;如果需要在调用的模块之内使用这些符号&#xff0c;模块内部的变量与函数必须设置为输出。符号的输出…...

C语言-知识

1、数据以补码形式存储&#xff0c;正数为本身&#xff0c;负数为反码1 2、float类型无法准确和一个数比较是否相等&#xff0c;只能用float和一个数相减的绝对值在某个区间内来确定相等。 3、字符串常量&#xff1a;双引号引起来的一个或多个字符。 #define 在程序预编译时&am…...

用 Python 进行游戏开发

1. pgzero python在各个领域都有着丰富的第三方库,pygame是python在游戏领域的应用库,可以用来开发各种不同的游戏。但是对于初学者来说,还是存在一定的门槛。 而今天要和大家分享的pgzero(pygame zero)是在pygame基础上做了进一步的封装,使得设计一款游戏十分的方便,…...

Centos7启动Eclipse Ditto项目

Centos7启动Eclipse Ditto项目1.安装Oracle VM VirtualBox虚拟机&#xff0c;并安装centos7详细安装记录2.安装Docker3.Eclipse Ditto1.安装Oracle VM VirtualBox虚拟机&#xff0c;并安装centos7详细安装记录 详见win10安装oracle vm virtualbox&#xff0c;并安装centos7详细…...

C语言之重定向和文件(更新中)

一、C程序中要包含stdio.h头文件才可以直接使用putchar()、getchar()函数、printf()函数&#xff0c;scanf()函数&#xff0c;它们都是C语言标准I/O包的成员。 二、ANSI C 和后续的C标准都规定输入是缓冲的。缓冲区的大小取决于系统&#xff0c;常见大小512字节和4096字节。 缓…...

开发手札:git日常抽风记录

今天一大早代码提交不上github&#xff0c;各种方法解决不了&#xff0c;虽然最终不知道是否根治解决了&#xff0c;但是起码目前没问题&#xff0c;所以记录一下。 今天来公司三台开发机&#xff08;两台window、一台macos&#xff09;全部ssh connect timeout errorcode 22或…...

链表 + 数组模拟链表

链表的指针实现 1.指针 #include<iostream> using namespace std; int main(){int a 5;int *p; // int 型的指针double *q; //double 型的指针p &a;// cout << p 指向 acout << *p << endl; //间接输出 areturn 0; }2.申请动态内存&#xff08…...

vue 实现两级表头表格下载

首先需要引用两个js Blob.js 对应第一个 Export2Excel.js 对应第二个 /* eslint-disable */ /* Blob.js* A Blob implementation.* 2014-05-27** By Eli Grey, http://eligrey.com* By Devin Samarin, https://github.com/eboyjr* License: X11/MIT* See LICENSE.md*//*glo…...

Laravel ORM 订单 分表

Laravel ORM 订单 分表创建数据 简介数据库表用户表订单表订单商品表示例ORM新建 `_Model.php`文件。作为基类`Order.php` 订单模型继承_Model`OrderGoods.php` 订单商品继承_Model控制器订单入库访问简介 开发项目,经常碰到订单量暴增的问题,简单点处理,需要给订单表做分表…...

第一次动手构建 Linux 内核(未完待续)

目录背景机器参数参考链接操作流程步骤1&#xff1a;下载 Linux 内核源码步骤 2&#xff1a;解压源码步骤 3&#xff1a;下载所需软件包步骤 4&#xff1a;内核配置步骤 5&#xff1a;开始构建&#xff01;未完待续背景 这两天读《UNIX传奇&#xff1a;历史与回忆》这本书&…...

Spring学习:工厂方法创建 Bean

目录通过调用静态工厂方法创建 Bean通过调用实例工厂方法创建 Bean通过调用静态工厂方法创建 Bean 调用静态工厂方法创建 Bean是将对象创建的过程封装到静态方法中。当客户端需要对象时, 只需要简单地调用静态方法, 而不同关心创建对象的细节。 要声明通过静态方法创建的 Bean:…...

运行时数据区-虚拟机栈

文章目录谈谈你对虚拟机栈的理解栈帧什么是栈帧&#xff08;Stack Frame)当前栈帧栈帧的内部结构局部变量表Slot操作数栈Operand Stack动态链接方法返回地址一些附加信息虚方法和非虚方法方法的调用&#xff1a;虚方法表面试题方法中定义的局部变量是否线程安全&#xff1f;运行…...

常见运维问题(打印机、重装系统、IE)

连接打印机与驱动安装 制作U盘系统盘 新系统没有网卡时离线驱动安装 IE浏览器安全级别设置 IP地址的查询 处理操作来源于网络资源&#xff08;尊重原创&#xff09;&#xff1a;原创博客链接...

活动目录备份和灾难恢复之自动备份与授权还原

前言 由于服务器系统状态总在变化&#xff0c;因该增加对系统状态备份的频率&#xff0c;来减少备份对服务器工作环境的影响&#xff0c;所以最好是每天晚上对服务器系统状态进行备份&#xff0c;但是单独使用wbadmin命令无法创建系统状态的自动备份计划&#xff0c;此时可以使…...

TCP“三次挥断”的原因TCP延迟确认机制

在学习wireshark抓包的时候&#xff0c;一般都从最简单的三次握手和四次挥断看起&#xff0c;因为这两步对于每一个完整健康的TCP交互流来说都是必不可少的&#xff0c;通过抓包我们可以更清楚的了解其工作机制。 一、四次挥断和“三次挥断” 1、第一种情况 比如在电脑cmd发…...

HDU 1536 S-Nim

1536 #include<bits/stdc.h> using namespace std; int s[110],sg[10010]; int k; int SG(int x){if(sg[x]!-1)return sg[x];bool vis[110];memset(vis,0,sizeof(vis));for(int i0;i<k;i){if(x>s[i]){SG(x-s[i]);vis[sg[x-s[i]]]1;}}for(int i0;;i){if(!vis[i]){...

Redis 内存淘汰机制

Redis 内存淘汰机制 【问题一】 过期字典的方法很好&#xff0c;但还是有可能会出问题。因为定期删除和惰性删除还是有可能造成大量过期的 key 没被删除&#xff0c;堆积在内存中。非常容易就 内存溢出了 Out of memory。 【问题二】 如何保证 Redis 中的数据都是热点数据 &am…...

2021年Java开发爆款推荐!docker部署tomcat

一.java基础面试知识点 java中和equals和hashCode的区别 int、char、long各占多少字节数 int与integer的区别 探探对java多态的理解 String、StringBuffer、StringBuilder区别 什么是内部类&#xff1f;内部类的作用 抽象类和接口区别 抽象类的意义 抽象类与接口的应用…...

matplotlib 3D绘图警告;MatplotlibDeprecationWarning: Axes3D(fig) adding itself to the figure is deprecate

警告内容&#xff1a; MatplotlibDeprecationWarning: Axes3D(fig) adding itself to the figure is deprecated since 3.4. Pass the keyword argument auto_add_to_figureFalse and use fig.add_axes(ax) to suppress this warning. The default value of auto_add_to_figur…...

create_pose算子说明

算子作用&#xff1a;创建一个3D姿态 算子声明&#xff1a; create_pose( : : TransX, TransY, TransZ, RotX, RotY, RotZ, OrderOfTransform, OrderOfRotation, ViewOfTransform : Pose)举例&#xff1a; create_pose (EndX - StartX, EndY - StartY, EndZ - StartZ, 0, 0,…...

通过dockerfile 挂载数据卷

一、通过dockerfile 挂载数据卷 1、创建dockerfile&#xff0c;内容如下&#xff1a; [rootmaster home]# pwd /home [rootmaster home]# cat dockerfiletest FROM centosVOLUME ["v01", "v02"]CMD echo "----end-----"CMD /bin/bash[rootmas…...

Cy5 Methyltetrazine,花青素Cy5 甲基四嗪,花青素Cy5染料的主要用途

产品名称&#xff1a;Cy5 Methyltetrazine 分子量&#xff1a;934.10 主要用途&#xff1a;甲基四嗪-活化的Cy5染料&#xff0c;它与含tco的化合物发生反应&#xff0c;通过一种反电子按需的介子反应&#xff0c;形成稳定的共价键&#xff0c;不需要铜催化剂或高温。TCO与四嗪…...

5V升压充电12.6V充电芯片

五串5911 四串HU5912 三串HU5913 两串HU5914,升压充电管理IC HU5912四节锂电池升压充电IC 概要 HU5912是一款 5V输入&#xff0c;支持四节锂电池的升压充电管理 IC。 HU5912 &#xff0c;采用异步开关架构&#xff0c;使其在应用时仅需 要极少的外围器件&#xff0c;可有效…...

2021-08-24

#抖音云游戏&#xff0c;多品类注册 今年2月份&#xff0c;字节跳动游戏官网现正式上线&#xff0c;品牌名称为 “朝夕光年”&#xff0c;英文名为 NVERSEGAME。——嘉莱皓知识产权...

JavaSE_Day07_Java多线程

Java多线程一、进程1.1 概念1.2 特点1.2.1 独立性1.2.2 动态性1.2.3 并发性二、线程2.1 概念2.2 进程与线程的关系三、多线程的特性3.1 随机性3.2 线程状态四、多线程创建4.1 方式一&#xff1a;继承Thread4.1.1 概述4.1.2 常用方法4.1.3 测试4.2 方式二&#xff1a;实现Runnab…...

半个小时搞懂GDB调试

GNU调试器常常以它的命令gbd称呼它&#xff0c;它是一个交互的控制台&#xff0c;可以帮助你浏览源代码、分析执行的内容&#xff0c;其本质上是对错误的应用程序中出现的问题inx逆向工程。 一、启动调试 对于C/C程序来说&#xff0c;需要编译时加上-g参数&#xff0c;保留调…...

Xshell中鼠标选中内容自动换行ctrl+c解决办法

之前一直使用xshell来调试嵌入式终端&#xff0c;觉得蛮好用的&#xff0c;在昨天&#xff0c;突然发现&#xff0c;莫名的就出现ctrlc的命令&#xff0c;经分析&#xff0c;当使用鼠标选中内容后就自动出现&#xff0c;仔细思考这一两天的过程&#xff0c;并没有得到好的信息&…...

Coin Change(C++零钱兑换)

&#xff08;1&#xff09;dp&#xff0c;完全平方数类似 class Solution { public:int coinChange(vector<int>& coins, int amount) {int maxsamount1;int ncoins.size();vector<int> v(amount1,maxs);v[0]0;for(int i1;i<amount1;i) {for(int j0;j<n…...

dbc2000 注册机|dbc2000 注册码注册机下载

点击下载来源&#xff1a;dbc2000 注册机 dbc2000 注册机是同名源程序软件的注册机软件&#xff0c;该源程序软件是一款应用于数据库搭建以及数据写入的数据库架设工具&#xff0c;它拥有强大的数据写入功能&#xff0c;在作为应用程序使用时&#xff0c;它不仅可以充当数据属性…...

秋招面经第八弹:网易二面-数据开发工程师

秋招第八弹&#xff1a;网易二面-数据开发工程师 写在最前&#xff1a;秋招以来一直在冲&#xff0c;因为事情比较多&#xff0c;对于笔试面试一直没有复盘&#xff0c;现在靠仅存的记忆把面试的一些问题记录下来&#xff0c;尽可能记录出能回忆到的问题&#xff0c;但可能记的…...

安卓课程格子APP

https://download.csdn.net/download/weixin_57836618/73810452 功能演示&#xff1a; 查看所有课程 点击主页面空白处即可添加课程 添加课程之后查看课程 查看双周课程 查看单周课程 6.查看课程详情...

强化学习——格子世界

强化学习——格子世界 项目源码地址&#xff1a;https://gitee.com/infiniteStars/machine-learning-experiment 1. 实验内容 2. 实验代码 import numpy as np import matplotlib.pyplot as plt from matplotlib.table import Table from xml.dom.minidom import Document #手…...

华为机试 - 跳格子游戏

目录 题目描述 输入描述 输出描述 用例 题目解析 算法源码 题目描述 地上共有N个格子&#xff0c;你需要跳完地上所有的格子&#xff0c;但是格子间是有强依赖关系的&#xff0c;跳完前一个格子后&#xff0c;后续的格子才会被开启&#xff0c;格子间的依赖关系由多组st…...

php 爬课程表信息,Ruby爬取教务系统生成课程表

我为什么要虐自己最近觉得课程格子广告越来越多&#xff0c;乱七八糟的东西越来越多&#xff0c;完全失去了一开始的存在价值&#xff0c;并且没有电脑端app&#xff0c;想查看课程必须拿出手机&#xff0c;而我使用电脑频率要比手机高&#xff0c;所以才有了折腾的动力。于是我…...

android 课程表 ui,UICollectionViewLayout实现课程表布局

因为项目中有课程表的相关模块&#xff0c;第一时间想到用UICollectionView。然而后期的需求越来越复杂&#xff0c;每个格子需要展示的内容越来越多&#xff0c;所以不得不寻找合适的解决方案。最后发现自定义UICollectionViewLayout可以实现我的需求。先放效果图&#xff1a;…...

Android自定义View课程表,Android 自定义View课程表表格

自己闲下来时间写的一个课表控件使用的自定义LinearLayout 里面View都是用代码实现的 最终效果如下图 写的可能有问题希望多多指点创建一个自定义LinearLayout 控件用来装载课程的信息和课程的周数 和节数大概的布局三这样的根据上面的看来觉得总体布局我分了两个 上面的星期是…...

java课程设计设计_java课程设计

1. 团队课程设计博客链接https://www.cnblogs.com/choco1ate/p/12172223.html2.本组课题及本人任务本组课题&#xff1a;泡泡堂(炸弹人)游戏本人任务&#xff1a;Box类(游戏地图中的每个方格)Bomb类(游戏过程中的)游戏玩家输赢信息的文件储存3.需求分析Box类&#xff1a;该类为…...

《课程格子》的一个笔试题目

题目如下&#xff0c;感觉很适合喜欢琢磨的程序员&#xff0c;也是考验你编码风格的时候。 Lets make a tower defense game&#xff08;塔防游戏):1. You have 1 tower, with H health and D dps(damage per second).2. There are n attackers, each with h_i health and d_i …...

Android仿照超级课程表 or 课程格子 一键提取课表功能(方正系统)

参考文章http://blog.csdn.net/sbsujjbcy ,本文仿照‘ 安卓弟 提供的android 项目实战——打造超级课程表一键提取课表功能文章&#xff0c;对他的代码进行了修改和补充&#xff0c;为什么要修改呢&#xff1f;原因是安卓弟的那个源码版本过于老旧&#xff0c;很多方法已经过…...

【Python数据分析与处理 实训01】 ---- 菜品订单信息分析(数据了解及简单统计)

【Python数据分析与处理 实训01】 ---- 菜品订单信息分析&#xff08;数据了解及简单统计&#xff09; 探索Chipotle快餐数据 对于下面的数据集进行简单的一些数据的分析训练&#xff1a; 若需要源数据请私信~ 1. 将数据集存入一个名为chipo的数据框内 chipo pd.read_csv(&q…...

html查看订单详情,订单详情、订单状态.html

&#xfeff;订单详情、订单状态$axure.utils.getTransparentGifPath function() { return resources/images/transparent.gif; };$axure.utils.getOtherPath function() { return resources/Other.html; };$axure.utils.getReloadPath function() { return resources/reloa…...

mysql数据库下订单功能项目_订单功能模块设计与实现

在商城项目中&#xff0c;之前我们介绍了购物车功能模块的实现&#xff0c;商品加入到购物车之后&#xff0c;就是到购物车结算&#xff0c;然后显示购物车的商品列表&#xff0c;点击去结算&#xff0c;然后到了未提交前的订单列表&#xff0c;点击提交订单后&#xff0c;生成…...

支付宝报错“暂时无法获取订单信息,请稍后再试”解决方法

这个问题在网上找到好多&#xff0c;说法五花八门&#xff0c;单没有一个方法解决。最后一行一行的测试发现&#xff0c;原来这个错误的真正原因是。 total_amount付款金额不能是0&#xff01; total_amount付款金额不能是0&#xff01; total_amount付款金额不能是0&#xf…...

INVALID_PARAMETER 订单信息无法识别,建议联系卖家。 支付宝

1.先检查金额是否精确到小数点后两位 2.检查参数json格式是否正确 还有其他可能麻烦回帖告知...

分享一些可用的淘宝(1688)关于订单信息获取的相关接口(开放API收费)

1.获取订单详细信息: https://trade.taobao.com/trade/detail/trade_order_detail.htm?biz_order_id={订单id} 2.获取订单发货情况(淘宝)(有没有发货,以及发货的物流单号,物流运输详细信息): https://buyertrade.taobao.com/trade/json/transit_step.do?bizOrderId=…...

电商项目-订单模块

72. 显示确认订单信息页 显示“确认订单信息”页面中&#xff0c;需要显示2种数据&#xff1a;当前用户的所有收货地址列表&#xff1b;用户在前序页面中选择的购物车中的商品。 首先&#xff0c;完成“显示当前用户的所有收货地址的列表”&#xff0c;在此前开发“收货地址”…...

数据库-订单信息表(单表)_思路清晰_设计简洁

订单信息表 (order) |-- 自动编号&#xff08;order_id, 自增长主键&#xff09; |-- 订单单号&#xff08;order_no, 唯一值&#xff0c;供客户查询&#xff09; |-- 商店编号&#xff08;shop_id, 商店表自动编号&#xff09; |-- 订单状态 (order_status,未付款,已付款,已发…...

对接京东接口之获取订单信息jingdong.las.im.hfs.order.search(Java实现)

对接京东接口流程如下&#xff1a; 京东官网&#xff0c;获取JD待处理安维订单参数文档地址&#xff1a;http://jos.jd.com/api/detail.htm?id1890 对接获取订单信息jingdong.las.im.hfs.order.search代码如下&#xff1a; // 获取订单 public static LasImHfsOrderSear…...