当前位置: 首页 > news >正文

大数据技术hadoop核心Flume

大家好,我是曜耀。

这几天曜耀开始复习一下自己的专业课,相信看过的都了解,就是当前热门的大数据技术与应用。我对于这门专业来说,一个特色就是都会,你说Linux我懂,你说java这是基操,python不好意思也会,前端?略懂略懂。hadoop?嗯?这是我们专业的特色不会没人知道吧。还有很多的只要你说的关于程序员的我们大数据专业都知道。如果你们听说过大数据技术与应用,这很正常,这一两年兴起的。

接下来就让我们复习一下Flume这个hadoop的核心之一。

Flume是一个高可用,高可靠,分布式的海量日志采集、聚合和传输的系统,能够有效的收集、聚合、移
动大量的日志数据。
其实通俗一点来说就是Flume是一个很靠谱,很方便、很强的日志采集工具。
他是目前大数据领域数据采集最常用的一个框架。这就是我们大数据用来吃饭的饭碗。
特性
1. 它有一个简单、灵活的基于流的数据流结构,这个其实就是刚才说的Agent内部有三大组件,数据通
过这三大组件流动的
2. 具有负载均衡机制和故障转移机制,这个后面我们会详细分析
3. 一个简单可扩展的数据模型(SourceChannelSink),这几个组件是可灵活组合的
Flume的三大核心组件:
Source:数据源
Channel:临时存储数据的管道
Sink:目的地
Source
Source:数据源:通过source组件可以指定让Flume读取哪里的数据,然后将数据传递给后面的
channel
Flume内置支持读取很多种数据源,基于文件、基于目录、基于TCP\UDP端口、基于HTTPKafka
等等、当然了,如果这里面没有你喜欢的,他也是支持自定义的
在这我们挑几个常用的看一下:
Exec Source:实现文件监控,可以实时监控文件中的新增内容,类似于linux中的tail -f 效果。
在这需要注意 tail -F tail -f 的区别
tail -F
等同于–follow=name --retry,根据文件名进行追踪,并保持重试,即该文件被删除或改名后,如果
再次创建相同的文件名,会继续追踪
tail -f
等同于–follow=descriptor,根据文件描述符进行追踪,当文件改名或被删除,追踪停止
在实际工作中我们的日志数据一般都会通过log4j记录,log4j产生的日志文件名称是固定的,每天定
时给文件重命名
假设默认log4j会向access.log文件中写日志,每当凌晨0点的时候,log4j都会对文件进行重命名,在
access后面添加昨天的日期,然后再创建新的access.log记录当天的新增日志数据。
这个时候如果想要一直监控access.log文件中的新增日志数据的话,就需要使用tail -F
NetCat TCP/UDP Source: 采集指定端口(tcpudp)的数据,可以读取流经端口的每一行数据
Spooling Directory Source:采集文件夹里新增的文件
Kafka Source:从Kafka消息队列中采集数据
以上就是Flume的知识点。
我是曜耀,下次见。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.exyb.cn/news/show-35222.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈,一经查实,立即删除!

K-means笔记

K-means算法 算法过程: 从N个样本数据中随机选取K个对象作为初始的聚类中心。分别计算每个样本到这各个聚类中心的距离,并将对象归于距离最短的聚类群中。所有样本计算完后,重新计算K个聚类中心。与前一次计算得到得聚类中心比较。如果聚类中…...

为什么淘宝搜索宝贝排名先后不一样,原理是什么?

为什么淘宝搜索宝贝排名先后不一样,原理是什么?  商品在淘宝搜索的排名前后是决定商品的展示多少的,当买家搜索了商品的相关关键词之后,就可以根据综合、价格、信用和价格四个不同的方式来进行排序,不同排序的情况下商…...

2021制造业数字化案例大会暨探营海尔数字化创新”在青岛盛大开幕

5月29日,“2021制造业数字化案例大会暨探营海尔数字化创新”活动在青岛成功举办。本次活动由由数字产业创新研究中心主办,锦囊专家、首席数字官、承办,海尔集团、山东省CIO联盟、青岛CIO联盟协办,邀请海尔集团的多位数字化高管和十…...

2021牛客暑期多校训练营5

B、Boxes 题目大意 你有nnn个盒子,每个盒子内存在可能有黑球和白球中的一种,打开每个盒子都有一个代价wiw_iwi​,你还有一次询问裁判的机会,当然询问裁判代价为CCC,你需要告诉裁判这nnn个盒子每个盒子里面的球颜色&a…...

MySQL数据库从小白到小菜04

MySQL数据库从小白到小菜04MySQL进阶补充插入聚合查询COUNTSUMAVGMAXMINGROUP BYHAVING联合查询内连接外连接MySQL进阶补充 插入 在表中插入数据时用的是INSERT,在MySQL中,是可以插入(查找结果表)的数据,但是结果表每一列的顺序类型都必须与…...

Java学习路线图//Java、Java学习路线、Java自学、Java经验分享、经验分享、资源分享

今天整理了群里大佬们的实践经验成文为学习路线图,目的是帮助后来者高效的学习Java。 该路线图在保留了文章的核心架构外,也做了一些优化,包括: 更详细的学习内容。更精确的学习时间。优化学习方法,避开前端知识。及…...

Linux高级存储管理

Linux高级存储管理1.lvm定义1.1 逻辑卷2.lvm的建立3.lvm的拉伸4. lvm缩减5.lvm快照6.lvm设备的删除7.管理vdo设备1.lvm定义 1.1 逻辑卷 逻辑卷主要适用于解决存储空间扩展问题,逻辑卷可以利用软件实现无限扩展。LVM可以实现把新的物理分区重组成物理卷&#xff0c…...

2021-06-11 VMware centos7 无线网络配置

一、虚拟机设置 VMware界面最上面,选择虚拟机->设置:将网络连接改为桥接模式,如下图所示: 二、查看主机DNS地址 winR 输入cmd,启动命令行界面,输入ipconfig/all,查看主机DNS服务器地址&#…...

Anime+Vue<svg画线动画>从安装到入门使用

1.安装Anime并全局使用 npm install animejs --saveimport anime from "animejs";2.在阿里巴巴矢量图标库复制&#xff08;或者下载&#xff09;svg到页面中,注意&#xff1a;画线动画svg图标stroke属性必须有颜色值。不然看到个毛线! <template> <div> …...

2021多校第二场F 简单计算几何模板(球体相交体积)

简单板子题题意代码题意 [原题链接](https://ac.nowcoder.com/acm/contest/11253/F) 大致题意&#xff1a; 有A&#xff0c;B&#xff0c;C&#xff0c;D四个点&#xff08;三维坐标&#xff09;和k1&#xff0c;k2两个常数 在空间上取一点P1使 |AP1|/|BP1|k1 &#xff08;所有…...

解决Ambari启用Kerberos后HDFS/YARN/SPARK等页面无法打开问题

Ambari启用Kerberos认证后HDFS/YARN/SPARK等相关的组件的web页面都无访问了&#xff0c;提示要登录&#xff0c;401: Authorization required。 Ambari版本2.7.3.0 这个问题&#xff0c;可以通过两个办法解决 配置本机的kerberos认证&#xff0c;登录可以访问的user配置组件服…...

NoSQL NewSQL

OldSQLNewSQLNoSQL分类关系型关系型非关系型非关系型应用场景交易型&#xff1a;实时&#xff0c;面向应用&#xff0c;关注热数据交易型&#xff1a;实时&#xff0c;面向应用&#xff0c;关注热数据分析型&#xff1a;非实时&#xff0c;面向统计分析&#xff0c;关注全部数据…...

BUUCTF 逆向工程(reverse)之Java逆向解密

程序员小张不小心弄丢了加密文件用的秘钥&#xff0c;已知还好小张曾经编写了一个秘钥验证算法&#xff0c;聪明的你能帮小张找到秘钥吗&#xff1f; 注意&#xff1a;得到的 flag 请包上 flag{} 提交 下载好题目后&#xff0c;发现它是个以.class为后缀的。所以用JD-GUI打开这…...

Javascript ES6中export与import指令使用说明

javascript ES6 支持模块化编程&#xff0c;模块是独立的文件js文件&#xff0c;该文件内部的所有的变量与函数都是局限在该模块内部&#xff0c;外部模块无法访问&#xff0c;如果需要在调用的模块之内使用这些符号&#xff0c;模块内部的变量与函数必须设置为输出。符号的输出…...

C语言-知识

1、数据以补码形式存储&#xff0c;正数为本身&#xff0c;负数为反码1 2、float类型无法准确和一个数比较是否相等&#xff0c;只能用float和一个数相减的绝对值在某个区间内来确定相等。 3、字符串常量&#xff1a;双引号引起来的一个或多个字符。 #define 在程序预编译时&am…...

用 Python 进行游戏开发

1. pgzero python在各个领域都有着丰富的第三方库,pygame是python在游戏领域的应用库,可以用来开发各种不同的游戏。但是对于初学者来说,还是存在一定的门槛。 而今天要和大家分享的pgzero(pygame zero)是在pygame基础上做了进一步的封装,使得设计一款游戏十分的方便,…...

Centos7启动Eclipse Ditto项目

Centos7启动Eclipse Ditto项目1.安装Oracle VM VirtualBox虚拟机&#xff0c;并安装centos7详细安装记录2.安装Docker3.Eclipse Ditto1.安装Oracle VM VirtualBox虚拟机&#xff0c;并安装centos7详细安装记录 详见win10安装oracle vm virtualbox&#xff0c;并安装centos7详细…...

C语言之重定向和文件(更新中)

一、C程序中要包含stdio.h头文件才可以直接使用putchar()、getchar()函数、printf()函数&#xff0c;scanf()函数&#xff0c;它们都是C语言标准I/O包的成员。 二、ANSI C 和后续的C标准都规定输入是缓冲的。缓冲区的大小取决于系统&#xff0c;常见大小512字节和4096字节。 缓…...

开发手札:git日常抽风记录

今天一大早代码提交不上github&#xff0c;各种方法解决不了&#xff0c;虽然最终不知道是否根治解决了&#xff0c;但是起码目前没问题&#xff0c;所以记录一下。 今天来公司三台开发机&#xff08;两台window、一台macos&#xff09;全部ssh connect timeout errorcode 22或…...

链表 + 数组模拟链表

链表的指针实现 1.指针 #include<iostream> using namespace std; int main(){int a 5;int *p; // int 型的指针double *q; //double 型的指针p &a;// cout << p 指向 acout << *p << endl; //间接输出 areturn 0; }2.申请动态内存&#xff08…...

HDU 1536 S-Nim

1536 #include<bits/stdc.h> using namespace std; int s[110],sg[10010]; int k; int SG(int x){if(sg[x]!-1)return sg[x];bool vis[110];memset(vis,0,sizeof(vis));for(int i0;i<k;i){if(x>s[i]){SG(x-s[i]);vis[sg[x-s[i]]]1;}}for(int i0;;i){if(!vis[i]){...

命令提示符

CMD 打开CMD方式 开始&#xff0c;Windows 系统&#xff0c;命令提示符&#xff08;以管理员身份运行&#xff09;WIndowsR&#xff0c;cmd文件夹下&#xff0c;Shift鼠标右键&#xff0c;在此处打开Powershell窗口资源管理器地址栏&#xff0c;cmd 常用DOS命令 切换盘符&a…...

2021年A特种设备相关管理(锅炉压力容器压力管道)免费试题及A特种设备相关管理(锅炉压力容器压力管道)考试技巧

题库来源&#xff1a;安全生产模拟考试一点通公众号小程序 安全生产模拟考试一点通&#xff1a;A特种设备相关管理&#xff08;锅炉压力容器压力管道&#xff09;免费试题是安全生产模拟考试一点通生成的&#xff0c;A特种设备相关管理&#xff08;锅炉压力容器压力管道&#…...

C语言-知识

1、数据以补码形式存储&#xff0c;正数为本身&#xff0c;负数为反码1 2、float类型无法准确和一个数比较是否相等&#xff0c;只能用float和一个数相减的绝对值在某个区间内来确定相等。 3、字符串常量&#xff1a;双引号引起来的一个或多个字符。 #define 在程序预编译时&am…...

python flask实战订餐系统微信小程序-42使用可视化的百度开源ueditor编辑展示工具

B站配套视频教程观看 使用可视化的百度开源ueditor编辑展示工具 使用插件改变描述区域的东西&#xff0c;支持编辑 百度开源ueditor http://fex.baidu.com/ueditor/ 代碼中已經添加了ueditor插件 引入JS 需要包含3个js文件 <script src"{{ buildStaticUrl(/plugi…...

2021年电工(中级)考试内容及电工(中级)作业模拟考试

题库来源&#xff1a;安全生产模拟考试一点通公众号小程序 安全生产模拟考试一点通&#xff1a;2021年电工&#xff08;中级&#xff09;考试内容为正在备考电工&#xff08;中级&#xff09;操作证的学员准备的理论考试专题&#xff0c;每个月更新的电工&#xff08;中级&…...

js-如何判断一个对象为空对象

<script> export default{name:demo,data(){return{}},methods:{checkObject(obj){if (JSON.stringify(obj) {}) {return false // 如果为空 返回false}return true // 如果不为空 返回true}} } </script>...

为什么淘宝搜索宝贝排名先后不一样,原理是什么?

为什么淘宝搜索宝贝排名先后不一样&#xff0c;原理是什么&#xff1f;  商品在淘宝搜索的排名前后是决定商品的展示多少的&#xff0c;当买家搜索了商品的相关关键词之后&#xff0c;就可以根据综合、价格、信用和价格四个不同的方式来进行排序&#xff0c;不同排序的情况下商…...

HTTP与HTTPS的区别

HTTP与HTTPS的区别 HTTP &#xff08;HyperText Transfer Protocol&#xff1a;超文本传输协议&#xff09; HTTP&#xff08;HyperText Transfer Protocol&#xff1a;超文本传输协议&#xff09;是一种用于分布式、协作式和超媒体信息系统的应用层协议。 简单来说就是一种发…...

EXECL 获取断续数据的开头和结尾的数据

需求&#xff1a; 判断序号行的数据是否连续&#xff0c;在开头字段写入序号中连续数据的第一个数&#xff0c;结尾字段写入连续数据的最后一个数。 Sub 判断是否连续()Dim i As IntegerDim s As Integer写入开头第一个数据Cells(2, "C") Cells(2, "B")…...

dbc2000 注册机|dbc2000 注册码注册机下载

点击下载来源&#xff1a;dbc2000 注册机 dbc2000 注册机是同名源程序软件的注册机软件&#xff0c;该源程序软件是一款应用于数据库搭建以及数据写入的数据库架设工具&#xff0c;它拥有强大的数据写入功能&#xff0c;在作为应用程序使用时&#xff0c;它不仅可以充当数据属性…...

秋招面经第八弹:网易二面-数据开发工程师

秋招第八弹&#xff1a;网易二面-数据开发工程师 写在最前&#xff1a;秋招以来一直在冲&#xff0c;因为事情比较多&#xff0c;对于笔试面试一直没有复盘&#xff0c;现在靠仅存的记忆把面试的一些问题记录下来&#xff0c;尽可能记录出能回忆到的问题&#xff0c;但可能记的…...

安卓课程格子APP

https://download.csdn.net/download/weixin_57836618/73810452 功能演示&#xff1a; 查看所有课程 点击主页面空白处即可添加课程 添加课程之后查看课程 查看双周课程 查看单周课程 6.查看课程详情...

强化学习——格子世界

强化学习——格子世界 项目源码地址&#xff1a;https://gitee.com/infiniteStars/machine-learning-experiment 1. 实验内容 2. 实验代码 import numpy as np import matplotlib.pyplot as plt from matplotlib.table import Table from xml.dom.minidom import Document #手…...

华为机试 - 跳格子游戏

目录 题目描述 输入描述 输出描述 用例 题目解析 算法源码 题目描述 地上共有N个格子&#xff0c;你需要跳完地上所有的格子&#xff0c;但是格子间是有强依赖关系的&#xff0c;跳完前一个格子后&#xff0c;后续的格子才会被开启&#xff0c;格子间的依赖关系由多组st…...

php 爬课程表信息,Ruby爬取教务系统生成课程表

我为什么要虐自己最近觉得课程格子广告越来越多&#xff0c;乱七八糟的东西越来越多&#xff0c;完全失去了一开始的存在价值&#xff0c;并且没有电脑端app&#xff0c;想查看课程必须拿出手机&#xff0c;而我使用电脑频率要比手机高&#xff0c;所以才有了折腾的动力。于是我…...

android 课程表 ui,UICollectionViewLayout实现课程表布局

因为项目中有课程表的相关模块&#xff0c;第一时间想到用UICollectionView。然而后期的需求越来越复杂&#xff0c;每个格子需要展示的内容越来越多&#xff0c;所以不得不寻找合适的解决方案。最后发现自定义UICollectionViewLayout可以实现我的需求。先放效果图&#xff1a;…...

Android自定义View课程表,Android 自定义View课程表表格

自己闲下来时间写的一个课表控件使用的自定义LinearLayout 里面View都是用代码实现的 最终效果如下图 写的可能有问题希望多多指点创建一个自定义LinearLayout 控件用来装载课程的信息和课程的周数 和节数大概的布局三这样的根据上面的看来觉得总体布局我分了两个 上面的星期是…...

java课程设计设计_java课程设计

1. 团队课程设计博客链接https://www.cnblogs.com/choco1ate/p/12172223.html2.本组课题及本人任务本组课题&#xff1a;泡泡堂(炸弹人)游戏本人任务&#xff1a;Box类(游戏地图中的每个方格)Bomb类(游戏过程中的)游戏玩家输赢信息的文件储存3.需求分析Box类&#xff1a;该类为…...

《课程格子》的一个笔试题目

题目如下&#xff0c;感觉很适合喜欢琢磨的程序员&#xff0c;也是考验你编码风格的时候。 Lets make a tower defense game&#xff08;塔防游戏):1. You have 1 tower, with H health and D dps(damage per second).2. There are n attackers, each with h_i health and d_i …...

Android仿照超级课程表 or 课程格子 一键提取课表功能(方正系统)

参考文章http://blog.csdn.net/sbsujjbcy ,本文仿照‘ 安卓弟 提供的android 项目实战——打造超级课程表一键提取课表功能文章&#xff0c;对他的代码进行了修改和补充&#xff0c;为什么要修改呢&#xff1f;原因是安卓弟的那个源码版本过于老旧&#xff0c;很多方法已经过…...

飞机票优惠计算方法

import java.util.Scanner; public class test {public static void main(String[] args) {//机票价格运算//用户输入Scanner sc new Scanner(System.in);System.out.println("请输入飞机票原价&#xff1a;");int money sc.nextInt();System.out.println("请输…...

js+html实现买机票方法

机票价格按照淡旺季、头等舱和经济舱收费、输入机票原价、月份和头等舱或经济舱 按照如下规则计算机票价格&#xff1a;旺季&#xff08;5 - 10月&#xff09;头等舱9折&#xff0c;经济舱8.5折&#xff0c;淡季&#xff08;11月到来年4月&#xff09;头等舱7折&#xff0c;经济…...

反向春运现象火热机票便宜处理

在我们印象中&#xff0c;每年春运都是一票难求&#xff0c;甚至有花高价钱也买不到票的情况。但是&#xff0c;似乎春运期间热门目的反向机票受到热捧&#xff0c;相比春运期间热门目的地反向机票往返机票差价接近千元&#xff0c;而且在除夕前一周机票价格甚至比高铁票还要低…...

c语言机票座位预定系统_飞机票订票系统 c语言

2008-12-27 回答一、计算机的概念及基本组成 设问&#xff1a;什么是电子计算机&#xff1f;简单地说&#xff0c;电子计算机就是由电子元器件构成的现代计算工具和信息处理机。因为电子计算机延伸了人的大脑&#xff0c;所以人们喜欢把它叫做“电脑”。 现在我们来认识一下电脑…...

python海南旅游订机票_Python爬虫入门教程 53-100 Python3爬虫获取三亚天气做旅游参照...

爬取背景这套课程虽然叫爬虫入门类课程&#xff0c;但是里面涉及到的点是非常多&#xff0c;十分检验你的基础掌握的牢固程度&#xff0c;代码中的很多地方都是可以细细品味的。为什么要写这么一个小东东呢&#xff0c;因为我生活在大河北&#xff0c;那雾霾醇厚的很&#xff0…...

买飞机票前必须知道的那些事!

若本文对你有帮助&#xff0c;请点赞、关注我呦&#xff01; 才知道只有在各个航空公司官网&#xff08;不能是美团、携程这种第三方软件&#xff09;上每月固定的日子才能购买到会员价的票&#xff0c;旺季提前两个月买票&#xff0c;非旺季提前二十五天到三十天。若忘记会员日…...

比火车硬座票还便宜的机票预订方法

在这里告诉大家我经常去的几个订票的大网站&#xff0c;其实在很多时候的旺季都是可以买到一折的机票。主要是看你会不会善于利用这些资源。我的出行基本都是飞机&#xff0c;因为机票比火车票便宜。首先&#xff0c;QQ财付通和南航有合作&#xff0c;基本上财付通的特价票都是…...

要学会买机票

&#xfeff;&#xfeff;机票比火车票还便宜&#xff0c;机场内部人员都是这么定的&#xff01;&#xff01;&#xff08;草&#xff01;早没看见这个日志&#xff01;吃大亏了。。四川的同学一折飞机票飞回家。。我七折卧铺坐回家&#xff09;来源&#xff1a;辛敏的日志超级…...

Python 爬取携程所有机票找出最低折扣机票,让你无忧回家过年

对于平时出行大多数人都是选择坐高铁&#xff0c;当然了如果这是对于距离比较近的行程是最划算的&#xff0c;如果对于路途长远的人言&#xff0c;提前购买飞机票价格可能比高铁票更加的便宜&#xff0c;如果我们可以爬取机票数据并分析它什么时候折扣最低&#xff0c;这样是不…...