|
 |
背景生产中Hadoop分布式集群中可能存在着单点故障问题，如果Namenode宕机或是软硬件升级，集群将无法使用，所以进行搭建高可用的来消除单点故障。Hadoop介绍Hadoop集群一般为一个...【详细内容】 |
| 2023-11-07 编程百科 |
|
 |
FS Shell调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是...【详细内容】 |
| 2023-09-26 电脑软件技术 |
|
 |
1 虚拟机环境准备采用前面的章节的方式准备三台虚拟机 ： 1）ymm工具（1）使用yum安装需要虚拟机可以正常上网，yum安装前可以先测试下虚拟机联网情况[root@hadoop100 ~]# ping www.b...【详细内容】 |
| 2023-08-21 电脑软件技术 |
|
 |
在 Microsoft Windows 上运行 Apache Hadoop 是比较繁琐的任务，在安装过程中会出现许多错误，最终，大多数用户放弃了通过 Windows 使用 Hadoop，并转而使用基于 Linux 的操作系统...【详细内容】 |
| 2023-05-24 电脑软件技术 |
|
 |
欲善其事必先利其器，在深入学习大数据相关技术之前，先手动从0到1搭建一个属于自己的本地Hadoop和Spark运行环境，对于继续研究大数据生态圈各类技术具有重要意义。本文旨在站在...【详细内容】 |
| 2023-02-21 编程百科 |
|
 |
导读：大数据正在成为经济社会发展的新的驱动力。随着云计算、移动互联网等网络新技术的应用和发展，社会信息化进程进入大数据时代，海量数据的产生与流转成为常态。而大数据技术...【详细内容】 |
| 2023-01-29 架构 |
|
 |
前期准备模板机准备修改静态IPvim /etc/sysconfig/network-scripts/ifcfg-ens33TYPE="Ethernet"PROXY_METHOD="none"BROWSER_ONLY="no"BOOTPROTO="static" //这里改成stati...【详细内容】 |
| 2022-08-27 电脑软件技术 |
|
 |
package cn.mr.dedup;import java.io.IOException;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.NullWritable;import org.apache.hadoop.io.Tex...【详细内容】 |
| 2022-06-16 百科 |
|
 |
前言在程序开发过程中，代码的运行往往会和我们预期的结果有所差别。于是，我们需要清楚代码运行过程中到底发生了什么？代码哪些模块运行了，哪些模块没有运行？输出的局部变量是什么...【详细内容】 |
| 2022-05-30 Python |
|
 |
一、搭建1、准备插件yum install -y epel-release yum install -y psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static tree iotop git2、关闭防火墙systemct...【详细内容】 |
| 2022-02-08 大数据 |
|
 |
安装Set-ExecutionPolicy RemoteSigned -scope CurrentUseriwr -useb get.scoop.sh | iex 测试安装是否成功scoop 查找软件scoop search git安装软件scoop install git关于...【详细内容】 |
| 2021-12-03 windows |
|
 |
查看当前目录信息 hadoop fs -ls /上传文件 hadoop fs -put /本地路径 /hdfs路径剪切文件 hadoop fs -moveFromLocal a.txt /aa.txt下载文件到本地 hadoop fs -get /hdfs路...【详细内容】 |
| 2021-07-04 大数据 |
|
 |
将 MySQL 的数据导入到 HDFS 中/usr/local/service/sqoop/bin/sqoop-import \--connect jdbc:mysql://$mysqlIP/test \--username root \-P --table sqoop_test \-m 4 \--...【详细内容】 |
| 2020-10-21 百科 |
|
 |
一、存储机制1、基础描述NameNode运行时元数据需要存放在内存中，同时在磁盘中备份元数据的fsImage，当元数据有更新或者添加元数据时，修改内存中的元数据会把操作记录追加到edit...【详细内容】 |
| 2020-10-12 框架 |
|
 |
Oops 是 Linux 内核中最常见的一种异常出错情况，本文通过分析一个具体的 Oops 例子，介绍了如何分析并解决该类问题。1. LSM 内核模块出现 Oopsinsmod 一个 LSM 的 ko 模块，内...【详细内容】 |
| 2020-09-03 linux |
|
 |
> Photo by Mr Cup / Fabien Barral on Unsplash 随着技术的快速变化，越来越多的数据一直在生成。据最新的全球数据领域估计，到2025年，全世界产生的数据量将增长到175 ZB。公...【详细内容】 |
| 2020-05-21 大数据 |
|
 |
本文的目的是讨论Hadoop 3.0的优缺点。随着Hadoop 3.0中引入了许多更改，它已成为更好的产品。Hadoop 3的主要优缺点Hadoop旨在存储和管理大量数据。Hadoop有许多优点，例如，它是...【详细内容】 |
| 2019-12-20 大数据 |
|
 |
一.常用命令实操（1）-help：输出这个命令参数bin/hdfs dfs -help rm（2）-ls: 显示目录信息hdfs dfs -ls /（3）-mkdir：在hdfs上创建目录hdfs dfs -mkdir -p /aaa/bbb/cc/dd（4）-moveFromLoc...【详细内容】 |
| 2019-12-02 大数据 |
|
 |
1.列出根目录下所有的目录或文件 hadoopfs-ls/ 2.列出/logs目录下的所有目录和文件 hadoopfs-ls/logs 3.列出/user目录及其子目录下的所有文件(谨慎使用)...【详细内容】 |
| 2019-11-21 大数据 |
|
 |
为什么会出现需要对文件进行压缩？在Hadoop中，文件需要存储、传输、读取磁盘、写入磁盘等等操作，而文件的大小，直接决定了这些这些操作的速度。1、压缩的好处和坏处好处 减少存储...【详细内容】 |
| 2019-11-07 大数据 |
|
 |
我今天花了大半个下午的时间，写了这篇hadoop的架构，全篇都是以大白话的形式，也算是为后面更加详细的每一部分开了个好头吧，如果喜欢请点转发和关注，如果有疑问，直接在评论里说出来...【详细内容】 |
| 2019-10-24 框架 |
|
 |
/dev/loop（或称vnd (vnode disk)、lofi（循环文件接口））是一种伪设备，这种设备使得文件可以如同块设备一般被访问。在使用之前，循环设备必须与现存文件系统上的文件相关联。这种关...【详细内容】 |
| 2019-09-09 linux |
|
 |
与任何I / O子系统不同，Hadoop还带有一组原语。当然，这些原始考虑因素虽然是通用的，但也与Hadoop IO系统一起使用，并具有一些特殊的内涵。Hadoop处理数TB的数据集; 对这些原语...【详细内容】 |
| 2019-08-29 大数据 |
|
 |
环境：Hadoop1.2.1例：直接使用FileSystem以标准输出格式显示Hadoop文件系统中的文件编写JAVA文件import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.F...【详细内容】 |
| 2019-08-28 架构 |
|
 |
Apache Hadoop是一个出色的软件框架，允许处理大数据元素。它可以通过采用模块化系统和处理大量数据来使用商用硬件的强大功能。Hadoop可以在不同的发行版中使用，因为公司通常...【详细内容】 |
| 2019-08-26 大数据 |
|
 |
Hadoop概述Hadoop这个单词本身并没有什么特殊的含义，而只是其作者Doug Cutting孩子的一个棕黄色的大象玩具的名字。Hadoop是一个高可靠的(reliable)，规模可扩展的(scalable)，分...【详细内容】 |
| 2019-08-16 百科 |
|
 |
壹、故障现象Microsoft Windows [版本 10.0.18362.239](c) 2019 Microsoft Corporation。保留所有权利。C:\Users\Chirius>hadoop version系统找不到指定的路径。Error: JAV...【详细内容】 |
| 2019-08-12 JAVA |
|
 |
关于Hadoop平台，网上有很多的资料，但是比较零碎，为了方便大家对这个平台有着充分的了解，笔者在此系统的介绍一下这个平台。1、什么是Hadoop?(1)Hadoop是一个开源的框架，可编写和...【详细内容】 |
| 2019-08-09 编程百科 |
|
 |
1、Hadoop是什么1.1、小故事版本的解释小明接到一个任务：计算一个100M的文本文件中的单词的个数，这个文本文件有若干行，每行有若干个单词，每行的单词与单词之间都是以空格键分...【详细内容】 |
| 2019-08-07 JAVA |
|
 |
来自：石杉的架构笔记（id：shishan10）目录一、前奏二、HDFS的NameNode架构原理一、前奏Hadoop是目前大数据领域最主流的一套技术体系，包含了多种技术。包括HDFS（分布式文件系统），YARN（...【详细内容】 |
| 2019-07-31 架构 |
|
|
|
京公网安备 11010802035086号