配置maven

1
2
3
4
5
6
7
8
9
10
11
12
13

<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client -->
<dependency>
  <groupId>org.apache.hadoop</groupId>
  <artifactId>hadoop-client</artifactId>
  <version>3.3.0</version>
</dependency>
<!-- https://mvnrepository.com/artifact/junit/junit -->
<dependency>
  <groupId>junit</groupId>
  <artifactId>junit</artifactId>
  <version>4.13.2</version>
  <scope>test</scope>
</dependency>

API Demo

配置测试的主入口

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

private static final String HDFS_PATH = "hdfs://localhost:9000";
private static final String HDFS_USER = "hadoop";
private static FileSystem fileSystem;
@BeforeAll
public static void prepare()
{
    try {
        Configuration configuration = new Configuration();
        configuration.set("dfs.replication", "1");
        fileSystem = FileSystem.get(new URI(HDFS_PATH), configuration, HDFS_USER);
    } catch (IOException e) {
        e.printStackTrace();
    } catch(InterruptedException e){
        e.printStackTrace();
    } catch(URISyntaxException e){
        e.printStackTrace();
    }
}
@AfterAll
public static void destroy(){
    fileSystem = null;
}

API的使用

• 创建目录

  1 2 3 4

  @Test public void mkDir() throws Exception{ fileSystem.mkdirs(new Path("/hdfs-api/test/")); }

• 创建指定权限的目录

  1 2 3 4 5

  @Test public void mkDirWithPermission() throws Exception{ fileSystem.mkdirs(new Path("/hdfs-api/test1"), new FsPermission(FsAction.READ_WRITE, FsAction.READ, FsAction.READ)); }

• 创建文件，并写入内容

  1 2 3 4 5 6 7

  @Test public void createAndWrite() throws Exception{ FSDataOutputStream out = fileSystem.create(new Path("/hdfs-api/test/a.txt"), true, 4096); out.write("hello hadoop!".getBytes()); out.flush(); out.close(); }

• 判断文件是否存在

  1 2 3 4 5

  @Test public void checkFileExist() throws Exception{ boolean exists = fileSystem.exists(new Path("/hdfs-api/test/a.txt")); System.out.println(exists); }

• 查看文件内容

  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

  @Test public void checkFileContent() throws Exception{ FSDataInputStream input = fileSystem.open(new Path("/hdfs-api/test/a.txt")); String context = inputStreamToString(input, "utf-8"); System.out.println(context); } private static String inputStreamToString(InputStream inputStream, String encode){ try { if(encode == null || "".equals(encode)){ encode = "utf-8"; } BufferedReader reader = new BufferedReader(new InputStreamReader(inputStream, encode)); StringBuilder builder = new StringBuilder(); String str = ""; while ((str = reader.readLine())!= null) { builder.append(str).append("\n"); } return builder.toString(); } catch (IOException e) { e.printStackTrace(); } return null; }

• 文件重命名

  1 2 3 4 5 6 7

  @Test public void rename() throws Exception{ Path oldPath = new Path("/hdfs-api/test/a.txt"); Path newPath = new Path("/hdfs-api/test/c.txt"); boolean result = fileSystem.rename(oldPath, newPath); System.out.println(result); }

• 删除目录或文件

  1 2 3 4 5

  @Test public void delete() throws Exception{ boolean result = fileSystem.delete(new Path("/hdfs-api/test/c.txt"),true); System.out.println(result); }

• 上传文件到HDFS

  1 2 3 4 5 6

  @Test public void CopyFileFromLocal() throws Exception{ Path src = new Path("C:/Users/jzhout1/Downloads/CopyTest/a.txt"); Path dst = new Path("/hdfs-api/test/"); fileSystem.copyFromLocalFile(src, dst); }

• 上传大文件并显示上传进度

  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

  @Test public void copyBigFileFromLocal() throws Exception{ File file = new File("C:/Users/jzhout1/Downloads/Hadoop权威指南+中文版.pdf"); final float fileSize = file.length(); InputStream input = new BufferedInputStream(new FileInputStream(file)); FSDataOutputStream output = fileSystem.create(new Path("/hdfs-api/test/" + file.getName()), new Progressable(){ long fileCount = 0; public void progress(){ fileCount++; System.out.println("上传速度： " + (fileCount*64*1024/fileSize)*100 + " %"); } }); IOUtils.copyBytes(input, output, 4096); }

• 从HDFS上下载文件

  1 2 3 4 5 6 7

  @Test //从HDFS上下载文件 public void copyFileFromHDFS() throws Exception{ Path src = new Path("/hdfs-api/test/a.txt"); Path dst = new Path("C:/Users/jzhout1/Downloads/"); fileSystem.copyToLocalFile(false,src, dst); }

• 查看指定路径下文件或文件夹的信息

  1 2 3 4 5 6 7 8

  @Test //查看指定路径下文件或文件夹的信息 public void listFiles() throws Exception{ FileStatus[] status = fileSystem.listStatus(new Path("/hdfs-api")); for (FileStatus fileStatus : status) { System.out.println(fileStatus.toString()); } }

• 递归查看指定目录下所有文件的信息

  1 2 3 4 5 6 7 8

  @Test //递推查看指定目录下所有文件信息 public void listFilesRecursive() throws Exception{ RemoteIterator<LocatedFileStatus> files = fileSystem.listFiles(new Path("/hdfs-api"), true); while (files.hasNext()) { System.out.println(files.next()); } }

• 查看文件的块信息

  1 2 3 4 5 6 7 8 9

  @Test //查看文件块的信息 public void getFileBlockLocations() throws Exception{ FileStatus fileStatus = fileSystem.getFileStatus(new Path("/hdfs-api/test/a.txt")); BlockLocation[] blocks = fileSystem.getFileBlockLocations(fileStatus, 0, fileStatus.getLen()); for (BlockLocation blockLocation : blocks) { System.out.println(blockLocation); } }

引用

• HDFS Java API

最近个人笔记本和公司笔记本的硬盘都严重告急，个人笔记本原装是256G，目前已经剩余不到10G，随着视频文件越来越多，更换SSD不得不赶紧提上日程，正巧碰上618，虽然目前的SSD价格已经上涨了一波，但还是不得不挑选个加入购物车了。

主要的选购策略如下：

• 因为公司电脑500G也不够用，打算直接上1T
• T470S支持的SSD是1x 2280 PCIe 3.0 x4 NVMe (M key),所以选择PCIE+Nvme的SSD
• 选购从品牌SSD入手，选择西部数据、闪迪、三星
• 比较价格相差不大的情况顺序读写速度，随机读写速度
• 不确定西部数据和闪迪冷数据的影响，所以选择了三星
• 因为预算和本身对速度要求不是特别高，选择了三星980 1T M.2 SSD，没有上Pro版本

SSD 品牌（可以前往常用的品牌选择品牌）

• 西部数据
• 闪迪
• 三星
• 东芝
• 铠侠
• 浦科特

PCIE-Nvme

选购型号

选购SSD，首先得确认好电脑适配的SSD， 毕竟SSD型号众多，大部分SSD的退换货都是由于型号不匹配的。
我的电脑是Thinkpad T470S， 适用的SSD型号是1x 2280 PCIe 3.0 x4 NVMe (M key).
如果不确定笔记本型号，可以查看下面的表格（建议购买前咨询是否适配以免造成损失）：

选购品牌

Hadoop配置问题合集

修改WSL为root账号登陆并修改root密码

• 以管理员身份打开本地电脑PowerShell
• 输入密码配置root为wsl默认登陆

  1	ubuntu config --default-user root

• 打开ubuntu
• 输入passwd
• 输入root账号的新密码

WSL切换用户

• 切换到hadoop用户

  1	su another_username

ssh Permission Denied

• 解决方案一 启用密码认证(Password Authentication)
  • 使用nano编辑器

    1	sudo nano /etc/ssh/sshd_config

  • 在文件中，找到PasswordAuthentication行，并确保其以yes结尾
  • 找到ChallengeResponseAuthentication选项，然后通过添加no来禁用它
  • 如果注释掉了行，请删除井号＃以取消注释。
    
  • 保存并退出
  • 重启SSH Service

    1	sudo service ssh restart

• 解决方案二 修改 文件系统权限
  • 因为hadoop默认操作的时候是用的是无密码登陆，同时也是为了更换的安全策略，我们使用密钥认证
  • 打开sshd_config

    1	sudo nano /etc/ssh/sshd_config

  • 修改下面的选项

    1 2	PermitRootLogin no PubkeyAuthentication yes

  • 通过在行的开头添加井号来注释掉与GSSAPI相关的选项

    1 2	#GSSAPIAuthentication yes #GSSAPICleanupCredentials no

  • 请确保UsePAM行设置为yes

    1	UsePAM yes

  • 重启SSH Service

    1	sudo service ssh restart

• 导航到文件夹根目录
• 通过命令查看文件夹权限

  1

  ls -ld

• 如果权限不是读写drwx------
• 执行命令设置读写权限

  1	chmod 0700 /home/[your-username]

• 一般来说，执行好上面的命令基本就可以了，可以继续下面的步骤查看特定文件或文件夹的权限
• 查看.ssh文件夹权限

  1 2	cd .ssh ls -ld

• 查看authorized_keys文件权限

  1	ls –ld authorized_keys

  Exception in thread “main” java.lang.RuntimeException: java.io.FileNotFoundException: java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset

• 将Hadoop的安装目录配置到Windows的系统环境变量

  1	C:\Users\xx\Meekou\Meekou.hadoop\hadoop-3.2.2.tar\hadoop-3.2.2\bin

• 在Java代码中配置hadoop路径

  1	System.setProperty("hadoop.home.dir", "C:/Users/xx/Meekou/Meekou.hadoop/hadoop-3.2.2.tar/hadoop-3.2.2");

• WindowsProblems

Exception in thread “main” java.lang.UnsatisfiedLinkError: ‘boolean org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(java.lang.String, int)’

• 这是由于没有配置winutils.exe
• 从winutils下载对应版本的winnutils
• 解压winutils并将内容复制到hadoop的bin目录下

  1	C:\Users\xx\Meekou\Meekou.hadoop\hadoop-3.2.2.tar\hadoop-3.2.2\bin

• 如果到上一步还没有解决问题，将WinUntils.exe和hadoop.dll复制到C:\Windows\System32目录下

ERROR: Cannot set priority of datanode process 18018

• Check the configuration in hdfs-site.xml, make sure the path correct and exist

  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

  <configuration> <property> <name>dfs.namenode.name.dir</name> <value>${HADOOP_HOME}data/nameNode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>${HADOOP_HOME}data/dataNode</value> </property> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>

• 格式化namenode

  1	hadoop namenode -format

• Restart service by ${HADOOP_HOME}/hadoop/sbin/start-all.sh

.rds是R语言的数据文件，可以通过rio来实现将Excel或者其他格式的文件转化为.rds文件

支持转化的文件类型

导入导出转化数据文件

• 安装rio

  1	install.packages("rio")

• 将Excel文件转化为.
  • 安装支持的数据格式

    1	install_formats()

  • 文件转化

    1	convert("C:/Users/xx/Downloads/RData.xlsx","C:/Users/xx/Downloads/RData.rds")

引用

• Import, Export, and Convert Data Files
• cran/rio

R是用于统计计算和图形的免费软件环境。它可以在各种UNIX平台，Windows和MacOS上编译并运行。R语言有自带的IDE，不过个人熟悉了VS Code的开发环境，这里提供一种通过VS Code为R语言配置环境。

安装R

• 前往Download and Install R下载安装
• 更多下载选择CRAN Mirrors

VS Code 配置R的开发环境

• 安装R Debugger
• 安装R
  • 安装radian

    1 2 3 4

    # install released version pip install -U radian # to run radian radian

• 安装R LSP Client
• 安装vscDebugger
  • 下载vscDebugger_0.4.6.zip
  • 通过R GUI安装vscDebugger

    1 2 3 4 5 6

    > install.packages("C:/Users/xx/Downloads/vscDebugger_0.4.6.zip") Installing package into ‘C:/Users/jzhout1/Documents/R/win-library/4.1’ (as ‘lib’ is unspecified) inferring 'repos = NULL' from 'pkgs' package ‘vscDebugger’ successfully unpacked and MD5 sums checked >

• 安装languageserver

  1	install.packages("languageserver")

示例

• 创建文件夹，并用VS Code打开
• 新建文件Test.r并输入以下内容

  1 2 3 4 5

  add <- function(x, y) { x + y } print(add(1, 2))

• 按F5启动调试
  

引用

• R

配置启动Windows 10 Linux子系统

• 通过启用Windows 10 Linux子系统(WSL)安装配置WSL

  下载安装Hadoop二进制文件

• 前往Hadoop发布页面找到需要下载版本的URL,这里下载最新的Hadoop 3.3.0
• 运行下面的命令下载安装

  1	wget http://mirror.intergrid.com.au/apache/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz

• 创建hadoop文件夹保存解压后的hadoop 3.3.0

  1	mkdir ~/hadoop

• 解压下载的Hadoop二进制文件

  1	tar -xvzf hadoop-3.3.0.tar.gz -C ~/hadoop

• 进入hadoop文件夹

  1	cd ~/hadoop/hadoop-3.3.0/

  配置passphraseless ssh

• 检查是否可以通过ssh到localhost

  1	ssh localhost

• 如果遇到错误ssh: connect to host localhost port 22: Connection refused,尝试下面的命令

  1 2	sudo apt-get install ssh sudo service ssh restart

• 如果无法无密码连接，运行下面的命令初始化私有和公有密钥

  1 2 3

  ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 0600 ~/.ssh/authorized_keys

配置伪分布式模式（单节点模式）

• 通过修改~/.bashrc配置系统环境变量

  1	vi ~/.bashrc

• 添加下面的环境变量

  1 2 3 4

  export JAVA_HOME=/usr/lib/jvm/java-1.11.0-openjdk-amd64 export HADOOP_HOME=~/hadoop/hadoop-3.3.0 export PATH=$PATH:$HADOOP_HOME/bin export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

• 运行下面的命令更新变量

  1	source ~/.bashrc

• 修改etc/hadoop/hadoop-env.sh

  1	vi etc/hadoop/hadoop-env.sh

• 设置JAVA_HOME变量

  1	export JAVA_HOME=/usr/lib/jvm/java-1.11.0-openjdk-amd64

• 修改etc/hadoop/core-site.xml

  1	vi etc/hadoop/core-site.xml

• 添加下面的配置

  1 2 3 4 5 6

  <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>

• 修改etc/hadoop/hdfs-site.xml

  1	vi etc/hadoop/hdfs-site.xml

• 添加配置

  1 2 3 4 5 6

  <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>

• 修改etc/hadoop/mapred-site.xml

  1	vi etc/hadoop/mapred-site.xml

• 添加配置

  1 2 3 4 5 6 7 8 9 10

  <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.application.classpath</name> <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value> </property> </configuration>

• 修改etc/hadoop/yarn-site.xml

  1	vi etc/hadoop/yarn-site.xml

• 添加配置

  1 2 3 4 5 6 7 8 9 10

  <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.env-whitelist</name> <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value> </property> </configuration>

  格式化namenode

  1	bin/hdfs namenode -format

运行DFS程序

• 启动NameNode和DataNode

  1 2 3 4 5

  hadoop@xx:~/hadoop/hadoop-3.3.0 $ sbin/start-dfs.sh Starting namenodes on [localhost] Starting datanodes Starting secondary namenodes [xx]

• 检查状态

  1 2 3 4 5

  hadoop@xx:~/hadoop/hadoop-3.3.0$ jps 4384 DataNode 4198 NameNode 4615 SecondaryNameNode 4766 Jps

• 查看name node
  访问地址http://localhost:9870/dfshealth.html#tab-overview
  

运行YARN

1

sbin/start-yarn.sh

– 检查状态

1
2
3
4
5
6
7

hadoop@xx:~/hadoop/hadoop-3.3.0$ jps
4384 DataNode
5424 Jps
4898 ResourceManager
5186 NodeManager
4198 NameNode
4615 SecondaryNameNode

• 可以看到NodeManager和ResourceManager
• 访问YARN地址http://localhost:8088/cluster
  

关闭服务

1
2

sbin/stop-yarn.sh
sbin/stop-dfs.sh

• 检查状态

  1	~/hadoop/hadoop-3.3.0$ jps

FAQ

• “etc/hadoop/hadoop-env.sh” E212: Can’t open file for writing
  确保导航到正确的Hadoop路径$HADOOP_HOME

Windows Linux子系统（WSL）允许用户在Windows 10上运行Linux终端环境，安装Ubuntu归档文件中的软件包以及运行Linux应用程序和工作流。

启用Microsoft-Windows-Subsystem-Linux特性

• 以管理员身份运行PowerShell
• 运行Enable-WindowsOptionalFeature -Online -FeatureName Microsoft-Windows-Subsystem-Linux
• 运行完成后按照提示重启电脑

从Microsoft Store安装Ubuntu

• 从Microsoft Store搜索Ubuntu或者点击Ubuntu获取安装
• 下载完成后，点击启动来运行Ubuntu
  
• 安装过程中，设置Ubuntu的用户和密码

安装包(这里以JAVA SDK 为例)

• 运行下面的命令更新包索引

  1	sudo apt update

• 安装JAVA

  1 2	sudo apt install default-jre sudo apt-get install default-jdk

• 检查是否安装成功

  1	java -version

文件系统

WSL对应于Windows系统文件夹的\\wsl$,可以直接从Windows 10 文件夹地址栏输入\\wsl$访问

引用

• WSL

技术类

• Java
  • Reese_J__Reese_R_-Java_for_Data_Science-_2017.pdf
  • Reese_J__Reese_R_-Java_for_Data_Science-_2017.mobi
• Python
  • 深入浅出Python机器学习.pdf

语言

• 英语
  • 应时新概念英语4.pdf

在Markdown中，我们可以通过下面的代码来实现插入一个本地图片

1

![](image.jpg)

不过这种方式在预览markdown的时候可以正常显示，在将Hexo发布之后，这个路径是无效的，也就是说Hexo不支持直接使用Markdown的语法来实现展示本地链接。

这里介绍几种方式来实现Hexo Post中添加本地文件

Global Asset Folder

适用于全局的静态文件，一般指不是post相关的文件，例如image,css,javascript.

在source文件夹下创建images,然后通过下面的代码来引用

1

![](/images/image.jpg)

这种方式不适用于markdown的语法，就是说，在预览markdown文件的时候，图片没有办法正常显示，这个只会在Hexo生成部署文件后，可以看到

Post Asset Folder

适用于特定Post的静态文件

• 在_config.yml设置post_asset_folder为true

  1 2	_config.yml post_asset_folder: true

• 设置成功后，当我们通过hexo new [layout] <title>命令来创建post的时候，会自动创建一个与文件名相同的文件夹，将md所需要的静态文件都放在这个路径下即可
• 引用文件

  1 2 3

  {% asset_path slug %} {% asset_img slug [title] %} {% asset_link slug [title] %}

• 这种方式跟Global Asset Folder方式一样，有个问题就是不能在md预览模式下正常显示

预览模式下显示图片

为了让预览模式下也正常显示图片，可以使用hexo-renderer-marked

• 安装hexo-renderer-marked

  1	npm install hexo-renderer-marked --save

• 修改_config.yml启用

  1 2 3 4 5

  _config.yml post_asset_folder: true marked: prependRoot: true postAsset: true

• markdown语法

  1