Jeoygin Wang

闲话macOS五：实用命令行

Jeoygin Wang — Sat, 20 Jan 2018 00:00:00 UT

闲话macOS五：实用命令行

January 20, 2018 / macOS, customization, tool, shell

本文主要介绍我在日常工作和学习中常用的命令行工具。

包管理

不难想象，如果没有包管理工具，安装或更新软件时需要下载安装包，然后安装或编译。目前各种Linux发行版基本自带包管理工具，当然macOS也有App Store可以安装应用，但是不能用于安装命令行工具或链接库。幸运的是有第三方工具可以编译、安装和更新命令行或图形界面开源软件，方便了macOS的用户，耳熟能详的有：

Homebrew: https://brew.sh/
MacPorts: https://www.macports.org/

我一直在用的是Homebrew，MacPorts未曾用过，Homebrew基本可以满足大部分需求，受其启发，有热心人士开发了针对Linux系统的Linuxbrew。安装Homebrew很简单，一行命令：

$ /usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

Homebrew-Cask扩展了Homebrew，可一键安装macOS应用：

$ brew tap caskroom/cask

本文后面提到的工具基本都可以用Homebrew安装，tldr：

$ brew install tldr

除了系统层面的包管理工具，各大编程语言也有语言层面的包管理工具，比如：

Node.js的npm: https://www.npmjs.com/
Python的pip: https://pip.pypa.io/en/stable/
Ruby的gem: https://rubygems.org/

在语言层面，除了包管理工具，还有版本管理工具，方便在多个版本之间切换，比如：

Node.js的nvm: https://github.com/creationix/nvm
Python的virtualenv和virtualenvwrapper
- https://virtualenv.pypa.io/en/stable/
- https://virtualenvwrapper.readthedocs.io/en/latest/
Ruby的rvm: https://rvm.io/
JVM系列的SDKMAN: http://sdkman.io/

辅助

命令太多，记不住怎么办？其实有时会突然忘了某个命令的某种用法是常事，用man命令看文档是个好习惯，除此还可用tldr，这是由社区驱动的man页面，提供了多个命令的常见用法，可见https://github.com/tldr-pages/tldr/tree/master/pages/common。

$ tldr tldr

tldr

Simplified man pages.

- Get typical usages of a command (hint: this is how you got here!):
    tldr command

- Update the local cache of tldr pages:
    tldr --update

另外一个要推荐的工具不可说，当命令打错时，可用来纠正：

$ brew instlal thefuck
Error: Unknown command: instlal
$ fuck
brew install thefuck [enter/↑/↓/ctrl+c]

Github仓库：

变量与通配符

$ cp file{,.bak} # cp file file.bak
$ mkdir -p test-{a,b}/subtest-{1,2} # mkdir -p test-a/subtest-1 test-a/subtest-2 test-b/subtest-1 test-b/subtest-2
$ echo {1..10}
1 2 3 4 5 6 7 8 9 10
$ echo ${name:?name is undefined}
zsh: name: name is undefined
$ echo ${name:-Jeoygin}
Jeoygin
$ name=test.pdf
$ echo ${name%.pdf}
test
$ echo ${name#test}
.pdf
$ name=test.2018.pdf
$ echo ${name%.*}
test.2018
$ echo ${name%%.*}
test
$ echo ${name#*.}
2018.pdf
$ echo ${name##*.}
pdf

GNU命令行工具

macOS的有些命令行工具的用法和Linux版本有些不同（比如sed），另外，macOS原生命令的选项只能位于参数前面，而我个人一些不成熟的小习惯违背了这个约束（比如 rm /path/to/somewhere -rf ）。于是我安装了GNU命令行工具替换macOS的部分原生命令：

$ brew install coreutils
$ brew install gawk
$ brew install gnu-sed

搜索

搜索的重要性不用多说了，能帮助我们快速找到想要的数据。

文件名搜索

首推系统自带的find：

$ find /path/to/dir -iname '*.ext' # 查找指定目录下文件名后缀为.ext的文件

fd旨在替代find，更加简单、快速和用户友好：

$ brew install fd
$ fd pattern /path/to/dir
$ fd pattern # 在当前目录下查找
$ fd '\.ext$'

Github仓库：

https://github.com/sharkdp/fd

内容搜索

首推系统自带的grep：

$ grep -r foo .
$ ps -ef | grep pattern | grep -v grep

四五年前开始用ack，用起来比grep简单，可忽略.gitignore中的文件，现在常用的是ag（the silver search）。还有用rust实现的rg（ripgrep），号称是速度最快。

$ brew install the_silver_searcher
$ brew install ripgrep

Github仓库：

交互式过滤

首先来说一下什么是交互式过滤，像上文的grep或ag等是根据给定的关键字或模式对结果进行过滤后全部输出，而交互式过滤是把备选项都列出来，根据你的输入不断减少备选项，少到一定程度就可以用光标或快捷键来选择。

两三年前在Emacs社区里第一次听人说到percol，可谓是交互式过滤的先锋，其作者也开发了一些Emacs包。用过percol后对其爱不释手，但有个问题是需要依赖Python:

$ pip install percol

后来知道还有诸如peco、fzy和fzf这些，而Facebook的fpp（PathPicker）更专注于选择路径，可参考http://www.cnblogs.com/bamanzi/p/cli-narrowing-tools.html对比这些工具。目前我在用fzf，一是它用go实现，速度快，二是对readline和tmux支持好。

$ brew install fzf

fzf自带一些使用交互式过滤的功能，比如设置快捷键和自动完成。

fzf设置了如下快捷键：

CTRL-T: 粘贴选择的文件和目录到命令行
CTRL-R: 粘贴选择的历史命令到命令行
ALT-C: 进入选择的目录

文件和目录自动完成：

$ vim **<TAB>
$ vim ../**<TAB>
$ vim ../fzf**<TAB>
$ vim ~/**<TAB>

$ cd **<TAB>
$ cd ~/projects/fzf**<TAB>

进程ID自动完成：

# 可以使用或选择多个进程
$ kill -9 <TAB>

主机名自动完成：

$ ssh **<TAB>

环境变量/别名自动完成：

$ unset **<TAB>
$ export **<TAB>
$ unalias **<TAB>

Github仓库：

目录跳转

目录间跳转是一个频繁发生的行为，有时为了方便，可能会开多个窗口或标签打开多个目录，把目录跳转问题转变成一个窗口/标签切换问题。但难免还是需要切换目录，这里主要介绍几种更快更智能切换目录的方法。

zsh自带一个命令可以查看最近访问过的目录，下面的命令会列出当前会话最近访问过的30个目录：

$ alias ds='dirs -v | head -n 30'
$ ds
0	/current/dir
1	/path/to/dir/1
2	/path/to/dir/2
3	/path/to/dir/3

执行 \cd +1 会进入1对应的目录，同理可将1改成其它数字，则进入该数字对应的目录。之所以用 \cd 是因为我系统上的cd是 __enhancd::cd 的别名，如果执行 cd +1 会有问题。

过去几年在用autojump，autojump会记录我访问过的目录，执行 j foo 会跳转到名字包含foo的目录。

最近才改用enhancd和fasd，enhancd可配置使用不同的交互式过滤器如上文提到的fzf、fzy、percol和peco等，用zplug安装比较方便，手动安装也是可以的。

$ git clone https://github.com/b4b4r07/enhancd
$ source /path/to/enhancd/init.sh

fasd受autojump、z和v启发，跟踪访问过的文件和目录，并对这些文件和目录按访问频率和最近访问时间进行排序，可直接用Homebrew安装：

$ brew install fasd

我的prezto配置加载了fasd，不需要额外安装，并且我增加了fcd函数及其tab自动完成，可见https://github.com/jeoygin/prezto/blob/mine/modules/fasd/init.zsh。

alias a='fasd -a'        # any
alias s='fasd -si'       # show / search / select
alias d='fasd -d'        # directory
alias f='fasd -f'        # file
alias sd='fasd -sid'     # interactive directory selection
alias sf='fasd -sif'     # interactive file selection
alias z='fasd_cd -d'     # cd, same functionality as j in autojump
alias zz='fasd_cd -d -i' # cd with interactive selection

Github仓库：

数据处理

这部份的命令历史悠久，久经考验，如有兴趣，可求助man、tldr或Google。

awk
sed
cut
join
paste
tr
sort
uniq
shuf
wc
tee
diff
tar
zless
zmore
zcat
zgrep
gpg: 数据加密，https://gpgtools.org/
pandoc: 数据格式转换，https://pandoc.org/
macOS
- pbcopy: 该命令的标准输入复制剪贴板
- pbpaste: 输出剪贴板
- open: 打开文件

数据传输

wget
curl
rsync: 本地或远程文件同步
netcat: 网络传输

录屏

ttygif: https://github.com/icholy/ttygif
ttystudio: https://github.com/chjj/ttystudio
toughtty: https://github.com/zyrolasting/toughtty

本文的截屏是用toughtty录的。

系统相关

top: 显示进程信息
w: 我是谁？
id: 返回用户ID
last: 用户最近登录情况
time: 统计命令执行时间

参考列表

P.S.

工欲善其事，必先利其器，工具是为解决问题服务，勿为了工具而使用工具。

闲话macOS四：基本命令行

Jeoygin Wang — Sun, 07 Jan 2018 00:00:00 UT

闲话macOS四：基本命令行

January 7, 2018 / macOS, customization, tool, shell

基本命令

帮助
- man
  - 执行man ls可以查看ls命令的帮助文档
文件管理
- 列举目录内容
  - ls
  - ls -l：显示详细信息
- 当前目录
  - pwd
  - pwdx: 进程的当前工作目录
- 进入目录
  - cd
    - cd //Users/Jeoygin/Projects/
- 目录栈
  - dirs
    - dirs -v | head -n 16
- 查看文件内容
  - cat
  - tac
  - less
  - head
    - head -n 10
    - head -n -100
  - tail
    - tail -n 10
    - tail -n +100
- 查看文件类型
  - file
- 查看二进制文件中的字符串
  - strings
- 列举打开文件
  - lsof
    - lsof -iTCP -sTCP:LISTEN -nP
    - lsof -i :$port -nP
- 链接
  - ln
  - ln -s: 创建软链接
- 权限
  - chmod
    - chmod u+x /path/to/file
  - chown
    - chown -R jeoygin:jeoygin /path/to/dir
- 磁盘使用情况
  - du -sh *
- 文件系统
  - df
    - df -lh
  - mount
  - fdisk
  - mkfs
打印到标准输出
- echo
  - echo “Hello $USER”
输入/输出重定向与管道
- >: 将命令输出重定向，比如重定向到指定文件，会覆盖原文件内容
  - >>: 同>，但不会覆盖原文件内容
  - ls /path/to/somewhere > /path/to/outout 2>&1
- <: 输入重定向，比如将指定文件作为命令的输入
- |: 管道，将上一条命令的输入作为下一条命令的输入，每条命令就像流水线上的工人一样只负责自己的职责
进程管理
- ps
  - ps -ef: 用标准的格式显示进程
  - ps aux: 用BSD的格式显示进程
文本搜索
- grep
  - ps -ef | grep test
任务管理
- &: 后台执行
- ctrl-z: 挂起当前进程
- ctrl-c: 终止当前进程
- jobs
- fg: 将挂起的进程在前台继续执行
- bg
- kill
网络管理
- ifconfig
- ip
- netstat
  - netstat -ntlp # Linux
  - netstat -anp tcp | grep -i ‘listen’ #macOS
- dig
- nslookup
- traceroute
其它
- alias
  - alias ll=‘ls -latr’
- date
- history
- nohup
- xargs: 参数列表

日常使用

zsh和bash都支持emacs和vi模式，默认是emacs，可用以下命令更改：

set -o emacs
set -o vi

使用命令行时我个人倾向于使用emacs模式，常用的快捷键有：

ctrl-r: 反向搜索命令历史，我的zsh配置支持用上下键来回查找历史，所以这个已经很少使用了
ctrl-w: 删除光标前一个词
ctrl-k: 删除光标后的内容
ctrl-u: 删除所有内容
ctrl-a: 移动光标到行首
ctrl-e: 移动光标到行末
ctrl-b: 光标向后移动一个字符
ctrl-f: 光标向前移动一个字符
ctrl-d: 删除光标后的一个字符
ctrl-n: 下一条命令
ctrl-p: 上一条命令
ctrl-q: 保存输入的内容，执行一条新命令
ctrl-l: 清除屏幕
ctrl-y: 粘贴
ctrl-_: 撤销
alt-.: 粘贴历史命令的最后一个参数
alt-<: 第一条历史命令
alt->: 最后一条历史命令
alt-b: 光标向后移动一个词
alt-f: 光标向前移动一个词
alt-d: 删除光标后的一个词
alt-u: 大写
alt-l: 小写
alt-t: 调换词顺序

上述快捷键是由readline提供，详情可参见https://linux.die.net/man/3/readline。

环境变量

执行env命令可以查看当前shell的环境变量和命令别名，常用的环境变量有：

$USER
$HOME
$SHELL
$LANG
$EDITOR
$LIBRARY_PATH
$LD_LIBRARY_PATH

P.S.

工欲善其事，必先利其器，工具是为解决问题服务，勿为了工具而使用工具。

闲话macOS三：与系统深入接触之命令行

Jeoygin Wang — Sun, 17 Dec 2017 00:00:00 UT

闲话macOS三：与系统深入接触之命令行

December 17, 2017 / macOS, customization, tool, shell, zsh, iTerm

大一上《计算机原理》课程就学习了用户接口（User Interface，简称UI，亦称用户界面）是系统和用户之间进行交互和信息交换的媒介，它实现信息的内部形式与人类可以接受形式之间的转换。

目前我个人对用户接口按如下分类：

命令行接口（Command Line Interface，简称CLI）：是在图形用户界面得到普及之前使用最为广泛的用户界面，它通常不支持鼠标，用户通过键盘输入指令，计算机接收到指令后，予以执行。
应用程序接口（Application Programming Interface，简称API）：软件系统不同组成部分衔接的约定，是操作系统或软件系统提供给应用程序调用使用的代码。
- Web服务（Web Service）
  - 基础设施即服务（Infrastructure as a Service，简称IAAS）
  - 平台即服务（Platform as a Service，简称PAAS）
  - 软件即服务（Software as a Service，简称SAAS）
图形用户接口（Graphical User Interface，简称GUI）：是指采用图形方式显示的计算机操作用户界面。与早期的命令行接口相比，图形用户接口对于用户来说更易于接受，但降低了灵活性。

由于使用命令行接口需要记住不少命令，很多人会认为命令行接口没有图形用户接口操作方便。但在熟悉常用命令的前提下，使用命令行接口可以比图形用户接口更灵活和高效，同时也更节约系统资源。关于记忆命令，我的经验是先用起来再说，不断挖掘新需求和用法，用多了就记住，估计很少人把常用命令和用法记住了再开始用吧。有些命令过段时间不用就会生疏，多查查man、tldr和google就好。

对于使用Linux的读者想必对命令行不会感到陌生，Linux操作系统的配置、软件安装、查看日志等操作若是不用命令行可能会感觉到别扭。我之前使用过的archlinux默认是没有安装桌面环境，用户按自己需要一步一步把桌面环境搭建起来。当然Windows也是支持命令行，犹记得在大一时，看一老师在Windows上娴熟地使用命令行，感觉就像是电影里的黑客，当时觉得很酷炫。大概是在大一的时候，当时加入的ACM兴趣小组与另一兴趣小组（机缘巧合，后来上研究生时与其中一位师兄同在一实验室，他教会了我很多使用Linux的经验）共用食堂二层创新基地的一房间，可能受他们影响，开始接触Linux（Fedora和Ubuntu），但仅限于在虚拟中使用，熟悉的命令也有限。研究生进入实验室后又接触了CentOS、openSUSE和debian等，慢慢地将debian作为主要操作系统。后来可能因为集成的桌面环境占用较多资源导致系统比较卡，开始物色一个轻量级的Linux发行版，很快就发现了archlinux，连续使用了多年直到两年前完全使用macOS。

说了那么多有点扯远了，习惯了使用命令行接口后可能会多一个看软件系统的视角，不过在入坑前还是要先想想学习命令行是否会对工作和学习有帮助，是否会提高效率，毕竟喜欢命令行的人不占多数。

终端

macOS自带了终端应用Terminal，可用Alfred或Spotlight打开。

由于Terminal不能左右分屏，很早我就改用iTerm了。

对于iTerm，我必须要做的一个设置是把Option键映射为Esc+，如果使用Terminal的话是Edit->Use Option as Meta Key，这个Meta键对于终端重度用户很重要。

Shell

搞定了终端，接下来要考虑是的使用什么Shell，Shell可以理解为一个脚本执行引擎，用户输入文本形式的命令，Shell负责解释并执行输入的命令。

目前使用比较多的Shell有：

bash
zsh
fish
clink（Windows）

可用以下命令查看你的系统有哪些shell：

$ cat /etc/shells
/bin/bash
/bin/csh
/bin/ksh
/bin/sh
/bin/tcsh
/bin/zsh

我最早使用的是bash，也是最熟悉的，即便现在Shell是用zsh，但写脚本还是会用bash，使用bash执行脚本文件的方法是在脚本文件头部加上：

#!/usr/bin/env bash

多年前参考Advanced Bash-Scripting Guide学习了bash脚本。

自从看了《终极 Shell》一文，尝到zsh的甜头就果断改投zsh门下。设置当前用户的login shell为zsh：

chsh -s /bin/zsh

zsh的强大之处在于配置，不过已经有人提供了支持插件的配置框架，我们直接使用就可以了。我最早使用的是oh-my-zsh，配置简单，设置要使用的插件和主题就可以愉快玩耍了。那到底zsh相比bash的优势在哪呢？

输入命令或前缀，用山下箭头翻阅命令历史
智能拼写纠错
补全：命令补全、命令参数补全、路径补全等
目录浏览和跳转：输入d，列出在当前会话访问过的目录列表，序号即可跳转到对应的目录
输入目录名即可跳转，不需输入cd命令，输入…会自动转成../..
可以通过设置别名，针对文件类型设置对应的打开程序，比如 ~alias -s tgz=‘tar -xvf’~
插件支持

后来由于觉得oh-my-zsh有点重了，加载有点慢，于是改用了prezto（链接是我目前的配置）。

oh-my-zsh和prezto对于插件管理做得不是特别好，于是就有了zplug、zgen和antigen这类插件管理器。为了减少加载时间，目前我用zplug来安装插件，但没用它加载插件，awesome-zsh-plugins这个列表汇总了一些好用常用的插件。

写了这么多，最后我想给没使用过zsh的读者推荐的却是fish，开箱即用，自带tab自动完成和语法高亮，号称是一个智能并对用户友好的命令行Shell，你值得拥有。

P.S.

工欲善其事，必先利其器，工具是为解决问题服务，勿为了工具而使用工具。

闲话macOS二：窗口管理之Hammerspoon

Jeoygin Wang — Sun, 10 Dec 2017 00:00:00 UT

闲话macOS二：窗口管理之Hammerspoon

December 10, 2017 / macOS, customization, tool, alfred

在使用Mac时，不知你是否有过这样的想法？

让应用窗口占据半个屏幕，比如一半屏幕是浏览器，另一半屏幕是命令行终端，边看文档边部署服务
外接显示器时，让窗口在屏幕之间移动

加入前东家猿辅导后，平时开发主要使用macOS，在这之前，工作和个人使用主要是用Arch Linux，使用的窗口管理器是i3，它是一个平铺式窗口管理器。使用过iTerm的读者可能知道一个iTerm窗口可以开多个Tab，每个Tab可以水平或垂直切分成多个面板。类似地，i3使用Workspace（如同Desktop）来聚合窗口，每个Workspace可以通过水平或垂直切分成多个窗口。

将多个窗口平铺在一个屏幕上可以减少应用切换和增强多任务工作体验，我个人比较喜欢这种方式，将macOS作为主要操作系统之后，习惯性地去搜罗窗口管理应用。目前macOS上的窗口管理应用不少，参考iCHAIT/awesome-macOS和jaywcjlove/awesome-mac推荐一些：

Amethyst: 平铺式窗口管理
BetterSnapTool: €3.49
chunkwm: 平铺式窗口管理
Divvy: $13.99
Hammerspoon: 强大的macOS自动化工具
Magnet: $0.99
Moom: $10
Phoenix
ShiftIt
Slate: 试图替换Divvy/SizeUp/ShiftIt，需要配置
Spectacle
Stay: $15
SizeUp: $12.99

我曾经尝试过上面的列表的差不多一半应用，最后选择了Hammerspoon：一是因为我个人偏好高度可配置的应用，Hammerspoon配置是用Lua语言编写，有编程经验的读者学习Lua相信会很快，可参考Learn X in Y minutes ；二是 Hammerspoon背后是Lua脚本引擎，可以做的事情远不止窗口管理。没有编程经验或不想折腾的读者也可以从上述列表找一个无需配置开箱即用的应用。

安装与配置

从 https://github.com/Hammerspoon/hammerspoon/releases/latest 下载Hammerspoon-x.x.x.zip，解压缩后将Hammerspoon移动到Applications，安装就完成了。

因为Hammerspoon配置使用Lua语言来写，需要先安装Luz：

brew install lua

我目前使用的配置可见jeoygin/awesome-hammerspoon，在ashfinal/awesome-hammerspoon的基础上做了如下修改：

增加Main Mode，通过Main Mode进入其它Mode
增加切换到特定应用的快捷键
支持循环切换同个应用的不同窗口，比如打开了三个Chrome窗口，可以在这三个窗口循环切换

执行以下命令下载配置：

git clone --depth 1 https://github.com/jeoygin/awesome-hammerspoon.git ~/.hammerspoon

重新加载配置之后，在桌面上可以看到Hammerspoon显示的日历。

快捷键

目前已支持以下的快捷键：

⌘ +⌃ +⇧ +R: 重新加载Hammerspoon配置
⌘ +⌃ +⇧ +1: 将当前窗口移动到第一个显示器
⌘ +⌃ +⇧ +2: 将当前窗口移动到第二个显示器
⌘ +⌃ +⇧ +3: 将当前窗口移动到第三个显示器
⌘ +⌃ +⇧ +4: 将当前窗口移动到第四个显示器
⌘ +⌃ +⇧ +N: 将当前窗口移动到下一个显示器
⌘ +⌃ +⇧ +C: 将当前窗口置于屏幕中央
⌘ +⌃ +⇧ +M: 将当前窗口最大化
⌘ +⌃ +⇧ +F: 将当前窗口全屏化
⌘ +⌃ +⇧ +←: 将当前窗口移动到左半个屏幕
⌘ +⌃ +⇧ +→: 将当前窗口移动到右半个屏幕
⌘ +⌃ +⇧ +↑: 将当前窗口移动到上半个屏幕
⌘ +⌃ +⇧ +↓: 将当前窗口移动到下半个屏幕
⌘ +⌃ +c: 跳转到Google Chrome窗口
⌘ +⌃ +j: 跳转到IntelliJ IDEA窗口
⌘ +⌃ +m: 跳转到NeteaseMusic窗口
⌘ +⌃ +o: 跳转到Microsoft Outlook窗口
⌘ +⌃ +t: 跳转到iTerm2窗口
⌘ +⌃ +x: 跳转到WeChat窗口

模式切换

除了以上快捷键，还可以按 ⌘ + space 唤出如下图所示的Main Mode来进行其它操作。

按A进入Application Mode：

按I进入Timer Mode：

按R进入Resize Mode：

按S进入Cheatsheet Mode：

按Tab显示窗口提示：

P.S.

工欲善其事，必先利其器，工具是为解决问题服务，勿为了工具而使用工具。

申请Let's Encrypt HTTPS证书

Jeoygin Wang — Sun, 03 Dec 2017 00:00:00 UT

申请Let's Encrypt HTTPS证书

December 3, 2017 / HTTPS

Let’s Encrypt是一个免费、自动化和开放的权威机构，它是由非盈利组织Internet Security Research Group (ISRG，互联网安全研究小组)提供的一个服务。为了创建一个更加安全和保护隐私的网络，它向人们免费提供HTTPS（SSL/TLS）所需要的数字证书。Let’s Encrypt受到了Mozilla、Chrome、Akamai和CISCO等的支持。

本文使用一个开源工具acme.sh来申请证书，acme.sh是一个用Shell脚本编写的ACME（Automatic Certificate Management Environment，自动化证书管理环境）协议客户端，Let’s Encrypt正是使用ACME协议进行证书签发。

安装

安装OpenSSL:

sudo apt-get install openssl

安装acme.sh

curl https://get.acme.sh | sh

签发证书

Let’s Encrypt需要验证域名，因此需要先修改Nginx配置，增加中间的 location ^~ .well-known/acme-challenge 部分。如果有多个域名的话，记得对每个域名都做修改。

server {
    listen       80;
    server_name  jeoygin.org;

    location ^~ /.well-known/acme-challenge/ {
        root /var/www/challenges/;
        try_files $uri =404;
    }

    location / {
        return 301 https://$host$request_uri;
    }
}

重新加载Nginx配置，然后执行acme.sh签发证书：

sudo usermod -a -G www-data $USER
sudo mkdir -m 774 /var/www/challenges
sudo chown www-data:www-data /var/www/challenges
sudo nginx -s reload

~/.acme.sh/acme.sh --issue -d jeoygin.org -d wiki.jeoygin.org \
  -d file.jeoygin.org -d img.jeoygin.org -w /var/www/challenges

安装证书并重新加载Nginx配置：

sudo mkdir -m 774 /var/www/ssl
sudo chown -R www-data:www-data /var/www/ssl
acme.sh --install-cert -d jeoygin.org \
--key-file       /var/www/ssl/key.pem  \
--fullchain-file /var/www/ssl/cert.pem \
--reloadcmd     "service nginx force-reload"

配置Nginx

增加Nginx SSL配置：

server {
    listen       443 ssl;
    server_name  jeoygin.org;
    error_page 404  /404.html;

    ssl_certificate      /var/www/ssl/cert.pem;
    ssl_certificate_key  /var/www/ssl/key.pem;

    location / {
        root   /var/www/jeoygin.org/public_html/;
        index  index.html index.htm;
    }

    access_log /var/log/nginx/jeoygin.org.log;
}

server {
    listen       80;
    server_name  jeoygin.org;

    location ^~ /.well-known/acme-challenge/ {
        root /var/www/challenges/;
        try_files $uri =404;
    }

    location / {
        return 301 https://$host$request_uri;
    }
}

重新加载Nginx配置：

sudo nginx -s reload

闲话macOS一：搜索入口之Alfred

Jeoygin Wang — Sat, 02 Dec 2017 00:00:00 UT

闲话macOS一：搜索入口之Alfred

December 2, 2017 / macOS, customization, tool, alfred

如果说只能推荐一个Mac应用的话，Alfred会是笔者的选择，它是笔者使用最频繁也是最喜欢的应用，相信大多用户使用后也可以提高效率、节省时间。

Alfred vs. Spotlight

很多读者朋友可能会觉得Alfred的功能不就是应用启动和本地/web搜索，然后可能会问既然macOS已经有Spotlight了，为什么还要使用Alfred，那笔者就先来对比下这两者。Spotlight可以帮助我们快速搜索计算机上的应用和文件和显示互联网、iTunes、App Store等的搜索结果，在笔者看来，Spotlight的主要功能是搜索（应用启动也可以算是一种搜索）。

相信每位读者朋友都有自己喜欢的启动/切换应用方式，笔者在几年前使用Arch Linux的时候或更多年前使用Windows就习惯于使用Application Launcher来启动/切换应用，可以减少鼠标的操作，所以使用Mac的时候很自然就用上了Spotlight。但由于搜索来源较多，所以要等几秒Spotlight才会显示搜索结果（可能笔者的MacBook Pro比较老了，性能下降了），虽然切换应用不需要等，但笔者有点强迫症，很快就通过搜索引擎找到了拥有强大定制能力的Alfred，当时免费版已经能够满足最初的需求了。

PS: Spotlight在过去几年不断改进，变得更加好用了，虽然搜索响应慢，但在搜索结果中可以浏览结果条目，这是个不错的feature.

从上图可看出，除了File Search和Web Search，Alfred还提供了其它的功能。为了提高效率，Alfred通过关键字、快捷键和文本扩展来定制对应的功能，避免执行不必要的操作增加响应时间。比如在唤出Alfred搜索框后，可以通过如下默认关键字进行文件搜索：

open: 打开文件
find: 在Finder中显示文件
in: 查找包含搜索词的文件
tags: 查找加上给定tag的文件

既然用Alfred相对更高效，那么可以关闭Spotlight吗？Alfred依赖Spotlight的索引信息，如果关闭Spotlight的索引，Alfred将不能搜索本地的文件，所以Alfred不能完全取代Spotlight。

免费版 vs. Powerpack

Alfred免费版已经提供了不错的功能如文件搜索、Web搜索、计算器、词典和体统命令等，一般公司内部各种工具如wiki、问答或代码仓库等会提供搜索功能，找到对应的搜索URL并添加一个Alfred自定义搜索，就可以快速搜索，比如Google搜索的URL是 http://www.google.com/search?q={query}.

如果想解锁额外的功能，需要购买Powerpack许可证，其为用户提供了灵活强大的集成和定制能力，单用户的v3许可证是19英镑，按目前汇率算大致是170RMB，不便宜，可视经济情况决定购买，毕竟免费版也可以满足日常使用了。笔者在挖掘Powerpack的高度定制能力后，发现其物超所值（笔者偏爱可高度定制的工具），而且Alfred有很好的社区和很多强有力的workflow，如果没找到满足特定需求的workflow，创建一个新的workflow也不难。

上图是笔者最近一个月一台MacBook上Alfred的使用情况，Hotkeys使用频率最高，其次是Clipboard。Clipboard是一个好用的功能，可以自动保存复制的文本、图片或文件，方便从剪贴板历史搜索需要的内容。笔者设置在剪贴板历史的顶部显示“All Snippets”，可以粘贴一些常用的文本片段。

Workflows

通过Alfred的Powerpack和workflow，用户能够扩展并以自己的方式完成事情。以workflow替代重复的任务，从而提高效率。普通用户可以从如下链接寻找想要的workflow：

所谓的workflow就是工作流，通过创建一个个动作并以有向无环图的形式组织起来，提供一个输入，Alfred会完成对应工作流上的所有动作。拥有编程能力的用户可以通过编写脚本来完成其中的某些动作，支持bash、zsh、php、ruby、python、perl和osascript等语言，通过Alfred作为入口，可以完成大部分事情。从Writing Alfred Workflows in Go这篇文章可以看出用Go语言也是可以编写workflow的，以此类推，其它语言也是可以做到的。

为了方便切换浏览器tab，最近笔者安装了一个workflow rapid-browser-tabs-for-alfred，优点是可以在多个浏览器之间切换tab，不足是响应没有浏览器内部安装的扩展程序切换顺畅。可见下图。

也有workflow可以切换iTerm tab: alfred-tty。

https://i.imgur.com/A9rrl36.png

同步

激活Alfred Powerpack后可以使用同步功能，可以在多台Mac同步设置、主题、Workflows和Snippets等。

设置同步的步骤如下：

打开Alfred Preferences并进入Advanced tab
在右下角可以看到Syncing设置，点击“Set sync folder…”
选择一个用于同步设置的目录（比如~/Dropbox/Alfred）并点击“Set folder and restart Alfred”
Alfred将会重启

除了Dropbox，其它网盘如iCloud、Google Drive或百度云盘也是可以用于同步的。需要注意的是要先在主要的Mac上设置同步，待设置同步完成后，再在其它Mac上设置同步，因为其它Mac会放弃原先的设置。

引用

P.S.

工欲善其事，必先利其器，工具是为解决问题、做好事情服务，勿为了工具而使用工具。

闲话macOS零

Jeoygin Wang — Sun, 19 Nov 2017 00:00:00 UT

闲话macOS零

November 19, 2017 / macOS, customization, tool

博客有将近五年停止更新了，只在Wiki记录些笔记，最近想为博客注入新的生命力，但一直也没想好要写点什么。工作后这几年陆陆续续在尝试一些工具，通过定制来满足笔者的需求以及简化和自动化工作流，想先写一个序列介绍笔者是如何通过组合各种APP和命令行工具《打造个性化的macOS》，也是对现状做个总结。虽然是针对macOS，但用到的有些工具是跨平台的，其它很多工具在其它操作系统（比如Linux和Windows）也可以找到对等物。两三年前笔者就想写一篇《打造个性化的ArchLinux》，但两年前换工作后渐渐发现用macOS可以少点折腾，于是就没怎么用Arch Linux了。

第一篇先来讲讲这篇文章是如何诞生，具体用到的工具后续文章再作详细介绍。

使用Hakyll生成博客

Hakyll是一个用于生成静态网站的Haskell库，与Pandoc集成使其可支持markdown、TeX和Emacs org-mode等多种格式。一年前想用org-mode格式来写博客，很幸运找到了Hakyll，也发现了支持org-mode格式的Wiki程序gitit。

最近发现一年前找的Hakyll博客模板hakyll-blog编译有问题，昨天花点时间更新了最新模板，并对必要的地方做了修改。为方便日后更新，在Dannysu的hakyll-blog本地git仓库上建立一个新的分支并提交所做的修改。

笔者博客的git仓库是 https://github.com/jeoygin/hakyll-blog，进入hakyll-blog本地仓库后，生成博客只需要执行一条命令：

make build

编写文章时可以启动本地服务器，有内容变更时会自动生成博客：

make monitor

部署生成的博客到服务器也很简单：

make deploy

Emacs编写文章

用Emacs org-mode记笔记或写文章很方便，除了用Hakyll生成，当然也是可以用org-mode强大的导出功能，本文源码可见2017-11-19-customize-macOS-0.org。

源码以文章的元信息开始，这部分是用YAS snippet自动完成，输入 \hph+TAB 即可。而源码块是输入 自动完成，org-mode的Babel默认支持。


传送门

macOS wiki

P.S.
工欲善其事，必先利其器，工具是为解决问题、做好事情服务，勿为了工具而使用工具。



2012年总结
Jeoygin Wang — Mon, 28 Jan 2013 00:44:18 UT

    
        2012年总结
        
                January 28, 2013 / 2012, 总结, 找工作, 改变, 英语
        
        

        这几天年会、婚礼轮轴转，这会终于能闲下心来写点东西，总结一下过去一年的点滴！
此刻是2013-01-27 21：33，以我目前的写作水平，我不知道此文最后会是什么样子，只能先来头脑风暴一下2012的关键词。
学英语、找工作、改变、记录、忙里偷闲这几个词可以总结我的2012年。

学英语
英语一直是我的硬伤，听说读写样样烂，尽管我认为去狂补也无济于事，但为了找工作，只能放手一搏，企求屌丝能够逆袭。
学习英语音标，背单词，背常用短语，学习语法，听VOA Special，做听写，写日记（这个后来实在写不下去了，因为每天的日记都千篇一律）。
背过几遍托福单词，由VOA Special过渡到VOA Standard，后来听老托福听力，慢慢有了点信心。
万事开头难，遇到不熟悉的事情，总会担心无法搞定，但我们只要克服心中的畏惧，使劲搞，可能就会离成功越来越近。
后来把国内的某个考试通过了，成绩尚可，但我还是觉得英语比较差，到了一个更高的瓶颈，而且发现我的中文也有同样的问题：写不通顺、说不流畅、读下句忘前句、听话只记当前句。
语言是我一个很头疼的问题，未来可能会给我带来不少麻烦，必须想办法去完善，书读得少、话说得少、少与人交流是导致这个问题的几个重要原因。
还是多看点书、多背点文章、学唱几首歌、多和人说话吧！
找工作
这是人生的几件大事之一，是2012年的头等大事，给予了足够的重视，却未做好充分的准备。
6月份才正式开始准备找工作，看书、复习算法，先后看了《深入理解计算机系统》、《编程之美》、《编程珠玑》、《程序员面试宝典》、《深入理解Java虚拟机》、《Cracking the Coding Interview》等书，复习了线性代数、概率与统计、组合数学等知识，陆陆续续也在网上看了一些面试题，从8月底开始面试，一直到11月底结束战斗。
先来说一些好的。首先，简历还算漂亮，之前玩过一些技术，也做过一些有趣的项目，还是有比较实在的内容。其次，大部分笔试做得还行，有几个笔试应该算是挺不错的。最后，很多公司前几轮的技术面试基本能通过，主要考查内容是写代码或问一些比较细节的技术问题。
不足的是中后期的面试几乎都挂在最后一轮，在谈人生谈理想中谈挂了，最后自己总结的一个原因是：害怕说话，面试前就觉得面试可能会不成功结果怎么可能理想。没有野心，没有魄力，没有信心，不知道最想做的事情是什么，不知道喜欢什么，对未来没做好规划，交流能力欠缺，不会表达自己……这些导致了一次次的面试失败。
周围的同学经过一些面试后总结出经验，一个个都练成了面霸，而我依然还是新手，跟面试官谈话容易找不到头绪，时不时还会紧张，特别是谈人生谈理想时，简直被同学们完爆好几条街。
众多公司的面试当中，Google给人的体验最好的，很遗憾的是在9月底时就和Google、Microsoft和Hulu这些公司说再见，以至于我后面失去了信心和斗志，我真得还需要去好好锤炼。
求职过程中的几多辛酸能有几人理解，现在差不多已成定局，虽然不是最期盼的，但也比较满意，应该是离下一步的目标最接近。这几个月中想明白了一些问题，这对个人的成长来说非常重要。
单就找工作历程就可以另开一篇文章来写了，这个有时间再来构思吧。
改变
有一天，上帝突然对我说：“你不能再做一个木讷呆板的码农，你要改变！”于是，我开始尝试改变自己。
其实，在很久很久以前，我曾以为只要技术做得足够好就行了，但现在才发现原来光有技术是不够的，身体状况、精神状态、交际能力等可能会阻碍我在技术领域走得更远。于是，我必须做出改变。
心想着要干牛逼的事情，但我自知不是一个牛逼的人，只是个听话的学生、孩子，而不是聪明的学生，对于给予的任务，会想尽办法做到最好，却很少去想为什么要做那样的事情、去想为什么要接受那样的任务、去想做那样的事情后对自己有何提高，一直在做很多各式各样的事情，很杂很泛，没有重心，没有积累，没有提高，而且过得比较累。有时眼高手低，不愿做一些不起眼的事情，有些事情不愿意做第二次，其实如果能把基本的事情做牛逼了也是一件了不起的事情，任何事情都能让一个人成长，只有自己看得不够远安于现状时才会原地踏步。因此，我不能什么都想做，否则我会一直是个半吊子，我必须找到一个喜欢做的事情，深入去学习去探索，以期成为某个方面的专家。
什么都能接受意味着什么都不想接受，要以挑剔的眼光看世界，能分清是非黑白，有喜好与厌恶，在尘世中保持一颗平凡而真诚的心。
多看书、多看电影，并在其中学习琢磨作者、导演、人物的思想、情绪以及感情等。
多说话，改变一贯沉默不语的风格，不过目前还未改变彻底，或许，我天生就是个观察者和行动者，话不多。
多与人交往，扩大交际圈子，通过交流来学习一些课本上没有东西，在生活中学习。
多运动，打羽毛球，游泳，健身，保持一个强健的体魄，才有精力学习与工作。羽毛球水平一般，游泳刚学会自由泳，动作不是很规范，游得很慢且比较吃力。
开始吃以前不吃的葱、姜、蒜、芹菜等。
记录
主要是记录了一年完整的简短日志和财政收支。
我也没想到我能完成上面的任务。但目前的日志还存在一些问题，比如信息不够详细：没有时间、地点、人物及重要事件。
在年初做的财政计划就是每月将收入的30％存起来，有几个月支出比较大，超出了收入，虽然整年支出比较多，最后算下来还是攒了一笔小钱。
忙里偷闲
忙学习、忙项目、忙找工作、忙毕设，但劳逸结合可能效率会更佳，特别是看到各种程序员猝死的消息，更不敢像以前那样拼命了，本来体质就没别人好，容易把命都拼没了，因此大胆做出了改变，每周抽出点时间看看电影或出去玩玩，积极参与各种活动。
春游、夏游、上海两日游、骑行、海边游泳等各种活动还不少，后来又萌发学习摄影的念头，要以摄影师的眼光看世界，记录生活的点滴，于是买了个单反，但现在手中利器还不太会使用，各种摄影技术还不知晓，路还很长，慢慢学习。
某天，好像发神经似的想学习笛子，于是就在京东买了一把G调竹笛和一本笛子教程，学习笛子的初衷是为了练气，因为平时说话老感觉气不顺，于是要练习呼吸，这个理由似乎有点无哩头。买完也没花太多时间去练，目前还不会。
现在又觉得我想做的事情太多了，需要砍掉一些，不能太贪心了，专心搞好一个就好了。
=================================================================
华丽的分界线下就要来看看去年所做的2012年计划的完成情况以及做2013年计划。
去年所做的新年计划如下：

工作：年后把一切杂事处理完，开始新的工作；
Java：继续学习，最好能脱离IDE；
找工作：可能去外企？互联网公司？一切皆是未知数，不想花太多时间在准备找工作上，找一个喜欢的、成长空间较大的职位就好；
英语：加强口语、写作，希望能达到与外国人简单交流、写paper的程度，如果能过六级或托福考试那更好；
Hadoop：学习MapReduce、熟悉外围系统、学习源码；
练说话之道：能清楚地表达思想，与人流畅沟通，变得自信；
读好书，2012年书单：http//book.douban.com/doulist/1432612/；
提高游泳、羽毛球技术；
去一个离北京远点的地方旅行；
了解中国IT行业及互联网的发展趋势，寻找适合自己的方向；
让自己更稳重、更有主见、胸襟更宽广。

1、2、3、8、9基本完成。
4、5、6没达到理想程度。
书单中的深入理解计算机系统、C程序设计语言、设计模式、编程珠玑、重构、编程之美、程序员修炼之道、Effective Java中文版、厚黑学、怪诞心理学、如何阅读一本书、史蒂夫·乔布斯传、一系列英语相关书籍、学会提问：批判性思维指南看完，大概完成了50％。
10中目前还是没能找到适合自己的方向，有点迷茫，只知道自己喜欢干实事，想做一些跟数据相关的事情，在工作之余我得找一个方向来学习。我需要去了解自己认识自己，根据自己所擅长的事情来定目标，利用自己的天赋来达成目标。
2013年计划：

完成毕业设计，顺利毕业
按期入职，熟悉公司环境，完成研修期任务，顺利转正
学习一个新的技术
尝试混一些问答社区，像Stack Overflow、Quora、知乎等
学习数学，从小就喜欢数学，但上本科后竟给落下了，数学是个奇妙的东西
学习英语，在外企工作必须用英语交流，对以后的发展肯定也有好处，目前计划是：每天看和读一篇文章、每天听英语新闻、背一些美文、学唱一些英文歌、争取写日记
学习摄影，有空的话多出去拍些照片，在实践中学习
多看书，不过买了一堆纸质书又没看后，为了节能环保，我还是看电子书吧
Topcoder攒rating
运动健身，找羽毛球、游泳、仰卧起坐、卧推
了解一些新的方向，比如机器学习、机器视觉、数据挖掘、数据库等其中的一两个
学习经济学知识
在博客上多写一些有价值的文章
有一个计划，实现这个计划的时间可能会比较长，最后也可能没能实现，但不管怎样，努力去奋斗吧

好了，就列这么多了，2013年估计也没太多的空闲可利用时间
当对社会和自己认识越清晰，就越觉得对有些事情自己无能为力…
谨以此文纪念我逝去的2012年！
    




研究生第8季
Jeoygin Wang — Mon, 31 Dec 2012 22:47:08 UT

    
        研究生第8季
        
                December 31, 2012 / 学习, 工作, 生活, 研究生
        
        

        岁末年初，现正拖着2012的尾巴走向2013，在这跨年夜（我已记不起从什么时候起，12.29这一晚上多了点跨年的味道），身边几个同学在看跨年晚会，本也想凑个热闹，无奈我的Archlinux不给力呀，怎么整都播不了mms协议，只能另找乐子。本想写篇2012年的总结，但我习惯等回家时静下心来好好梳理一年发生的事，想起这么一篇小记被落下了，赶紧收拾心情，写下一点笨拙而苍白的文字。

小记：

准备某个英语考试，并以不错的成绩通过了，但我不能明说，了解我的亲们你们懂的，这是我多年心中的痛，英语依然还是我的痛处，写12年总结时会再细细道来。
参加阿里巴巴的一些活动，为找工作准备。
学习Linux驱动，不过项目上的事情进展不是很顺，后来就没有然后了。
参加几个活动，听师兄师姐介绍找工作经验，对后来找工作很有帮助，感谢你们无私地把一些宝贵经验倾囊相授。
崔皓组织北理工的同学去蟹岛游乐场，玩得很high，有些高空项目还有有点惧。见到了不少生人，但是我不是那种初次见面就能成为朋友的人，与很多人仅仅是一面之缘，在为人处事方面还是要多多改善。
看《深入理解计算机系统》、《编程之美》、《编程珠玑》、《Linux设备驱动》、《如何阅读一本书》、《Java程序员面试宝典》、《其实你不懂广东人》、《美语发音13秘诀》。
写中英文简历。
参加Hulu Open Day，被Hulu的高品质、快节奏工作所感染，希望能进入到这样的团队中，可惜自己还不够优秀。比较幸运，得到一个奖品——Hulu挎包。
搬回了青年公寓，离开科一招那一刻心中对科一招的不舍之心喷涌而出，平时看起来冷漠，关键时刻却几多伤感。
两个好友相继结婚，身边的人一个个开始组建家庭，不知什么时候我才能认真考虑这个问题。
回家，这几年很少回家，也很少往家里打电话，面对家人真不知说什么好，总不能说技术吧，在这方面，我真的是很不孝，趁现在回家还方便，有时间就多回家看看，探望日益年长的父母。
研读“结构之法算法之道”、“何海涛博客”等网站的算法题及文章
看公开课《Algorithms Part I》
实验室北戴河夏游，大一时去过一次，因此并不是很期待，不过比较喜欢参加集体活动，所以报名了，最后大家对这一次出游评价都不是太好。
开始找工作内推，阿里巴巴一二面，阿里巴巴所有也就两轮面试，这是最早拿到的offer。

这一篇继续以流水帐的形式记录我在6、7、8月份的一些经历和体会，或许这会是记研究生系列的最后一篇，最近三个月发生的事我会在年终的总结中详细说，未来半年最重要的事情是毕设，比较单调。回头看这两年，能坚持每个季度写一篇小结对我个人来说已很不容易，虽然已在这个世界活了二十五年有余，但我写过的文字、说过的话少得可怜，看过的书也是屈指可数，导致在语言组织与人际交往等方面的能力很弱，我因此在求职过程中吃了很大的亏。于是，我现在会鼓励多去尝试一些新鲜的事物，不要因为不熟悉就退避三舍，不会可以学习，多接触一些人和事有利于自己的成长。要有眼光和远见，不要局限于当下所拥有和掌握的东西，要明确自己的目标，做好一切准备去争取自己想要的东西，持续学习，不断积累，厚积薄发。
完结。。。
    




Hadoop基准测试
Jeoygin Wang — Fri, 14 Dec 2012 18:29:03 UT

    
        Hadoop基准测试
        
                December 14, 2012 / benchmark, Example, Hadoop, HiBench, Test
        
        

        测试对于验证系统的正确性、分析系统的性能来说非常重要，但往往容易被我们所忽视。为了能对系统有更全面的了解、能找到系统的瓶颈所在、能对系统性能做更好的改进，打算先从测试入手，学习Hadoop几种主要的测试手段。本文将分成两部分：第一部分记录如何使用Hadoop自带的测试工具进行测试；第二部分记录Intel开放的Hadoop Benchmark Suit: HiBench的安装及使用。
1. Hadoop基准测试
Hadoop自带了几个基准测试，被打包在几个jar包中，如hadoop-test.jar和hadoop-examples.jar，在Hadoop环境中可以很方便地运行测试。本文测试使用的Hadoop版本是cloudera的hadoop-0.20.2-cdh3u3。
在测试前，先设置好环境变量：
$ export $HADOOP_HOME=/home/hadoop/hadoop
$ export $PATH=$PATH:$HADOOP_HOME/bin
使用以下命令就可以调用jar包中的类：
$ hadoop jar $HADOOP_HOME/xxx.jar

(1). Hadoop Test
当不带参数调用hadoop-test-0.20.2-cdh3u3.jar时，会列出所有的测试程序：
$ hadoop jar $HADOOP_HOME/hadoop-test-0.20.2-cdh3u3.jar
An example program must be given as the first argument.
Valid program names are:
  DFSCIOTest: Distributed i/o benchmark of libhdfs.
  DistributedFSCheck: Distributed checkup of the file system consistency.
  MRReliabilityTest: A program that tests the reliability of the MR framework by injecting faults/failures
  TestDFSIO: Distributed i/o benchmark.
  dfsthroughput: measure hdfs throughput
  filebench: Benchmark SequenceFile(Input|Output)Format (block,record compressed and uncompressed), Text(Input|Output)Format (compressed and uncompressed)
  loadgen: Generic map/reduce load generator
  mapredtest: A map/reduce test check.
  minicluster: Single process HDFS and MR cluster.
  mrbench: A map/reduce benchmark that can create many small jobs
  nnbench: A benchmark that stresses the namenode.
  testarrayfile: A test for flat files of binary key/value pairs.
  testbigmapoutput: A map/reduce program that works on a very big non-splittable file and does identity map/reduce
  testfilesystem: A test for FileSystem read/write.
  testipc: A test for ipc.
  testmapredsort: A map/reduce program that validates the map-reduce framework's sort.
  testrpc: A test for rpc.
  testsequencefile: A test for flat files of binary key value pairs.
  testsequencefileinputformat: A test for sequence file input format.
  testsetfile: A test for flat files of binary key/value pairs.
  testtextinputformat: A test for text input format.
  threadedmapbench: A map/reduce benchmark that compares the performance of maps with multiple spills over maps with 1 spill
这些程序从多个角度对Hadoop进行测试，TestDFSIO、mrbench和nnbench是三个广泛被使用的测试。
TestDFSIO
TestDFSIO用于测试HDFS的IO性能，使用一个MapReduce作业来并发地执行读写操作，每个map任务用于读或写每个文件，map的输出用于收集与处理文件相关的统计信息，reduce用于累积统计信息，并产生summary。TestDFSIO的用法如下：
  TestDFSIO.0.0.6
  Usage: TestDFSIO [genericOptions] -read | -write | -append | -clean [-nrFiles N] [-fileSize Size[B|KB|MB|GB|TB]] [-resFile resultFileName] [-bufferSize Bytes] [-rootDir]
以下的例子将往HDFS中写入10个1000MB的文件：
$ hadoop jar $HADOOP_HOME/hadoop-test-0.20.2-cdh3u3.jar TestDFSIO \
  -write -nrFiles 10 -fileSize 1000
结果将会写到一个本地文件TestDFSIO_results.log：
----- TestDFSIO ----- : write
            Date & time: Mon Dec 10 11:11:15 CST 2012
        Number of files: 10
 Total MBytes processed: 10000.0
      Throughput mb/sec: 3.5158047729862436
 Average IO rate mb/sec: 3.5290374755859375
 IO rate std deviation: 0.22884063705950305
     Test exec time sec: 316.615
以下的例子将从HDFS中读取10个1000MB的文件：
$ hadoop jar $HADOOP_HOME/hadoop-test-0.20.2-cdh3u3.jar TestDFSIO \
   -read -nrFiles 10 -fileSize 1000
结果将会写到一个本地文件TestDFSIO_results.log：
----- TestDFSIO ----- : read
            Date & time: Mon Dec 10 11:21:17 CST 2012
        Number of files: 10
 Total MBytes processed: 10000.0
      Throughput mb/sec: 255.8002711482874
 Average IO rate mb/sec: 257.1685791015625
 IO rate std deviation: 19.514058659935184
     Test exec time sec: 18.459
使用以下命令删除测试数据：
$ hadoop jar $HADOOP_HOME/hadoop-test-0.20.2-cdh3u3.jar TestDFSIO -clean
nnbench
nnbench用于测试NameNode的负载，它会生成很多与HDFS相关的请求，给NameNode施加较大的压力。这个测试能在HDFS上模拟创建、读取、重命名和删除文件等操作。nnbench的用法如下：
 NameNode Benchmark 0.4
 Usage: nnbench 
 Options:
      -operation 
       * NOTE: The open_read, rename and delete operations assume that the files they operate on, are already available. The create_write operation must be run before running the other operations.
      -maps 
      -reduces 
      -startTime . default is launch time + 2 mins. This is not mandatory
      -blockSize 
      -bytesToWrite 
      -bytesPerChecksum 
      -numberOfFiles 
      -replicationFactorPerFile 
      -baseDir 
      -readFileAfterOpen 
      -help: Display the help statement
以下例子使用12个mapper和6个reducer来创建1000个文件：
 $ hadoop jar $HADOOP_HOME/hadoop-test-0.20.2-cdh3u3.jar nnbench \
     -operation create_write -maps 12 -reduces 6 -blockSize 1 \
     -bytesToWrite 0 -numberOfFiles 1000 -replicationFactorPerFile 3 \
     -readFileAfterOpen true -baseDir /benchmarks/NNBench-`hostname -s`
mrbench
mrbench会多次重复执行一个小作业，用于检查在机群上小作业的运行是否可重复以及运行是否高效。mrbench的用法如下：
 MRBenchmark.0.0.2
 Usage: mrbench [-baseDir ] [-jar ] [-numRuns ] [-maps ] [-reduces ] [-inputLines ] [-inputType ] [-verbose]
以下例子会运行一个小作业50次：
$ hadoop jar $HADOOP_HOME/hadoop-test-0.20.2-cdh3u3.jar mrbench -numRuns 50
运行结果如下所示：
 DataLines     Maps     Reduces     AvgTime (milliseconds)
 1          2     1     14237
以上结果表示平均作业完成时间是14秒。
(2). Hadoop Examples
除了上文提到的测试，Hadoop还自带了一些例子，比如WordCount和TeraSort，这些例子在hadoop-examples-0.20.2-cdh3u3.jar中。执行以下命令会列出所有的示例程序：
 $ hadoop jar $HADOOP_HOME/hadoop-examples-0.20.2-cdh3u3.jar
 An example program must be given as the first argument.
 Valid program names are:
   aggregatewordcount: An Aggregate based map/reduce program that counts the words in the input files.
   aggregatewordhist: An Aggregate based map/reduce program that computes the histogram of the words in the input files.
   dbcount: An example job that count the pageview counts from a database.
   grep: A map/reduce program that counts the matches of a regex in the input.
   join: A job that effects a join over sorted, equally partitioned datasets
   multifilewc: A job that counts words from several files.
   pentomino: A map/reduce tile laying program to find solutions to pentomino problems.
   pi: A map/reduce program that estimates Pi using monte-carlo method.
   randomtextwriter: A map/reduce program that writes 10GB of random textual data per node.
   randomwriter: A map/reduce program that writes 10GB of random data per node.
   secondarysort: An example defining a secondary sort to the reduce.
   sleep: A job that sleeps at each map and reduce task.
   sort: A map/reduce program that sorts the data written by the random writer.
   sudoku: A sudoku solver.
   teragen: Generate data for the terasort
   terasort: Run the terasort
   teravalidate: Checking results of terasort
   wordcount: A map/reduce program that counts the words in the input files.
WordCount在 Running Hadoop On CentOS (Single-Node Cluster) 一文中已有介绍，这里就不再赘述。
TeraSort
一个完整的TeraSort测试需要按以下三步执行：

用TeraGen生成随机数据
对输入数据运行TeraSort
用TeraValidate验证排好序的输出数据

并不需要在每次测试时都生成输入数据，生成一次数据之后，每次测试可以跳过第一步。
TeraGen的用法如下：
$ hadoop jar hadoop-*examples*.jar teragen  
以下命令运行TeraGen生成1GB的输入数据，并输出到目录/examples/terasort-input：
$ hadoop jar $HADOOP_HOME/hadoop-examples-0.20.2-cdh3u3.jar teragen \
    10000000 /examples/terasort-input
TeraGen产生的数据每行的格式如下：
<10 bytes key><10 bytes rowid><78 bytes filler>\r\n
其中：

key是一些随机字符，每个字符的ASCII码取值范围为[32, 126]
rowid是一个整数，右对齐
filler由7组字符组成，每组有10个字符（最后一组8个），字符从’A’到’Z’依次取值

以下命令运行TeraSort对数据进行排序，并将结果输出到目录/examples/terasort-output：
$ hadoop jar $HADOOP_HOME/hadoop-examples-0.20.2-cdh3u3.jar terasort \
   /examples/terasort-input /examples/terasort-output
以下命令运行TeraValidate来验证TeraSort输出的数据是否有序，如果检测到问题，将乱序的key输出到目录/examples/terasort-validate
$ hadoop jar $HADOOP_HOME/hadoop-examples-0.20.2-cdh3u3.jar teravalidate \
   /examples/terasort-output /examples/terasort-validate
(3). Hadoop Gridmix2
Gridmix是Hadoop自带的基准测试程序，是对其它几个基准测试程序的进一步封装，包括产生数据、提交作业、统计完成时间等功能模块。Gridmix自带了各种类型的作业，分别为streamSort、javaSort、combiner、monsterQuery、webdataScan和webdataSort。
编译
$ cd  $HADOOP_HOME/src/benchmarks/gridmix2
$ ant
$ cp build/gridmix.jar .
修改环境变量
修改gridmix-env-2文件：
export HADOOP_INSTALL_HOME=/home/jeoygin
export HADOOP_VERSION=hadoop-0.20.2-cdh3u3
export HADOOP_HOME=${HADOOP_INSTALL_HOME}/${HADOOP_VERSION}
export HADOOP_CONF_DIR=${HADOOP_HOME}/conf
export USE_REAL_DATASET=

export APP_JAR=${HADOOP_HOME}/hadoop-test-0.20.2-cdh3u3.jar
export EXAMPLE_JAR=${HADOOP_HOME}/hadoop-examples-0.20.2-cdh3u3.jar
export STREAMING_JAR=${HADOOP_HOME}/contrib/streaming/hadoop-streaming-0.20.2-cdh3u3.jar
如果USE_REAL_DATASET的值为TRUE的话，将使用500GB压缩数据（等价于2TB非压缩数据），如果留空将使用500MB压缩数据（等价于2GB非压缩数据）。
修改配置信息
配置信息在gridmix_config.xml文件中。gridmix中，每种作业有大中小三种类型：小作业只有3个输入文件（即3个map）；中作业的输入文件是与正则表达式{part-0000,part-0001,part-000*2}匹配的文件；大作业会处理处有数据。
产生数据
$ chmod +x generateGridmix2data.sh
$ ./generateGridmix2data.sh
generateGridmix2data.sh脚本会运行一个作业，在HDFS的目录/gridmix/data中产生输入数据。
运行
$ chmod +x rungridmix_2
$ ./rungridmix_2
运行后，会创建_start.out文件来记录开始时间，结束后，创建_end.out文件来记录完成时间。
(4). 查看任务统计信息
Hadoop提供非常方便的方式来获取一个任务的统计信息，使用以下命令即可作到：
$ hadoop job -history all 
这个命令会分析任务的两个历史文件（这两个文件存储在/_logs/history目录中）并计算任务的统计信息。
2. HiBench
HiBench是Intel开放的一个Hadoop Benchmark Suit，包含9个典型的Hadoop负载（Micro benchmarks、HDFS benchmarks、web search benchmarks、machine learning benchmarks和data analytics benchmarks），主页是：** https://github.com/intel-hadoop/hibench **。
HiBench为大多数负载提供是否启用压缩的选项，默认的compression codec是zlib。
Micro Benchmarks:

Sort (sort)：使用Hadoop RandomTextWriter生成数据，并对数据进行排序
WordCount (wordcount)：统计输入数据中每个单词的出现次数，输入数据使用Hadoop RandomTextWriter生成
TeraSort (terasort)：这是由微软的数据库大牛Jim Gray（2007年失踪）创建的标准benchmark，输入数据由Hadoop TeraGen产生

HDFS Benchmarks:

增强的DFSIO (dfsioe)：通过产生大量同时执行读写请求的任务来测试Hadoop机群的HDFS吞吐量

Web Search Benchmarks:

Nutch indexing (nutchindexing)：大规模搜索引擎索引是MapReduce的一个重要应用，这个负载测试Nutch（Apache的一个开源搜索引擎）的索引子系统，使用自动生成的Web数据，Web数据中的链接和单词符合Zipfian分布
PageRank (pagerank)：这个负载包含一种在Hadoop上的PageRank算法实现，使用自动生成的Web数据，Web数据中的链接符合Zipfian分布

Machine Learning Benchmarks:

Mahout Bayesian classification (bayes)：大规模机器学习也是MapReduce的一个重要应用，这个负载测试Mahout 0.7（Apache的一个开源机器学习库）中的Naive Bayesian训练器，输入数据是自动生成的文档，文档中的单词符合Zipfian分布
Mahout K-means clustering (kmeans)：这个负载测试Mahout 0.7中的K-means聚类算法，输入数据集由基于均匀分布和高斯分布的GenKMeansDataset产生

Data Analytics Benchmarks:

Hive Query Benchmarks (hivebench)：这个负载的开发基于SIGMOD 09的一篇论文“A Comparison of Approaches to Large-Scale Data Analysis”和HIVE-396，包含执行典型OLAP查询的Hive查询（Aggregation and Join），使用自动生成的Web数据，Web数据中的链接符合Zipfian分布

下文将${HIBENCH_HOME}定义为HiBench的解压缩目录。
(1). 安装与配置
建立环境：

HiBench-2.2：从https://github.com/intel-hadoop/HiBench/zipball/HiBench-2.2下载
Hadoop：在运行任何负载之前，请确保Hadoop环境能正常运行，所有负载在Cloudera Distribution of Hadoop 3 update 4 (cdh3u4)和Hadoop 1.0.3上测试通过
Hive：如果要测试hivebench，请确保已正确建立了Hive环境

配置所有负载：
需要在${HIBENCH_HOME}/bin/hibench-config.sh文件中设置一些全局的环境变量。
$ unzip HiBench-2.2.zip
$ cd HiBench-2.2
$ vim bin/hibench-config.sh

HADOOP_HOME      
HADOOP_CONF_DIR  
COMPRESS_GLOBAL  
COMPRESS_CODEC_GLOBAL  
配置单个负载：
在每个负载目录下，可以修改conf/configure.sh这个文件，设置负载运行的参数。
同步每个节点的时间
(2). 运行
同时运行几个负载：

修改${HIBENCH_HOME}/conf/benchmarks.lst文件，该文件定义了将要运行的负载，每行指定一个负载，在任意一行前可以使用#跳过该行
运行${HIBENCH_HOME}/bin/run-all.sh脚本

单独运行每个负载：
可以单独运行每个负载，通常，在每个负载目录下有三个不同的文件：
conf/configure.sh   包含所有参数的配置文件，可以设置数据大小及测试选项等
bin/prepare*.sh   生成或拷贝作业输入数据到HDFS
bin/run*.sh       运行benchmark

配置benchmark：如果需要，可以修改configure.sh文件来设置自己想要的参数
准备数据：运行bin/prepare.sh脚本为benchmark准备输入数据
运行benchmark：运行bin/run*.sh脚本来运行对应的benchmark

(3). 小结
HiBench覆盖了一些广被使用的Hadoop Benchmark，如果看过该项目的源码，会发现该项目很精悍，代码不多，通过一些脚本使每个benchmark的配置、准备和运行变得规范化，用起来十分方便。
3. 参考资料

Benchmarking and Stress Testing an Hadoop Cluster with TeraSort, TestDFSIO & Co.
Hadoop Gridmix基准测试
HiBench

Jeoygin Wang

闲话macOS五：实用命令行

闲话macOS五：实用命令行

包管理

辅助

变量与通配符

GNU命令行工具

搜索

文件名搜索

内容搜索

交互式过滤

目录跳转

数据处理

数据传输

录屏

系统相关

参考列表

P.S.

闲话macOS四：基本命令行

闲话macOS四：基本命令行

基本命令

日常使用

环境变量

推荐列表

P.S.

闲话macOS三：与系统深入接触之命令行

闲话macOS三：与系统深入接触之命令行

终端

Shell

推荐列表

P.S.

闲话macOS二：窗口管理之Hammerspoon

闲话macOS二：窗口管理之Hammerspoon

安装与配置

快捷键

模式切换

P.S.

申请Let's Encrypt HTTPS证书

申请Let's Encrypt HTTPS证书

安装

签发证书

配置Nginx

闲话macOS一：搜索入口之Alfred

闲话macOS一：搜索入口之Alfred

Alfred vs. Spotlight

免费版 vs. Powerpack

Workflows

同步

引用

P.S.

闲话macOS零

闲话macOS零

使用Hakyll生成博客

Emacs编写文章

传送门

P.S.

2012年总结

2012年总结

研究生第8季

研究生第8季

Hadoop基准测试

Hadoop基准测试