目录

1、应用场景

2、shell脚本

1、应用场景

1、大数据开发的代码需要封装到脚本中，自动化执行，可以使用Shell脚本来完成。

2、大数据开发大致流程

数据采集 -> 数据预处理 -> 数据的加载 -> 数据分析/挖掘 -> 数据导出 -> 数据应用/可视化

3、当封装完shell脚本之后，可以使用一些调度框架(AirFlow、Azkaban、Oozie等)来使用这些脚本完成自动化调度

2、shell脚本

shell脚本执行方式Shell 是一个用 C 语言编写的程序，通过 Shell 用户可以访问操作系统内核服务。它类似于 DOS 下的 command 和后来的 cmd.exe。Shell 既是一种命令语言，又是一种程序设计语言。

Shell script 是一种为 shell 编写的脚本程序。Shell 编程一般指 shell脚本编程，不是指开发 shell 自身。

Shell 编程跟 java、php 编程一样，只要有一个能编写代码的文本编辑器和一个能解释执行的脚本解释器就可以了。

Linux 的 Shell 种类众多，一个系统可以存在多个 shell，可以通过 cat /etc/shells 命令查看系统中安装的 shell。

Bash 由于易用和免费，在日常工作中被广泛使用。同时，Bash 也是大多数Linux 系统默认的 Shell。