1、这里以Centos7.5为例进行安装。
2、导航至https://streamsets.com/opensource,按图示选择下载。
3、这个大家伙足足有5Gb,因此准备好足够的空间和耐心。下载完成后,在该文件所在目录下执行如下命令:tar xf streamsets-datacollector-<version>-<operating_system>-all-rpms.tar
4、解压好后,进入解压的目录内执行yum localinstall streamsets*.rpmsystemctl start sdc
5、为了能在外部访问,检查下Centos的防火墙策略,允许需要的端口出去,这里简单粗暴的关闭防火墙:systemctl stop firewalld.service
6、通过地址访问:http://localhost:18630/默认账号和密码均为admin
7、StreamSet有可视化流程编辑界面,并且包括50种数据源、44种数据操作、46种目的地。对于Streamsets来说,最重要的概念就是数据源(Origins)、操作(Processors)、目的地(Destinations)。创建一个Pipelines管道配置也基本是这三个方面。StreamSet支持的源有Kafka、HTTP、UDP、JDBC、HDFS等;Processors可以实现对每个字段的过滤、更改、编码、聚合等操作;Destinations跟Origins差不多,可以写入Kafka、Flume、JDBC、HDFS、Redis等。甚至可以直接建立HTTP微服务Api,以供第三方调用,强大的功能吸引我们继续去探索。