关于对数据抽取功能的要求

1、数据抽取按照各种采集协议对实时、非实时数据进行统一采集。

2、根据不同数据源，定义相应的接口协议，如FTP、HTTP、JSON 等

3、支持全量抽取和增量抽取方式从原系统抽取数据。

4、支持实时、非实时抽取数据。支持对集团回执文件的解析。

5、支持对源数据的标准化校验，如数据的合法性、编码规范等校验。

6、支持对(文本格式)源数据的校验文件和CHECK 文件的检测及回执文件的生成。

7、采集配置的文件合并开关为打开时，支持对采集的文件进行合并。