节点介绍
宜搭内置的数据准备,作为0代码ETL,可以在不写SQL代码的非专业BI人员,低门槛的将宜搭中任意数据集中的数据进行关联、合并、聚合、清洗操作,最终将加工后的数据再输出为一个标准的宜搭数据集,让低代码插上数据价值的翅膀。
每个节点支持特定功能的面板配置,以及数据预览看板,同时每个数据准备画布,支持2个输出节点,每个输出节点可自动生成一个对应数据集。
使用限制
单节点数据量限制200W,超出会导致ETL数据处理失败。

输入节点
支持从宜搭的现有数据集和数据源两种方式创建,覆盖表单、跨应用表单、MySQL、SQL Server、Oracle、Excel文件等已有数据集,也可以从数据库数据源中快速基于表进行创建输入数据。
将输入节点从左侧的节点操作区拖拽至中央画布区,选择数据输入源后,即可开始构建数据流。

宜搭作为企业低代码应用开发平台,支持宜搭内应用数据、企业外部数据库数据、企业外部文件型数据、钉钉官方数据(支持花名册、OA、智能人事、考勤等数据)。
输出节点
输出数据时,支持输出至已有的目标数据库表中(每次写入会删除表中原数据,并插入新数据),也支持输出至新建的数据库表中。

关联节点
和宜搭内的多表关联功能类似,能够满足两两或多组数据根据指定关联条件进行横向的关联。对应SQL中的Join操作,可支持左关联、内关联、右关联的能力。

联接(Join)操作是数据库查询中常见的操作,用于将两个或多个表中的数据按一定的条件组合在一起。
当前列出了四种主要的联接类型:内联、左联、右联和外联,并且提供了一个示例,说明了如何设置这些联接。
内联(Inner Join)
- 定义:内联只返回两个表中满足联接条件的记录。
- 应用场景:当你只想获取两个表中都存在的记录时使用内联。例如,如果你有一个客户表和一个订单表,你可能只想获取那些既存在于客户表也存在于订单表中的记录。
左联(Left Join)
- 定义:左联返回左表的所有记录以及右表中满足联接条件的记录。如果右表中没有匹配项,则结果集中的对应列将为空值。
- 应用场景:当你想确保左表中的所有记录都被包含在结果集中,即使右表中没有匹配项。例如,如果你想列出所有的客户以及他们对应的订单,即使有些客户还没有下过任何订单。
右联(Right Join)
- 定义:右联返回右表的所有记录以及左表中满足联接条件的记录。如果左表中没有匹配项,则结果集中的对应列将为空值。
- 应用场景:与左联类似,但方向相反。例如,如果你想列出所有的订单以及它们对应的客户信息,即使有些订单对应的客户信息丢失了。
外联(Full Outer Join)
- 定义:外联返回左表和右表中所有满足联接条件的记录。如果其中一个表中没有匹配项,则结果集中的对应列将为空值。
- 应用场景:当你想获取两个表中所有的记录,无论是否在另一个表中有匹配项。例如,如果你想列出所有的客户和所有的订单,包括那些没有订单的客户和没有客户信息的订单。
合并节点
将相同类型的字段数据进行纵向追加合并,支持多组数据的行数据追加,是宜搭新增的数据堆叠合并功能,对应SQL中的Union操作,满足纵向的行级数据拼接

聚合节点
先根据指定的类型进行分组,然后计算每个分组的数据,计算方式可以是计数、求和、取最大最小值等汇总操作。通过节点的组合,配合聚合节点,可以做出统计类的指标字段,方便下游数据加工进行字段和数据的生成。

数据聚合就是把多个分散的数据源中的数据集中起来,并按照一定的规则进行组合和计算,从而生成更有意义的信息。例如,如果你有一份销售记录表,可能包含每一天的销售额,那么通过数据聚合,你可以得到每个月或者每年的总销售额。
清洗节点
可以对前置的节点过来的数据继续更细致的编辑,属于一个工具性质的加工节点,可以更改字段名,更改字段类型,通过公式Fx创造全新的动态字段,设置数据过滤条件等。

以下是有关数据清洗的一些基础知识,有了这些知识可以帮助你快速上手!
