云和教育:云和数据集团旗下高端ICT职业教育品牌
  • 国家级全民数字素养与技能培训基地
  • 河南省第一批产教融合型企业建设培育单位
  • 郑州市数字技能人才(码农)培养评价联盟

Sqoop主要特点

  • 作者:云和教育
  • 日期:2022-01-18
  • 浏览:1,956次

Sqoop有许多显着特点,下面列举了学习sqoop的几个原因:

并行导入/导出

当涉及到导入和导出数据时,Sqoop使用YARN框架。它在并行性的基础上提供容错功能。

所有主要RDBMS数据库的连接器

对于主流的RDBMS数据库,Sqoop提供了几乎所有的主流数据库的连接器。

导入SQL查询的结果

HDFS中,可以导入从SQL查询返回的结果。

递增加载数据

可以在更新时加载部分表内容。Sqoop提供增量加载的功能。

全部加载

这是sqoop的重要功能之一,可以通过Sqoop中的单个命令加载整个表。另外,通过使用单个命令,可以加载数据库中的所有表。

Kerberos安全集成

Sqoop支持Kerberos身份验证。 Kerberos为计算机网络认证协议。允许通过非安全网络进行通信的节点以安全的方式彼此证明自己的身份。

数据直接加载到HIVE / HBase中

可以直接将数据加载到Apache Hive中。另外,可以将数据转储到NoSQL数据库HBase中。

数据压缩

通过使用deflate(gzip)算法和-compress参数,可以压缩数据。也可以在Apache Hive中加载压缩表。

支持Accumulo

源数据可以不是HDFS中的目录,可以指定Sqoop将Accumulo中的表导入。