hdfs是关系型数据库吗

一、hdfs是关系型数据库吗

1、HDFS，即Hadoop Distributed File System，是Hadoop项目中的核心组件之一，它是一个高度容错性的系统，被设计成能在低成本硬件上运行。HDFS能提供高吞吐量的数据访问，非常适合处理大数据，如日志文件、大规模数据分析等。简单来说，HDFS是一个分布式文件系统，它允许数据在多个节点上进行存储和处理。

2、关系型数据库，如MySQL、Oracle、SQL Server等，是基于关系模型的数据库。在关系型数据库中，数据被组织成表，表与表之间通过关系进行连接。这些数据库使用SQL（结构化查询语言）来查询、更新和管理数据。关系型数据库强调数据的完整性和一致性，通常用于需要复杂查询和事务处理的应用场景。

3、HDFS与关系型数据库在设计和用途上存在显著差异。HDFS主要用于存储和处理非结构化或半结构化的大数据，如日志文件、社交媒体数据等，这些数据不适合直接存储在关系型数据库中。而关系型数据库则更侧重于结构化数据的存储和查询，支持复杂的数据关系、事务处理和索引功能。

4、举个例子，假设有一个电商平台，用户的点击流数据、购买记录等可以存储在HDFS中，以便于进行大规模的数据分析。而用户的账户信息、商品详情等结构化数据则更适合存储在关系型数据库中，以便于进行精确的查询和更新操作。

5、综上所述，HDFS作为一个分布式文件系统，与关系型数据库在数据存储、处理和分析方面有着本质的区别。HDFS不是关系型数据库，而是专为大数据处理设计的文件系统。

二、如何使用Hadoop读写数据库

我们的一些应用程序中，常常避免不了要与数据库进行交互，而在我们的hadoop中，有时候也需要和数据库进行交互，比如说，数据分析的结果存入数据库，

或者是，读取数据库的信息写入HDFS上，不过直接使用MapReduce操作数据库，这种情况在现实开发还是比较少，一般我们会采用Sqoop来进行数

据的迁入，迁出，使用Hive分析数据集，大多数情况下，直接使用Hadoop访问关系型数据库，可能产生比较大的数据访问压力，尤其是在数据库还是单机

的情况下，情况可能更加糟糕，在集群的模式下压力会相对少一些。

那么，今天散仙就来看下，如何直接使用Hadoop1.2.0的MR来读写操作数据库，hadoop的API提供了DBOutputFormat和

DBInputFormat这两个类，来进行与数据库交互，除此之外，我们还需要定义一个类似JAVA

Bean的实体类，来与数据库的每行记录进行对应，通常这个类要实现Writable和DBWritable接口，来重写里面的4个方法以对应获取每行记

三、怎么通过sqoop将hdfs上数据导入到mysql

sqoop是一个能把数据在关系型数据库和HDFS之间互相传输的工具。在这里，我写一下用java程序来实现sqoop把数据从HDFS写入到MYSQL。

在接触sqoop之前，我自己写了一个传输类来实现数据从HDFS到MYSQL。这里简单说一下时间的思想:

1、在MYSQL中创建一个参数表A，用来记录要传输的表的表名B和字段。

2、HDFS上的数据的格式和MYSQL中参数表A中B表的字段的数量一样。

3、从MYSQL的参数表A中，读取要传输的表B。把这些字段拼凑成一个insert语句，例如

，拼凑为insert into b(column1,column2..) values(value1,value2...)

4、从HDFS相应的目录逐行读取数据，通过JDBC，把数据批量导入到MYSQL的B表中。

我现在用sqoop来代替原来传输的那个功能。先做一下准备工作：

1、hadoop的每个节点下lib文件夹中要有mysql的jar包和sqoop的jar包。

2、在HDFS的某个目录上的数据格式和MYSQL相应的表中的字段数量一致。

import org.apache.hadoop.conf.Configuration;

import org.apache.sqoop.Sqoop;

import org.apache.sqoop.tool.ExportTool;

*用SQOOP来把数据从HDFS导入到MYSQL。

public static void main(String[] args){

List<String> generatedJarsList= new ArrayList<String>();

Configuration conf= new Configuration();

conf.set("fs.default.name","hdfs://master:9000");

conf.set("hadoop.job.ugi","hadooper,hadoopgroup");

conf.set("mapred.job.tracker","master:9001");

ArrayList<String> list= new ArrayList<String>();//定义一个list

list.add("a_baat_client");//mysql中的表。将来数据要导入到这个表中。

list.add("/tmp/datathree/");//hdfs上的目录。这个目录下的数据要导入到a_baat_client这个表中。

list.add("jdbc:mysql://192.168.1.10:3306/report");//mysql的链接

list.add("root");//mysql的用户名

list.add("root");//mysql的密码

list.add("--lines-terminated-by");

list.add("\\n");//数据的换行符号

list.add("1");//定义mapreduce的数量。

ExportTool exporter= new ExportTool();

Sqoop sqoop= new Sqoop(exporter);

arg= list.toArray(new String[0]);

int result= Sqoop.runSqoop(sqoop, arg);

System.out.println("res:"+ result);//打印执行结果。

这个导出类执行过程中，可以在浏览器中看一下页面。会发现导出数据也是一个把任务转换为mapreduce执行的过程。

当然，上面的java代码，也可以用命令行来实现。命令如下：

bin/sqoop export--connect jdbc:mysql://192.168.1.10:3306/report\

--table a_baat_client--username root--password root\

--export-dir/tmp/datathree/-m 1

关于sqoop把数据从HDFS导入到MYSQL就说这么多。把数据从HIVE导入到MYSQL，其实可以理解为把HIVE表所对应的HDFS路径的数据导入到MYSQL，这里就不多说了。