Hadoop+Hive常用知识总结

1、什么是Hadoop？什么是hive？

Hadoop：一个分布式系统基础架构，由Apache基金会开发，用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力告诉运算和存储。

Hadoop是项目的总称，主要是由分布式存储（HDFS）、分布式运算（MapReduce）组成。

HIVE是一个SQL解析引擎，它将SQL语句转译成M/RJOB 然后再Hadoop执行，与传统数据库完全不同，只是采用了同样的sql界面。

2、hadoop基本操作

2.1 查看指定目录下内容

Hadoop dfs –ls[文件目录]

如：hadoop dfs –ls /user/war/wangkai.pt

2.2 打开某个已存在的文件

Hadoop dfs –cat [file_path]

如：hadoop dfs –cat /user/war/wangkai.pt/test.txt
2.3 删除某个文件

hadoop fs -rm hdfs://ns4/user/mart_vdp/app.db/app_vdp_jdb_jw_store_task_rules/store_task.txt

2.4 将本地文件存储至hadoop

Hadoop fs –put [本地地址]

3、hive基本操作

3.1 进入hive

登陆hadoop服务器后，输入 hive（这处理的有点慢，多等会）

显示成hive>

>

后，即表示进入到hive中

3.2  hive基本操作

3.2.1 建表

语句：

CREATE [EXTERNAL] TABLE table_name

(col_name data_rype,.....)

[PATTITIONED BY  (col_name data_type)]

[ROW FORMAT DELIMITED            

[FIELDS TERMINATED BY '/t' ]      

[STORED AS TEXTFILE]

举例：

create table input_data_test  #表名

(                 item_sku_id                      string   , #字段名称 字段类型

provider_code                   string   ,

delivery_center                 string  ,

stock                           bigint             )            

COMMETN '注释：XXXXX'       #表注释

PARTITIONED BY ("ACTIVE")  #分区表字段（如果文件非常大的话，采用分区表可以快速过滤出按分区字段划分的数字）    

ROW FORMAT DELIMITED

FIELDS TERMINATED BY '/t'    #字段之间是按照什么分割开的，这个例子是中按照tab键分开，还可以使用其他字符，如|分开 

STORED AS TEXTFILE;   ＃用哪种方式存储数据

3.2.2 查看库

语句：show  databases;

使用某一个库：use database；

3.2.3 查看表

语句：show tables 　　

可以使用模糊查询：show tables '*TMP*'

查看表有哪些分区： show partitions  table；

使用某一个表：use  table;

查看表字段：desc  table;  

3.2.4删除表

Drop table table_name;

3.2.5增加字段：

alter table fdm_cep_ql_service_center_chain add columns (jd_account string);

3.2.6 导入数据

使用load命令将数据导入表中  load操作只是将数据复制/移动至Hive表对应的位置，不会对数据进行任何转换。

语句：

load  data [local] inpath 'filepath' [overwrite] into table tablename [partition ]

举例：

load data local inpath '/python/app/task/data/gdm_m03_item_sku_da_06.txt' into  table gdm.gdm_m03_item_sku_da;（不带分区）

load data local inpath '/python/app/task/data/no_commission_rules.txt' into table app.app_vdp_nojdb_jw_sku_commission_rules;（带分区）

注：就是普通的insert，只不过数据来源是通过inpath路径找到的，insert之前保证表已建完，并且格式于建表语句要求的格式一致（换行、分隔符等）

3.2.7 查询

1、where 语句

Where语句是个布尔表达式，例如：下面的查询语句只返回销售记录大于10，且归属地属于美国的销售代表。

Select * from sales where amount >10 and region =’US’

注：hive不支持where子句中的IN、EXIST或子查询。

2、基于partition的查询

一般select查询会扫描整个表（除非是为了抽样查询）。但是如果一个表使用partitioned by子句建表，查询就可以利用分区剪枝（input pruning）的特性，只扫描一个表中他关心的那一部分。

Hive当前的是实现是。只有分区断言出现在离from子句最近的那个where子句中，才会取用分区剪枝。

例如，如果表app_vdp_base_jdbang_income_ma_sum使用date列分区，一下语句只会读取分区为‘2016-06-01’的数据。

Select *

from app_vdp_base_jdbang_income_ma_sum

where tx_dt>=’2016-06-01’ and tx_dt <=’2016-06-31’

3、limit查询

Limit可以限制查询的记录数，查询的结果是随机选择的。下边的查询语句从t1表中随机查询5条记录：

Select * from t1 limit 5;

如果需要查询top多少的数据，则需要使用下面的语句：

查询销售记录最大的5个销售代表：

Select * from sales order by amount desc limit 5;

3.2.8  修改数据

Hive不支持update数据。

同时，hive导入数据的时候不会自动去重。

3.2.9 删除数据

Hive不支持条件删除，只能删除整个表后再重新建。

3.2.10 结果导出

在hive中查询出表数据后，如果数据太多，不好看，可以将数据导出来，然后在本地使用UE等工具查看。此命令在在linux下执行

格式：hive –e  ‘查询语句’ > 文件名.txt   #将查询语句查询出来的结果导出到txt中

例如：

hive - e 'select * from app.app_vdp_jdbang_jwang_xiadan_detail;' > wangsha1.txt