hive实例，GPRS流量统计

hive实例，GPRS流量统计

 

最近面试，发现很多公司在使用hive对数据进行处理。 

 

hive是hadoop家族成员，是一种解析like sql语句的框架。

它封装了常用MapReduce任务，让你像执行sql一样操作存储在HDFS的表。 

 

hive的表分为两种，内表和外表。 

 

Hive 创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部表，仅记录数据所在的路径，不对数据的位置做任何改变。 

 

在删除表的时候，内部表的元数据和数据会被一起删除， 而外部表只删除元数据，不删除数据。

 

这样外部表相对来说更加安全些，数据组织也更加灵活，方便共享源数据。 

 

Hive的内外表，还有一个Partition的分区的知识点，用于避免全表扫描，快速检索。