hadoop (55)


parquet-hive列裁剪和谓词下推

一直好奇parquet和hive是怎样做列裁剪(跳过某些列)的,今天跟踪了一下代码。 parquet和hive […]




parquet编码定义

主要是翻译https://github.com/Parquet/parquet-format/blob/mas […]




impala断开连接后释放session

代码在这里 https://github.com/cloudera/Impala/blob/cdh5-2.2. […]




获取linux用户和组映射脚本

记录一下 python代码 #!/usr/bin/env python # -*- coding: utf-8 […]




hadoop组映射从配置文件读取

hadoop实现类似linux系统的文件权限,需要知道某个用户是属于哪个组。系统默认是使用ShellBased […]




迁移Hadoop NameNode

版本:hadoop cdh5.4 传输文件 接收方 nc -l 19999 | tar zxvf – 发送方 […]