Hadoop安全机制介绍

Table of Contents

背景

共享Hadoop集群

当前大一点的公司都采用了共享Hadoop集群的模式,这种模式可以减小维护成本,且避免数据过度冗余,增加硬件成本。共享Hadoop是指:

共享集群类似于云计算或者云存储,面临的一个最大问题是安全。

几个概念

Hadoop安全机制现状

Hadoop 一直缺乏安全机制,主要表现在以下几个方面:

Hadoop安全机制

为了增强Hadoop的安全机制, 从2009年起, Apache专门抽出一个团队,为Hadoop增加安全认证和授权机制,至今为止,已经可用。

Apache Hadoop 1.0.0版本和Cloudera CDH3之后的版本添加了安全机制,如果你将Hadoop升级到这两个版本,可能会导致Hadoop的一些应用不可用。

Hadoop提供了两种安全机制:Simple和Kerberos。Simple机制(默认情况,Hadoop采用该机制)采用了SAAS协议。 也就是说,用户提交作业时,你说你是XXX(在JobConf的user.name中说明),则在JobTracker端要进行核实,包括两部分核实,一是你到底是不是这个人,即通过检查执行当前代码的人与user.name中的用户是否一致;然后检查ACL(Access Control List)配置文件(由管理员配置),看你是否有提交作业的权限。

一旦你通过验证,会获取HDFS或者mapreduce授予的delegation token(访问不同模块由不同的delegation token),之后的任何操作,比如访问文件,均要检查该token是否存在,且使用者跟之前注册使用该token的人是否一致。

注意:下面绝大多数安全机制都是基于Kerberos实现的。

RPC安全机制

在Hadoop RP中添加了权限认证授权机制。当用户调用RPC时,用户的login name会通过RPC头部传递给RPC,之后RPC使用Simple Authentication and Security Layer(SASL)确定一个权限协议(支持Kerberos和DIGEST-MD5两种),完成RPC授权。

具体参考:https://issues.apache.org/jira/browse/HADOOP-6419

HDFS安全机制

Client获取namenode初始访问认证(使用kerberos)后,会获取一个delegation token,这个token可以作为接下来访问HDFS或者提交作业的凭证。

同样,为了读取某个文件,client首先要与namenode交互,获取对应block的的block access token,然后到相应的datanode上读取各个block,而datanode在初始启动向namenode注册时,已经提前获取了这些token,当client要从TaskTracker上读取block时,首先验证token,通过后才允许读取。

MapReduce安全机制

所有关于作业的提交或者作业运行状态的追踪均是采用带有Kerberos认证的RPC实现的。授权用户提交作业时,JobTracker会为之生成一个delegation token,该token将被作为job的一部分存储到HDFS上并通过RPC分发给各个TaskTracker,一旦job运行结束,该token失效。

用户提交作业的每个task均是以用户身份启动的,这样,一个用户的task便不可以向TaskTracker或者其他用户的task发送操作系统信号,最其他用户造成干扰。这要求为每个用户在所有TaskTracker上建一个账号。

当一个map task运行结束时,它要将计算结果告诉管理它的TaskTracker,之后每个reduce task会通过HTTP向该TaskTracker请求自己要处理的那块数据,Hadoop应该确保其他用户不可以获取map task的中间结果,其做法是:reduce task对“请求URL”和“当前时间”计算HMAC-SHA1值,并将该值作为请求的一部分发动给TaskTracker,TaskTracker收到后会验证该值的正确性。

WebUI安全机制

这一块需要针对每个用户单独配置。

高层服务的安全机制

你可能会在Hadoop之上使用Oozie,HBase,Cassandra等开源软件,为此,你需要在这几个软件的配置文件和Hadoop配置文件中添加权限,具体方法参考:https://ccp.cloudera.com/display/CDHDOC/CDH3+Security+Guide

总结

下面对Hadoop在安全方面的改动进行汇总:

DistribuedCache分别两种,一种是shared,可以被所有作业共享,而private的只能被该用户的作业共享。

有用的资料

http://dongxicheng.org/mapreduce/hadoop-security/

title: Hadoop安全机制介绍
date: 2013-06-12 14:19
author: None
site: 帐号、业务安全|岂安