hdfs+hive+impala+hue+sentry與ldap整合全套方案

公司用的cdh版本為5.14，sentry集成的步驟很簡單，參照官方文檔就可以完成了：
https://www.cloudera.com/documentation/enterprise/5-14-x/topics/sentry.html
本文主要寫一些openldap的搭建和phpldap的使用，還有ldap和（hive，impala，hue）的整合。
ldap的具體概念可以參照這篇文章
LDAP概念和原理介紹

一.安裝OpenLDAP

    yum install openldap openldap-clients openldap-servers

安裝完直接啟動
```
service slapd start 
```
設置管理員密碼 ```

slappasswd -h {SSHA}    
    ```

然后會讓你輸入一個明文密碼，返回給你一個加密的密碼，記住這個返回的密碼

使用ldapsearch命令查詢管理員的dn：

ldapsearch -LLL -Y EXTERNAL -H ldapi:/// -b  cn=config "olcRootDN=cn=Manager,dc=my-domain,dc=com"  dn olcRootDN olcRootPW

這里返回的dn是olcDatabase={2}hdb,cn=config，密碼等信息也都一并返回。這里有用的是dn和密碼的加密方式，比如這里是SSHA，dn是后面修改的Entry DN，而知道密碼的加密方式就可以使用該加密方式生成新密碼。

使用ldapmodify修改條目

vim chrootpw.ldif 

#這是第1步獲取的管理員dn
dn: olcDatabase={2}hdb,cn=config
changetype: modify
replace: olcSuffix
#你想要改成的域名的后綴
olcSuffix: dc=xinniu,dc=com
#olcSuffix這幾行一定要加，否則修改之后會出錯，后面重啟openldap都會失敗

dn: olcDatabase={2}hdb,cn=config
changetype: modify
replace: olcRootDN
#你想要改成的域名
olcRootDN: cn=admin,dc=xinniu,dc=com

dn: olcDatabase={2}hdb,cn=config
changetype: modify
replace: olcRootPW
#這里就是剛才保存下來的那個加密后的密碼
olcRootPW: {SSHA}uYnICxla0NrUC5b/ha4i1JeOTCoUchV+

如圖：

使用下面的命令來修改管理員條目：

ldapmodify -Y EXTERNAL -H ldapi:/// -f  chrootpw.ldif 

如果出現：

modifying entry "olcDatabase={2}bdb,cn=config"

重啟服務使修改生效

/etc/init.d/slapd restart 

導入基本數據結構
我們需要向 LDAP 中導入一些基本的 Schema。這些 Schema 文件位于 /etc/openldap/schema/ 目錄中，schema控制著條目擁有哪些對象類和屬性

ldapadd -Y EXTERNAL -H ldapi:/// -D "cn=config" -f /etc/openldap/schema/cosine.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -D "cn=config" -f /etc/openldap/schema/nis.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -D "cn=config" -f /etc/openldap/schema/collective.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -D "cn=config" -f /etc/openldap/schema/corba.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -D "cn=config" -f /etc/openldap/schema/core.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -D "cn=config" -f /etc/openldap/schema/duaconf.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -D "cn=config" -f /etc/openldap/schema/dyngroup.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -D "cn=config" -f /etc/openldap/schema/inetorgperson.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -D "cn=config" -f /etc/openldap/schema/java.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -D "cn=config" -f /etc/openldap/schema/misc.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -D "cn=config" -f /etc/openldap/schema/openldap.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -D "cn=config" -f /etc/openldap/schema/pmi.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -D "cn=config" -f /etc/openldap/schema/ppolicy.ldif

到此就設定好了管理員的密碼。可以用客戶端去管理openldap了

打算使用phpldapadmin來管理openldap，這個工具使用的人較多，網上文檔多，出現問題容易解決。

二.安裝phpldapadmin（ldap管理工具）

首先安裝Apache和PHP：

yum -y install httpd php php-ldap php-gd php-mbstring php-pear php-bcmath php-xml

然后安裝phpldapadmin：

 yum -y install phpldapadmin

httpd與phpldapadmin進行集成：
修改配置文件：

[root@localhost ~]# vim /etc/phpldapadmin/config.php

#397行取消注釋，398行添加注釋

    $servers->setValue('login','attr','dn');
    // $servers->setValue('login','attr','uid');

這里需要修改，如果不修改，phpldapadmin會去用uid去搜索條目，不會用dn去搜索，導致報密碼錯誤。
[root@localhost ~]# phpldapadmin的ip過濾規則默認是拒絕所有ip訪問，先去修改一下規則，我們才可以訪問

vim /etc/httpd/conf.d/phpldapadmin.conf

##這是Apache2.2和以前的修改方法
// 修改配置

<IfModule mod_authz_core.c>

    </IfModule>

    把下面的Deny from all 改為Allow from all

##這是apache2.4和以后的修改方法

#允許172.16.10.16訪問
Require ip 172.16.10.16
#允許172.16這個網段訪問
Require ip 172.16.0.0/16
#允許所有ip訪問
Require all granted

我們可以根據自己需要修改來
    修改完之后啟動：

    service httpd restart

界面：

登陸
用戶名，默認是 cn=Manager,dc=my-domain,dc=com(這個也可以改的，仿照修改密碼的步驟)
密碼就輸入剛開始設置的密碼

登陸進去后，我的管理界面報這個信息：
This base cannot be created with PLA
顯示結果如下：

經過查詢，原因是根結點需要初始化后才能使用，最終處理如下：

1、創建一個initroot.ldif文件，為創建初始化根節點做準備工作，如下所示：
dn: dc=xinniu,dc=com
#域名的后綴
o: ldap
objectclass: dcObject
objectclass: organization

2、執行ldapadd -f initroot.ldif -x -D cn=admin,dc=xinniu,dc=com -W 輸入之前配置OpenLDAP的密碼后，即可完成創建LDAP根節點，如下圖所示：

完成以上操作后，再回到phpldapadmin頁面，可以看到，已經正常出現了根節點，并可以創建相關OU、Group、Account等對象，如下圖所示：

三.整合ldap和hive，impala，hue

先用phpldapadmin在ldap創建一個用戶去測試：
首先創建一個ou，叫users

然后再在users下創建一個用戶：jiandan
在創建新條目時，選擇Generic User Account，創建好以后會出現cn=jiandan這個條目。

然后點擊cn=jiandan這個條目，點擊更名，把cn=jiandan修改為uid=jiandan，因為hive后面會在ldap中默認去搜索uid，如果使用cn還需要額外去高級配置中配置一個自定義的屬性。

1.首先整合hive：

在cdh里面修改一下配置：

這張圖用的別人的，如果按我的配置，BaseDN則寫：
ou=users,dc=my-domain,dc=com
然后用beeline進行測試

這樣就是通過ldap的驗證了，如果密碼不正確則會：

后來生產上hive整合ldap的時候遇到一個問題，hue和impala都不會出現，當使用其他部門的LDAP而不是自建的LDAP時可能會出現。
那就是hive.server2.authentication.ldap.baseDN這個配置項，hive在ldap中驗證用戶時，會通過uid去匹配用戶，如：uid=xiaohuang，ou=users,dc=my-domain,dc=com。問題是有時候ldap并不一定是我們部門自己搭建的，而是技術中心的運維那邊搭建的，他們在LDAP創建用戶條目時，并沒有給條目一個uid的屬性，而是建了一個CN的屬性，如：cn=xiaohuang，ou=users,dc=my-domain,dc=com這種，我們使用了上面文檔的配置，必然會搜不到，導致驗證失敗。
這個時候咋辦？讓他們幫我們重新建個我們想要的條目？他們肯定不鳥。。
然而我就這樣放棄了么？不可能的，通過去官方文檔查看，找到這篇文章
https://cwiki.apache.org/confluence/display/Hive/User+and+Group+Filter+Support+with+LDAP+Atn+Provider+in+HiveServer2#UserandGroupFilterSupportwithLDAPAtnProviderinHiveServer2-hive.server2.authentication.ldap.userDNPattern
看到有個屬性，它也可以使hive和imapla，hue一樣，通過通配符去設定，讓hive去LDAP中查找指定的條目。
這個屬性要在
hive-site.xml 的 Hive 服務高級配置代碼段（安全閥）
中配置
<property><name>hive.server2.authentication.ldap.userDNPattern</name><value>cn=%s,ou=users,dc=my-domain,dc=com</value><final>true</final></property>
這樣即可讓hive在做賬戶驗證的時候，去搜索CN開頭的條目，而不是UID開頭的條目
。巧妙地解決了這個問題。

2.然后整合impala：

修改配置，和hive類似：

不過要在高級代碼段里面增加一個參數，因為我們的密碼是明文傳輸，否則imapala啟動不了。
重啟impala后，我們來測試

發現已經ok了。

3.最后我們來整合hue

首先需要配置這些

這個配置好以后，我們就可以登陸hue了，我們看到登陸的界面已經多了個ldap

登陸已經可以了，不過登陸進去后會報一些錯誤：
[文件]

我們需要配置一些額外的參數從而讓hue用戶可以代理其他的用戶
1.在ldap中創建hue用戶
2.hue_safety_valve.ini 的 Hue 服務高級配置代碼段（安全閥）中配這些

[beeswax]
close_queries=True
use_sasl=False
auth_username=hue
auth_password=xxxxxxx
[impala]
server_host=datanode1
server_interface=hiveserver2
server_port=21050
query_timeout_s=100
impersonation_enabled=True
auth_username=hue
auth_password=xxxxxxx

在hive和i mpala的core-site.xml 的 Hive 服務高級配置代碼段（安全閥）中增加以下配置：

impala的Impala 命令行參數高級配置代碼段（安全閥）中再加上
--authorized_proxy_user_config=hue=*

然后就不會報這個錯誤了。

以上就基本完成了ldap和hive impala hue的整合。

四.hadoop user -> group 映射關系集成ldap

1.原理

在sentry的使用中，我們發現，sentry的授權是基于角色的，而角色又是通過組來分配的，在實際hive/impala使用當中，我們使用一個用戶，hive如何知道它有哪些權限呢？實際上是通過user -> group -> role這么一個映射關系來完成每一次權限的操作，group -> role的映射關系是通過sentry數據庫管理:
sentry通過sentry_role，sentry_group，sentry_role_group_map這3個庫管理了group和role的mapping關系。
而user-group的映射關系是如何實現的？

hive中有個相關選項，默認使用了hadoop的用戶組信息，也就是說，hive中涉及到user->group這個映射關系是直接用的hdfs的，而hdfs的user->group這個映射信息來自于哪里？
打開hdfs的配置，我們發現：
有這么一個配置項，hdfs的group信息默認實際是調用的本地shell的group信息！

2.問題以及原因

細節明白以后，再說說實際的問題，如果我們使用默認的配置，那么hive和impala的時候，我們去連接hiveserver，或者impalad，如果本地沒有相應的用戶，那么sentry就沒法獲取到 user->group 的信息，那么就無法完成權限認證的整條鏈路，就會報錯。
那么我們每次有新同事加入，就需要在每個相關節點上創建相應的用戶，這樣實際上不僅麻煩，而且很low（這是最主要的），即使你寫批量腳本。

3.解決方案

    那么我們可以通過ldap來存儲這個user->group的映射關系，這樣hdfs就不必再去本地找這個映射關系了。
    我們先把當前系統上的用戶和組導入到ldap，需要用到一個工具：migrationtools

3.1安裝migrationtools

yum install -y migrationtools

.修改migrate_common.ph

vim /usr/share/migrationtools/migrate_common.ph
Default DNS domain
DEFAULT_MAIL_DOMAIN = "zpbigdata.com";

Default base 
DEFAULT_BASE = "dc=zpbigdata,dc=com";

利用pl腳本將/etc/passwd 和/etc/group生成LDAP能讀懂的文件格式
這里導入一個etl用戶來測試

cat /etc/passwd | grep etl > /tmp/passwd 
 cat /etc/group | grep etl > /tmp/group

/usr/share/migrationtools/migrate_base.pl > /tmp/base.ldif  
 /usr/share/migrationtools/migrate_passwd.pl  /tmp/passwd > /tmp/passwd.ldif  
 /usr/share/migrationtools/migrate_group.pl  /tmp/group > /tmp/group.ldif

將文件導入到LDAP

 ldapadd -x -D "cn=Manager,dc=zpbigdata,dc=com" -W -f /tmp/base.ldif 
 ldapadd -x -D "cn=Manager,dc=zpbigdata,dc=com" -W -f /tmp/passwd.ldif 
 ldapadd -x -D "cn=Manager,dc=zpbigdata,dc=com" -W -f /tmp/group.ldif 

這樣就把people和group信息導入了

3.2修改hdfs的配置

把hadoop.security.group.mapping的值改為org.apache.hadoop.security.LdapGroupsMapping
然后填寫Ldap的相關參數：


大致就是這么多項配置需要填寫，僅供參考，具體的值還是要參考你ldap中建立的group中和people中對象的具體屬性

4.驗證

配置完成后使用以下命令測試：

sudo -u hdfs hdfs groups xxx（username）

打印的group值如果和ldap中你配置的可以對應上，那么就證明完成了。
后續添加新的group和user，只需要在ldap中添加就好了。