HDFS client with Knox

classic Classic list List threaded Threaded
4 messages Options
Reply | Threaded
Open this post in threaded view
|

HDFS client with Knox

Philippe Kernévez
kk1) Maintenant que Knox est en place j'aimerai l'utiliser.
En particulier depuis un client HDFS.
Je peux faire (ça marche) : 
a) HDFS en RPC sur mon name node actif : "hdfs dfs -ls /apps"
b) HDFS en WebHdfs sur mon name node actif : hdfs dfs -ls webhdfs://node1:50070/apps
c) CURL sur mon WebHDFS : curl "http://node1:50070/webhdfs/v1/apps?op=LISTSTATUS"
d) CURL sur Knox : curl -u admin:admin-password -k "https://node1:8443/gateway/default/webhdfs/v1/apps?op=LISTSTATUS"

Par contre comment faire avec Knox ? J'ai 2 pb :
a) Comment faire une authent basique, je ne trouve pas de moyen de passer un login/password à la commande (soit elle est sans sécu, soit avec Kerberos)
b) Comment indiquer que le protocole est en SSL, webhdfss ne semble pas exister...

--


Philippe Kernévez



Directeur technique (Suisse),


[hidden email]
<a href="tel:+41%2079%20888%2033%2032" value="+41798883332" class="gmail_msg" target="_blank">+41 79 888 33 32



Retrouvez OCTO sur OCTO Talk : http://blog.octo.com
OCTO Technology http://www.octo.com





Reply | Threaded
Open this post in threaded view
|

Re: HDFS client with Knox

Ted Yu-3
Can you phrase your post in English ?

2017-01-01 4:22 GMT-08:00 Philippe Kernévez <[hidden email]>:
kk1) Maintenant que Knox est en place j'aimerai l'utiliser.
En particulier depuis un client HDFS.
Je peux faire (ça marche) : 
a) HDFS en RPC sur mon name node actif : "hdfs dfs -ls /apps"
b) HDFS en WebHdfs sur mon name node actif : hdfs dfs -ls webhdfs://node1:50070/apps
c) CURL sur mon WebHDFS : curl "http://node1:50070/webhdfs/v1/apps?op=LISTSTATUS"
d) CURL sur Knox : curl -u admin:admin-password -k "https://node1:8443/gateway/default/webhdfs/v1/apps?op=LISTSTATUS"

Par contre comment faire avec Knox ? J'ai 2 pb :
a) Comment faire une authent basique, je ne trouve pas de moyen de passer un login/password à la commande (soit elle est sans sécu, soit avec Kerberos)
b) Comment indiquer que le protocole est en SSL, webhdfss ne semble pas exister...

--


Philippe Kernévez



Directeur technique (Suisse),


[hidden email]
<a href="tel:+41%2079%20888%2033%2032" value="+41798883332" class="m_-2364833288700464793gmail_msg" target="_blank">+41 79 888 33 32



Retrouvez OCTO sur OCTO Talk : http://blog.octo.com
OCTO Technology http://www.octo.com






Reply | Threaded
Open this post in threaded view
|

Re: HDFS client with Knox

Ulul

Hi

Philippe is asking about using basing auth with knox and using SSL with webhdfs

a) this is exactly what you do with your d) : you pass admin:admin-password credentials to knox, basic auth bing curl default. If your question is about knox authenticating to hdfs, that's normal : HDFS has only "no security" or kerberos

b) You can find swebhdfs http://hortonworks.com/blog/deploying-https-hdfs/ but I'd say it's more experimental than poduction grade. And the idea behind knox is that you have an SSL encrypted stream between your client and knox, as you did in d), and then clear streams between knox and HDFS servers, the cluster being protected by a firewall of some kind. Please note that Knox creates a bottleneck through which all data is flowing so don't use it for massive data transfer

Ulul


On 01/01/2017 15:46, Ted Yu wrote:
Can you phrase your post in English ?

2017-01-01 4:22 GMT-08:00 Philippe Kernévez <[hidden email]>:
kk1) Maintenant que Knox est en place j'aimerai l'utiliser.
En particulier depuis un client HDFS.
Je peux faire (ça marche) : 
a) HDFS en RPC sur mon name node actif : "hdfs dfs -ls /apps"
b) HDFS en WebHdfs sur mon name node actif : hdfs dfs -ls webhdfs://node1:50070/apps
c) CURL sur mon WebHDFS : curl "http://node1:50070/webhdfs/v1/apps?op=LISTSTATUS"
d) CURL sur Knox : curl -u admin:admin-password -k "https://node1:8443/gateway/default/webhdfs/v1/apps?op=LISTSTATUS"

Par contre comment faire avec Knox ? J'ai 2 pb :
a) Comment faire une authent basique, je ne trouve pas de moyen de passer un login/password à la commande (soit elle est sans sécu, soit avec Kerberos)
b) Comment indiquer que le protocole est en SSL, webhdfss ne semble pas exister...

--


Philippe Kernévez



Directeur technique (Suisse),


[hidden email]
<a moz-do-not-send="true" href="tel:+41%2079%20888%2033%2032" value="+41798883332" class="m_-2364833288700464793gmail_msg" target="_blank">+41 79 888 33 32



Retrouvez OCTO sur OCTO Talk : http://blog.octo.com
OCTO Technology http://www.octo.com







Reply | Threaded
Open this post in threaded view
|

Re: HDFS client with Knox

Philippe Kernévez
In reply to this post by Ted Yu-3
Hi all,

Sorry for that bad quality post. 
I accidentally send a draft during my holidays (with a bad connexion). I will send you a detail message (in english) as soon as I can.
I will update it with your answer.

Regards,
Philippe

2017-01-01 15:46 GMT+01:00 Ted Yu <[hidden email]>:
Can you phrase your post in English ?

2017-01-01 4:22 GMT-08:00 Philippe Kernévez <[hidden email]>:
kk1) Maintenant que Knox est en place j'aimerai l'utiliser.
En particulier depuis un client HDFS.
Je peux faire (ça marche) : 
a) HDFS en RPC sur mon name node actif : "hdfs dfs -ls /apps"
b) HDFS en WebHdfs sur mon name node actif : hdfs dfs -ls webhdfs://node1:50070/apps
c) CURL sur mon WebHDFS : curl "http://node1:50070/webhdfs/v1/apps?op=LISTSTATUS"
d) CURL sur Knox : curl -u admin:admin-password -k "https://node1:8443/gateway/default/webhdfs/v1/apps?op=LISTSTATUS"

Par contre comment faire avec Knox ? J'ai 2 pb :
a) Comment faire une authent basique, je ne trouve pas de moyen de passer un login/password à la commande (soit elle est sans sécu, soit avec Kerberos)
b) Comment indiquer que le protocole est en SSL, webhdfss ne semble pas exister...

--


Philippe Kernévez



Directeur technique (Suisse),


[hidden email]
<a href="tel:+41%2079%20888%2033%2032" value="+41798883332" class="m_-6267615469256886631m_-2364833288700464793gmail_msg" target="_blank">+41 79 888 33 32



Retrouvez OCTO sur OCTO Talk : http://blog.octo.com
OCTO Technology http://www.octo.com









--
Philippe Kernévez



Directeur technique (Suisse),
[hidden email]
+41 79 888 33 32

Retrouvez OCTO sur OCTO Talk : http://blog.octo.com
OCTO Technology http://www.octo.com