1. Azure Databricks CLI 설치하기

Azure Databricks CLI 설치하기 


개요


Databricks는 사용자가 쉽게 접근할 수 있도록 Interface Platform을 제공하고 있습니다. Workspace API, Cluster API, DBFS API, Groups API, Jobs API, Libraries API와 Secrets API를 통해서 Databricks에 설정을 유연하게 Config나 작업을 할 수 있습니다~

저는 Windows에 Anaconda 가상 환경에서 진행했구요 Python version은 3.7입니다!

Requirements


Python 3 -3.6 and Above 
Python 2 -2.7.9 and Above

설치 과정

1. Module Install

pip으로 모듈을 받습니다.

 >pip install databricks-cli

----------------------CMD---------------------------------
(mingdi) C:\Users\박민지>pip install databricks-cli
Collecting databricks-cli
  Downloading https://files.pythonhosted.org/packages/5f/38/f83bc71c5e7351a03e8d44aaf04647d076bbf8f097e3f93b921704b7a74c/databricks_cli-0.8.7-py3-none-any.whl (82kB)
     |████████████████████████████████| 92kB 226kB/s


2. Authentication Set UP

Databricks에 인증을 등록해야하는데요, 일단 Databricks로 들어갑니다.
Databricks 포탈에 맨 오른쪽에 요렇게 사람모양 표시가 있는데 그걸 눌러 User Settings로 들어갑니다.

Comment에 원하는 걸 기입하시고 Generate하시면 됩니다.
단, 여기서 새로운 Token을 미리 복사를 해야합니다. 다시는 못보거든요..



요런식으로 Generate 된 Token을 확인할 수 있습니다.

다시 여기서 CMD 창으로 돌아갈게요~

3. Configure Authentication 

Token을 Configure합니다. 

여기서 중요한건 host는 생성한 Databricks에 Location.azuredatabrick.net으로 설정해주어야 합니다.

https : // <location> .azuredatabricks.net
token =  <personal-access-token>

C:\Users\박민지>databricks configure --token
Databricks Host (should begin with https://): https://eastus.azuredatabricks.net
Token: dapib851f5aa3b2f46278d0e5eee0e976946

이제 Profile도 Config 해줍니다.

C:\Users\박민지>databricks configure --profile mingdi
Databricks Host (should begin with https://): https://mingdi
Username: mingdi
Password:
Repeat for confirmation:

4. Databricks CLI Example 

그렇담 이제 cli로 workspace list를 확인해볼까요?

C:\Users\박민지>databricks workspace ls /Users/mj2727@cloocus.com
codes
applications
2019-06-17 - Azure Data Lake Store Import Example

네 요렇게 cmd창에서 databricks REST API 사용하여 확인 할 수 있습니다!

사실 이렇게 databricks cli를 구성한 큰 이유는 secret scope을 설정해서 Azure에서 생성된 리소스에 접근을 용이하게 할 수 있습니다 ~ 그건 따로 준비할게요.






댓글

댓글 쓰기

이 블로그의 인기 게시물

4. Databricks - Azure Data Lake Storage Gen2 연동하기

이미지
 Databricks - Azure Data Lake Storage Gen2 연동하기 (Azure Active Directory와 Key-vault로)  개요 네... 혹시 연동 작업에서 에러가 나고 삽질을 하셨나요?ㅜㅜ 저의 삽질기는 졸업하고 깔끔하게 정리하여 공유하고자 합니다. 화..화이팅!! 작업 Process 1. Databricks Secret 생성   네, 전 포스트에서 Secret과 Azure Key-Vault에 대해 포스팅을 했는데 여기에서도 한 번 더 언급하겠습니다.  일단 databricks에 제공하는 Token은 Configure하시구요,  >databricks configure --token Databricks Host (should begin with https://): https://eastus.azuredatabricks.net Token: 추가적으로, Workspace에 생성된 notebook도 확인 command를 해볼까요? >databricks workspace ls /Users/mj_ datalake 네 이제는 Secret을 생성해보겠습니다. Secret생성 전에 Azure Portal에서 Azure Key-vault 리소스를 인스톨하구요, 속성 내 DNS과 리소스Id를 복사해둡니다. 이제, 데이터브릭스 포탈로 들어갑니다. 포탈 url에 뒤에 /#secrets/createScope 를 붙여 아래와 같은 페이지로 들어갑니다! 이제 앞에 복사해두었던 DNS와 리소스 Id를 아래에 붙여넣습니다.  이제 Secret Scope이 생성되었는지 확인해불까요? Databricks_CLI를 통해 확인가능합니다. >databricks secrets list --scope {Scope명} Key name   ...
자세한 내용 보기

3. Azure Databricks Secret으로 Blob Storage Mount

이미지
Azure Databricks Secret으로 Blob Storage Mount  개요 Databricks File System 내부로 Azure Blob 스토리지의 지정 컨테이너를 Mount하여 편리하게 ETL 할 수 있습니다. 그 과정에 필요한 것은 바로 Secret과 Azure Blob Accout에 SAS를 활용하면 가능합니다. 작업 Process 1. Azure Blob IAM(엑세스제어) 등 Azure Portal에 AAD(Azure Active Directory) 로 들어가서 App Registrations 를 선택합니다. +새등록 을 통해 앱 등록을 진행합니다. Mount 할 Blob Storage에 컨테이너 가 없다면 생성하시고 있으면 해당 컨테이너로 들어갑니다.  해당 컨테이너에 들어가서  엑세서 제어(IAM) 에 들어갑니다. +새등록 을 누르셔서 역할할당추가 를 선택합니다.  역할 할당 추가에서 역할 을 통해 Databricks 내 Access하려는 Permission을 제한을 둘 수 있습니다. 그리고 선택부분에 앞서 AAD에 만들었던 App Registration 생성 이름 을 서치하시고 선택하셔서 할당을 추가하면 됩니다. 네 이제 Mount할 Azure Blob내 컨테이너 역할 할당은 완료했습니다!  그렇담 이제 Databricks로 넘어가 mount해기위한 Secret과 Scope을 확인해볼게요. 2. Secret과 Scope 확인하기. 저는 Databricks CLI로 확인을 할거에요. 혹시 Databricks CLI도 모르겠고 Secret도 뭔지 모르겠다 하시는 분들은 1,2 번 포스팅을 먼저 확인하시면 됩니다!  아래와 같이 databricks secrets 리스트를 확인하며 그 부분들 Mount할 때 필요한 정버들입니다. C:\Users\박민지>datab...
자세한 내용 보기