Kaggle 데이터를 API를 통해 Colab으로 가져오기

기본적인 딥러닝을 구현해보고자, 이미지처리에서 유명한 예제 데이터인 <Cat and Dog>를 선택했다. 데이터셋을 다운받아 로컬에서 실습하기에는 다소 무리가 있는 듯 했고, 구글 Colab을 통해 코드를 실행해보고자 했다.

 

그래서 Kaggle 데이터를 구글 Colab으로 가져오는 과정을 리뷰해보고자 한다.

 

 

1. Kaggle의 본인 Account에 들어가 API Token 생성하기 

- kaggle 로그인 후, 우측 상단의 계정 모양에서 Account 클릭한다.

- API 메뉴에서 "Create New API Token" 버튼을 누르면 "kaggle.json" 파일이 자동적으로 다운로드 된다.

 

 

2. Google Colab에 접속하여, Kaggle을 설치 및 확인하기

!pip install kaggle
from google.colab import files
files.upload()

- 코드가 실행되면서, 파일선택 버튼이 뜨고 Kaggle에서 다운받은 "kaggle.json" 파일을 업로드한다.

- 잘 업로드되었다면, Kaggle ID와 Key값이 나타난다.

 

 

ls -1ha kaggle.json

- 해당코드를 통해, 업로드가 잘되었는지도 확인가능하다.

 

 

!mkdir -p ~/.kaggle
!mv kaggle.json ~/.kaggle/
!chmod 600 ~/.kaggle/kaggle.json

- 다음의 코드를 입력한다. ( "kaggle.json" 파일의 경로를 /.kaggle로 옮겨주는 과정이다)

 

 

 

3. 가져오려는 Kaggle dataset의 API Command 복사하여 Colab에 가져오기

- Kaggle dataset의 <Data> 탭에서, 우측의 더 보기 표시에 "Copy API command"를 클릭한다

 

- Colab에 복사한 코드를 붙여놓는다.

- 이 때, 코드 앞에 ! 표시를 반드시 붙여주어야 한다. (나의 경우, cat-and-dog 데이터를 가져왔다)

# 주소 앞에 ! 를 붙이기
!kaggle datasets download -d tongpython/cat-and-dog

 

 - 가져온 데이터가 zip파일로 되어있어서, 압축을 추가적으로 해제해주었다.

 - 코드를 실행해보니, jpg 형태로 잘 해제가 되었다. 

!unzip cat-and-dog.zip

 

 

4. 마치며

- 추가적으로 가져오려는 데이터가 대회데이터라면, 우선 대회 참가동의를 해야한다.

- 동일한 방식으로 <Data> 탭에서 API 코드를 복사하여 붙여주면 된다.