BigQuery으로 저장된 데이터 Python 스크립트로 확인하기

<빅 쿼리 데이터 조회>

# 모듈 로드

# 모듈 로드
import glob
from google.cloud import bigquery
from google.oauth2 import service_account
import db_dtypes

# 서비스 계정 key(json) 경로 지정 
/my_path/serviceAccountKey 경로 내에 json key 파일을 위치시켜 둔다.
경로는 사용자가 원하는 곳에 두어도 무관하다.

key_path = glob.glob("/my_path/serviceAccountKey/*.json")[0]

# 데이터 조회 쿼리 실행 결과

query_job = client.query(sql)

# Credentials 객체 생성

credentials = service_account.Credentials.from_service_account_file(key_path)

# GCP 클라이언트 객체 생성

client = bigquery.Client(credentials = credentials,
project = credentials.project_id)

# 데이터 조회 쿼리

SELECT * FROM `[프로젝트명].[데이터셋명].[데이터]` 순서로 자신의 프로젝트명 및 데이터셋 명을 기입해준다.

sql = f"""
SELECT * FROM `my_prj.my_dataset.data1`
"""

# 데이터프레임 변환

df = query_job.to_dataframe()
df.head()

데이터 프레임형태로 저장이 되어 있는지 확인하고, 제대로 조회가 되었으면 완성된 것이다.

 

---

<전체 코드>

## Bigquery에 적재된 데이터 조회
import glob
from google.cloud import bigquery
from google.oauth2 import service_account
import db_dtypes

key_path = glob.glob("/my_path/serviceAccountKey/*.json")[0]

query_job = client.query(sql)

credentials = service_account.Credentials.from_service_account_file(key_path)

client = bigquery.Client(credentials = credentials,
project = credentials.project_id)

sql = f"""
SELECT * FROM `my_prj.my_dataset.data1`
"""

df = query_job.to_dataframe()
df.head()