Database/BigQuery 3

[bigQuery] 파이썬 script를 이용한 빅쿼리 모듈 설치 에러 해결

from google.cloud import bigquery from google.oauth2 import service_account google bigquery 계정에 접근 허용 및 빅쿼리 추출을 하기 위한 모듈이 필요하다. pip install google 을 이용한 모듈 설치는 완료하였으나, 아래 그림과 같이 모듈이 로드되지 않는 문제가 지속적으로 발생할 것이다. 이 때 아래의 모듈들을 순서대로 설치하고 다시 모듈을 로드해보자. 정상적으로 작동할 것이다. pip install --upgrade google-cloud-bigquery pip install google-cloud-bigquery-storage pip install --upgrade google-cloud pip install --up..

Database/BigQuery 2022.11.26

BigQuery에 Python으로 데이터(csv) 적재하기

# 모듈 로드 import glob from google.cloud import bigquery from google.oauth2 import service_account import db_dtypes # 서비스 계정 key(json) 경로 지정 /my_path/serviceAccountKey 경로 내에 json key 파일을 위치시켜 둔다. 경로는 사용자가 원하는 곳에 두어도 무관하다. key_path = glob.glob("/my_path/serviceAccountKey/*.json")[0] # Credentials 객체 생성 credentials = service_account.Credentials.from_service_account_file(key_path) # GCP 클라이언트 객체 생성 cl..

Database/BigQuery 2022.10.19

BigQuery으로 저장된 데이터 Python 스크립트로 확인하기

# 모듈 로드 # 모듈 로드 import glob from google.cloud import bigquery from google.oauth2 import service_account import db_dtypes # 서비스 계정 key(json) 경로 지정 /my_path/serviceAccountKey 경로 내에 json key 파일을 위치시켜 둔다. 경로는 사용자가 원하는 곳에 두어도 무관하다. key_path = glob.glob("/my_path/serviceAccountKey/*.json")[0] # 데이터 조회 쿼리 실행 결과 query_job = client.query(sql) # Credentials 객체 생성 credentials = service_account.Credentials...

Database/BigQuery 2022.10.19