BigQuery: Qwik Start - Web User Interface

웹 사용자 인터페이스

- shell connection시 project가 PROJECT_ID로 연결

 

BigQuery - Compose query 의 New Query

 

1) Query문으로 데이터 확인

#standardSQL
SELECT weight_pounds, state, year, gestation_weeks
FROM `bigquery-public-data.samples.natality`
ORDER BY weight_pounds DESC LIMIT 10;

 

2) 데이터 집합 만들기

 

- Create new dataset

 

- Dataset ID 지정 후 확인

 

 

3) $ wget http://www.ssa.gov/OACT/babynames/names.zip

 = 많이 쓰는 아기이름 데이터 추가

google371570_student@qwiklabs-gcp-6ccde2f7de2cdd35:~$ wget http://www.ssa.gov/OACT/babynames/names.zip
--2018-04-27 07:22:00--  http://www.ssa.gov/OACT/babynames/names.zip
Resolving www.ssa.gov (www.ssa.gov)... 137.200.39.19, 2001:1930:e03::aaaa
Connecting to www.ssa.gov (www.ssa.gov)|137.200.39.19|:80... connected.
HTTP request sent, awaiting response... 302 Found
Location: https://www.ssa.gov/OACT/babynames/names.zip [following]
--2018-04-27 07:22:01--  https://www.ssa.gov/OACT/babynames/names.zip
Connecting to www.ssa.gov (www.ssa.gov)|137.200.39.19|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 8207194 (7.8M) [application/zip]
Saving to: ‘names.zip’

 

names.zip                                  100%         [=====================================================>]

 

4) $ unzip names.zip 

= 압축풀기

google371570_student@qwiklabs-gcp-6ccde2f7de2cdd35:~$ unzip names.zip
Archive:  names.zip
  inflating: yob1884.txt
  inflating: yob1885.txt
  inflating: yob1886.txt

 

5) Storage > Create bucket

= bucket 생성

6) $ gsutil cp yob2014.txt gs:bejjangyi

= yob2014.txt를 방금 생성한 버킷으로 이동

= Query할 데이터를 찾기 위해 BigQuery를 가리킬 수 있는 위치 존재

google371610_student@qwiklabs-gcp-4841e1d464345490:~$ gsutil cp yob2014.txt gs:bejjangyi
Copying file://yob2014.txt...
/ [1 files][417.6 KiB/417.6 KiB]
Operation completed over 1 objects/417.6 KiB.

 

7) 새 테이블에 데이터 로드

= 버킷의 데이터파일을 bigQuery의 새 테이블에 로드

= 이전에 만든 데이터 세트에 테이블 생성

 

 

8) 테이블 생성 시 설정

= Location 에 GCS - gs:// <경로입력>

= Schema에 name[String], sex[String], size[Integer]  로

 

 

9) 테이블 확인

= babynames - names_2014 - Preview

 

10) 쿼리문 사용

= `babynames.names_2014 `는 babynames의  Dataset에 있는 names_2014라는 table에 접근

#standardSQL
SELECT
 name, count
FROM
 `babynames.names_2014`
WHERE
 gender = 'M'
ORDER BY count DESC LIMIT 5;