Skip to content

Navigation Menu

Sign in
Appearance settings

Search code, repositories, users, issues, pull requests...

Provide feedback

We read every piece of feedback, and take your input very seriously.

Saved searches

Use saved searches to filter your results more quickly

Sign up
Appearance settings

data-dev-course/project2-team1

Repository files navigation

Animal Stat-us Tracker

유기동물 조회 API를 이용한 보호소 및 계류상태 분석

  • 프로젝트 기간 : 1차: 2023年05月29日 ~ 2023年06月02日 / 2차: 2023年06月26日 ~ 2023年06月30日

1차

  • 유기된 동물의 데이터를 주기적 크롤링, ETL를 통하여 생성한 데이터를 GoogleCloudStorage, GoogleBigquery를 활용하여 적재
  • Apache Superset를 활용한 대시보드 제작
  • Firebase를 통한 인포그래픽 제작

2차

  • 유기된 동물의 데이터를 Airflow를 이용한 주기적 크롤링, ETL를 통해 GoogleCloudStorage 및 GoogleBigquery, Firestore에 적재 및 관리
  • Github Action을 통한 Python formatting 및 Style check, 서버 deployment 진행
  • Firebase 인포그래픽 웹사이트 Jest 테스트 및 기능 업데이트

팀 구성

강다혜 박태준 전성현 최민수
GitHub @kangdaia @ih-tjpark @Jeon-peng @usiohc

Tech

Field Stack
Design
FrameWork React Query Babel
호스팅 & GA
데이터 관리 Google Cloud Storage, Bigquery, FireStore
Dashboard Superset
Data Pipelines Apache Airflow
CI/CD GitHub Actions
Testing Jest
Cloud
Tools GitHub Notion Slack Canva

데이터 흐름

image

아키텍처

image

프로젝트 진행과정

1. 인포그래픽을 위한 웹 호스팅 ( link )

screencapture-strayanimal-web-app-2023年06月03日-14_04_00

2. 데이터 상태 분석을 위한 대시보드 구축

  1. 유기동물보호소 현황 대시보드 유기동물보호소-분석-2023年06月02日T13-14-03 747Z
  2. 유기동물 보호종료 현황 대시보드 유기동물-보호종료-상태-2023年06月02日T13-11-50 958Z

3. Airflow를 활용한 Pipelines 구축

4. Github Action CI/CD 구성

  • Dags.py 파일의 스타일 체크 및 서버 내 배포 자동화

  • Jest 및 테스팅 라이브러리를 활용한 React App Front 테스트 및 웹사이트 Build & Deploy

시연

1.인포그래픽을 위한 웹 호스팅

2023年06月03日.12.53.24.mov

2. 데이터 상태 분석을 위한 대시보드 구축

2023年06月03日.1.04.10.mov

Releases

No releases published

Packages

Contributors

AltStyle によって変換されたページ (->オリジナル) /