Skip to content

Navigation Menu

Sign in
Appearance settings

Search code, repositories, users, issues, pull requests...

Provide feedback

We read every piece of feedback, and take your input very seriously.

Saved searches

Use saved searches to filter your results more quickly

Sign up
Appearance settings

ClustProject/KUDataMultitasklearning

Repository files navigation

Time Series Multi-task learning

1. Without data representation

  • 원본 시계열 데이터를 입력으로 활용하여 학습 (single 모델로 사전학습 → multi-task learning으로 미세조정)

    (1) regression: single regression 모델로 사전학습 후, multitask-Learning 모델로 미세조정 수행

    (2) classificaiton: single classification 단일 모델로 사전학습 후, (regression+classification) 모델로 미세조정 수행

    (3) multi-task learning: 동일한 backbone 구조에 classification head 및 regression head를 추가하여 2개의 task를 동시에 학습

  • 입력 데이터 형태 : (num_of_instance, input_dims, time_steps) 차원의 시계열 데이터

[Hyperparmeter for single regression or classification (LSTM & GRU)]

  • model : 모델명 (LSTM or GRU)
  • best_model_path : 학습 완료된 모델을 저장할 경로
  • input_size : 데이터의 변수 개수, int
  • num_classes : 분류할 class 개수, int
  • num_layers : recurrent layers의 수, int(default: 2, 범위: 1 이상)
  • hidden_size : hidden state의 차원, int(default: 64, 범위: 1 이상)
  • dropout : dropout 확률, float(default: 0.1, 범위: 0 이상 1 이하)
  • bidirectional : 모델의 양방향성 여부, bool(default: True)
  • num_epochs : 학습 epoch 횟수, int(default: 1000, 범위: 1 이상)
  • batch_size : batch 크기, int(default: 16, 범위: 1 이상, 컴퓨터 사양에 적합하게 설정)
  • lr : learning rate, float(default: 0.0001, 범위: 0.1 이하)
  • device : 학습 환경, (default: 'cuda', ['cuda', 'cpu'] 중 선택)

[Hyperparmeter for single regression or classification (1D CNN)]

  • model : 모델명 (1D CNN)
  • best_model_path : 학습 완료된 모델을 저장할 경로
  • input_size : 데이터의 변수 개수, int
  • num_classes : 분류할 class 개수, int
  • seq_len : 데이터의 시간 길이, int
  • output_channels : convolution layer의 output channel, int(default: 64, 범위: 1 이상, 2의 지수로 설정 권장)
  • kernel_size : convolutional layer의 filter 크기, int(default: 3, 범위: 3 이상, 홀수로 설정 권장)
  • stride : convolution layer의 stride 크기, int(default: 1, 범위: 1 이상)
  • padding : padding 크기, int(default: 0, 범위: 0 이상)
  • dropout : dropout 확률, float(default: 0.1, 범위: 0 이상 1 이하)
  • num_epochs : 학습 epoch 횟수, int(default: 1000, 범위: 1 이상)
  • batch_size : batch 크기, int(default: 16, 범위: 1 이상, 컴퓨터 사양에 적합하게 설정)
  • lr : learning rate, float(default: 0.0001, 범위: 0.1 이하)
  • device : 학습 환경, (default: 'cuda', ['cuda', 'cpu'] 중 선택)

[Hyperparmeter for single regression or classification (LSTM_FCNs_reg & LSTM_FCNs_cls)]

  • input_size : 데이터의 변수 개수, int
  • num_classes : 분류할 class 개수 (regression이면 1로 지정), int
  • num_layers : recurrent layers의 수, int(default: 2, 범위: 1 이상)
  • lstm_drop_out : LSTM dropout 확률, float(default: 0.1, 범위: 0 이상 1 이하)
  • fc_drop_out : FC dropout 확률, float(default: 0.1, 범위: 0 이상 1 이하)
  • num_epochs : 학습 epoch 횟수, int(default: 1000, 범위: 1 이상)
  • batch_size : batch 크기, int(default: 16, 범위: 1 이상, 컴퓨터 사양에 적합하게 설정)
  • lr : learning rate, float(default: 0.0001, 범위: 0.1 이하)
  • device : 학습 환경, (default: 'cuda', ['cuda', 'cpu'] 중 선택)
  • freeze : fc layer 를 제외한 layer 의 학습 여부 (default: False)

[Hyperparmeter for multitask-learning (LSTM_FCNs_multi)]

  • model : 모델명 (LSTM_FCNs_multi)
  • best_model_path : 학습 완료된 모델을 저장할 경로
  • input_size : 데이터의 변수 개수, int
  • num_classes_1 : Task1의 class 개수, int
  • num_classes_2 : Task2의 class 개수 (regression이면 1개), int
  • num_layers : recurrent layers의 수, int(default: 1, 범위: 1 이상)
  • lstm_drop_out : LSTM dropout 확률, float(default: 0.4, 범위: 0 이상 1 이하)
  • fc_drop_out : FC dropout 확률, float(default: 0.1, 범위: 0 이상 1 이하)
  • num_epochs : 학습 epoch 횟수, int(default: 150, 범위: 1 이상)
  • batch_size : batch 크기, int(default: 64, 범위: 1 이상, 컴퓨터 사양에 적합하게 설정)
  • lr : learning rate, float(default: 0.0001, 범위: 0.1 이하)
  • device : 학습 환경, (default: 'cuda', ['cuda', 'cpu'] 중 선택)
  • freeze : fc layer 를 제외한 layer 의 학습 여부 (default: False)
  • alpha : Task1의 반영 비율 (default: 0.5 (범위: [0, 1]))

2. With data representation

  • 원본 시계열 데이터를 representation vector로 변환한 데이터를 입력으로 활용하여 학습

  • 동일한 Backbone 구조에 Classification 및 Regression Head를 추가하여 2개의 Task를 동시에 학습

  • 입력 데이터 형태 : (num_of_instance, embedding_dim) 차원의 시계열 데이터

[Hyperparmeter for FC]

  • model : 모델명 (FC)
  • best_model_path : 학습 완료된 모델을 저장할 경로
  • 시계열 모델 hyperparameter : 아래에 자세히 설명.
  • input_size : 데이터의 변수 개수, int
  • num_classes : 분류할 class 개수, int
  • dropout : dropout 확률, float(default: 0.1, 범위: 0 이상 1 이하)
  • bias : bias 사용 여부, bool(default: True)
  • num_epochs : 학습 epoch 횟수, int(default: 1000, 범위: 1 이상)
  • batch_size : batch 크기, int(default: 16, 범위: 1 이상, 컴퓨터 사양에 적합하게 설정)
  • lr : learning rate, float(default: 0.0001, 범위: 0.1 이하)
  • device : 학습 환경, (default: 'cuda', ['cuda', 'cpu'] 중 선택)

About

No description, website, or topics provided.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Contributors 2

AltStyle によって変換されたページ (->オリジナル) /