Commit 51206602 authored by Ines Filipa Fernandes Ramos's avatar Ines Filipa Fernandes Ramos
Browse files

commit

parent 58d93ec5
This diff is collapsed.
%% Cell type:markdown id: tags:
# Readout type selection
%% Cell type:code id: tags:
``` python
%matplotlib inline
%load_ext autoreload
%autoreload 2
%load_ext memory_profiler
```
%% Cell type:code id: tags:
``` python
import torch
import numpy as np
import matplotlib.pyplot as plt
from collections import OrderedDict
import neuralpredictors as neur
from neuralpredictors.data.datasets import StaticImageSet, FileTreeDataset
import MEI
import matplotlib as mpl
```
%% Output
The autoreload extension is already loaded. To reload it, use:
%reload_ext autoreload
%% Cell type:markdown id: tags:
# Build the dataloaders
%% Cell type:markdown id: tags:
The dataloaders object is a dictionary of 3 dictionaries: train, validation and test. Each of them contains the respective data from all datasets combined that were specified in paths. Here we only provide one dataset. While the responses are normalized, we exclude the input images from normalization. The following config was used in the paper (all arguments not in the config have the default value of the function).
%% Cell type:code id: tags:
``` python
#Use dataloaders with generated RGC data
from lurz2020.datasets.mouse_loaders import static_loaders
paths = ['D://inception_loop/RGC_sim/data/static27012021']
dataset_config = {'paths': paths,
'batch_size': 64,
'seed': 1,
'cuda': True,
'normalize': True,
'exclude': "images"}
dataloaders_RGCs = static_loaders(**dataset_config)
dat = FileTreeDataset('D://inception_loop/RGC_sim/data/static27012021', "images", "responses")
```
%% Cell type:markdown id: tags:
### Look at the data
%% Cell type:code id: tags:
``` python
tier = 'train'
dataset_name = '27012021'
images, responses = [], []
for x, y in dataloaders_RGCs[tier][dataset_name]:
images.append(x.squeeze().cpu().data.numpy())
responses.append(y.squeeze().cpu().data.numpy())
images = np.vstack(images)
responses = np.vstack(responses)
print('The \"{}\" set of dataset \"{}\" contains the responses of {} RGC neurons to {} images'.format(tier, dataset_name, responses.shape[1], responses.shape[0]))
```
%% Output
The "train" set of dataset "27012021" contains the responses of 2304 RGC neurons to 4472 images
%% Cell type:markdown id: tags:
# Build the model, transfer core, train and evaluate performance - 2 readouts
%% Cell type:markdown id: tags:
Build 4 instances of the model for two different readouts:
Build 4 instances of the model for three different readouts:
%% Cell type:markdown id: tags:
Fullgaussian readout:
%% Cell type:code id: tags:
``` python
%%time
%%memit
from lurz2020.models.models import se2d_fullgaussian2d
from lurz2020.training.trainers import standard_trainer as trainer
from lurz2020.utility.measures import get_correlations, get_fraction_oracles
#Generate 4 instances of the same model with different seeds, for MEI generation
n_seeds = 4
models = []
train_correlation_models = []
validation_correlation_models = []
test_correlation_models = []
fraction_oracle = []
#Model config
model_config = {'init_mu_range': 0.55,
'init_sigma': 0.4,
'input_kern': 15,
'hidden_kern': 13,
'gamma_input': 1.0,
'grid_mean_predictor': None,
'gamma_readout': 2.439}
#Change trainer config to not track and print the training progress
trainer_config = {'track_training': False,
'detach_core': True}
for i in range(n_seeds):
model = se2d_fullgaussian2d(**model_config, dataloaders=dataloaders_RGCs, seed=i)
#Load the weights of the transfer core
transfer_model = torch.load('D://inception_loop/original_code/Lurz_2020_code/notebooks/models/transfer_model.pth.tar')
model.load_state_dict(transfer_model, strict=False)
#Run training
score, output, model_state = trainer(model=model, dataloaders=dataloaders_RGCs, seed=1, **trainer_config)
#Get performance of model
train_correlation_models.append(get_correlations(model, dataloaders_RGCs["train"], device='cuda', as_dict=False, per_neuron=False))
validation_correlation_models.append(get_correlations(model, dataloaders_RGCs["validation"], device='cuda', as_dict=False, per_neuron=False))
test_correlation_models.append(get_correlations(model, dataloaders_RGCs["test"], device='cuda', as_dict=False, per_neuron=False))
oracle_dataloader = static_loaders(**dataset_config, return_test_sampler=True, tier='test')
fraction_oracle.append(get_fraction_oracles(model=model, dataloaders=oracle_dataloader, device='cuda')[0])
print('-----------------------------------------')
print(f'Model instance #{i}')
print('Correlation (train set): {0:.3f}'.format(train_correlation_models[i]))
print('Correlation (validation set): {0:.3f}'.format(validation_correlation_models[i]))
print('Correlation (test set): {0:.3f}'.format(test_correlation_models[i]))
print('-----------------------------------------')
print('Fraction oracle (test set): {0:.3f}'.format(fraction_oracle[i]))
models.append(model)
#Save model state for loading later
torch.save(model_state, 'D://inception_loop/RGC_sim/models/model_'+str(i)+'.pth')
```
%% Cell type:markdown id: tags:
Pointpooled readout:
%% Cell type:code id: tags:
``` python
%%time
%%memit
from lurz2020.models.models import se2d_pointpooled
from lurz2020.training.trainers import standard_trainer as trainer
from lurz2020.utility.measures import get_correlations, get_fraction_oracles
#Generate 4 instances of se2d_pointpooled model with MultiplePointPooled2d readout
n_seeds = 4
models = []
train_correlation_models = []
validation_correlation_models = []
test_correlation_models = []
fraction_oracle = []
#Model config
model_config = {'input_kern': 15,
'hidden_kern': 13,
'gamma_input': 1.0}
#Change trainer config to not track and print the training progress
trainer_config = {'track_training': False,
'detach_core': True}
for i in range(n_seeds):
model = se2d_pointpooled(**model_config, dataloaders=dataloaders_RGCs, seed=i)
#Load the weights of the transfer core
transfer_model = torch.load('D://inception_loop/original_code/Lurz_2020_code/notebooks/models/transfer_model.pth.tar')
model.load_state_dict(transfer_model, strict=False)
#Run training
score, output, model_state = trainer(model=model, dataloaders=dataloaders_RGCs, seed=1, **trainer_config)
#Get performance of model
train_correlation_models.append(get_correlations(model, dataloaders_RGCs["train"], device='cuda', as_dict=False, per_neuron=False))
validation_correlation_models.append(get_correlations(model, dataloaders_RGCs["validation"], device='cuda', as_dict=False, per_neuron=False))
test_correlation_models.append(get_correlations(model, dataloaders_RGCs["test"], device='cuda', as_dict=False, per_neuron=False))
oracle_dataloader = static_loaders(**dataset_config, return_test_sampler=True, tier='test')
fraction_oracle.append(get_fraction_oracles(model=model, dataloaders=oracle_dataloader, device='cuda')[0])
print('-----------------------------------------')
print(f'Model instance #{i}')
print('Correlation (train set): {0:.3f}'.format(train_correlation_models[i]))
print('Correlation (validation set): {0:.3f}'.format(validation_correlation_models[i]))
print('Correlation (test set): {0:.3f}'.format(test_correlation_models[i]))
print('-----------------------------------------')
print('Fraction oracle (test set): {0:.3f}'.format(fraction_oracle[i]))
models.append(model)
#Save model state for loading later
torch.save(model_state, 'D://inception_loop/RGC_sim/models/model_pointpolled_'+str(i)+'.pth')
```
%% Output
Epoch 1: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.31it/s]
[001|00/05] ---> 0.31596705317497253
Epoch 2: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.62it/s]
[002|00/05] ---> 0.3701816499233246
Epoch 3: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 21.88it/s]
[003|00/05] ---> 0.397255003452301
Epoch 4: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.02it/s]
[004|00/05] ---> 0.4192928969860077
Epoch 5: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 21.49it/s]
[005|00/05] ---> 0.43695342540740967
Epoch 6: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 20.85it/s]
[006|00/05] ---> 0.45080170035362244
Epoch 7: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 21.37it/s]
[007|00/05] ---> 0.4611394703388214
Epoch 8: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.34it/s]
[008|00/05] ---> 0.46653175354003906
Epoch 9: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 21.70it/s]
[009|00/05] ---> 0.47355830669403076
Epoch 10: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 21.97it/s]
[010|00/05] ---> 0.48479926586151123
Epoch 11: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.25it/s]
[011|00/05] ---> 0.4873672127723694
Epoch 12: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.04it/s]
[012|00/05] ---> 0.49114716053009033
Epoch 13: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.46it/s]
[013|00/05] ---> 0.49364525079727173
Epoch 14: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 21.93it/s]
[014|00/05] ---> 0.5013314485549927
Epoch 15: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.55it/s]
[015|01/05] -/-> 0.4988345503807068
Epoch 16: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.41it/s]
[016|01/05] ---> 0.5053495764732361
Epoch 17: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.88it/s]
[017|00/05] ---> 0.5121515989303589
Epoch 18: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.68it/s]
[018|00/05] ---> 0.5124585032463074
Epoch 19: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.85it/s]
[019|00/05] ---> 0.5132343769073486
Epoch 20: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.96it/s]
[020|00/05] ---> 0.5175447463989258
Epoch 21: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.55it/s]
[021|00/05] ---> 0.520513117313385
Epoch 22: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.76it/s]
[022|01/05] -/-> 0.519784688949585
Epoch 23: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 21.99it/s]
[023|01/05] ---> 0.5245683193206787
Epoch 24: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.25it/s]
[024|00/05] ---> 0.5279881954193115
Epoch 25: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 21.90it/s]
[025|01/05] -/-> 0.5237452387809753
Epoch 26: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.07it/s]
[026|01/05] ---> 0.5299716591835022
Epoch 27: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 21.19it/s]
[027|01/05] -/-> 0.5258557796478271
Epoch 28: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 21.77it/s]
[028|02/05] -/-> 0.5297213792800903
Epoch 29: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.62it/s]
[029|02/05] ---> 0.5354419350624084
Epoch 30: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.99it/s]
[030|01/05] -/-> 0.5344877243041992
Epoch 31: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.28it/s]
[031|02/05] -/-> 0.5316529870033264
Epoch 32: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 21.57it/s]
[032|02/05] ---> 0.5372717380523682
Epoch 33: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 20.67it/s]
[033|01/05] -/-> 0.5370762348175049
Epoch 34: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.38it/s]
[034|01/05] ---> 0.5429010391235352
Epoch 35: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.76it/s]
[035|01/05] -/-> 0.540207028388977
Epoch 36: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.84it/s]
[036|02/05] -/-> 0.5395277738571167
Epoch 37: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 21.73it/s]
[037|03/05] -/-> 0.5426127910614014
Epoch 38: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 20.81it/s]
[038|03/05] ---> 0.5451599955558777
Epoch 39: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 20.73it/s]
[039|00/05] ---> 0.545294463634491
Epoch 40: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 21.95it/s]
[040|00/05] ---> 0.5462480187416077
Epoch 41: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.33it/s]
[041|01/05] -/-> 0.545189619064331
Epoch 42: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 21.87it/s]
[042|02/05] -/-> 0.5448623299598694
Epoch 43: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.78it/s]
[043|02/05] ---> 0.5478488206863403
Epoch 44: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 23.04it/s]
[044|00/05] ---> 0.549245297908783
Epoch 45: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.56it/s]
[045|01/05] -/-> 0.548255205154419
Epoch 46: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 23.00it/s]
[046|02/05] -/-> 0.5453673601150513
Epoch 47: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.86it/s]
[047|03/05] -/-> 0.5473092794418335
Epoch 48: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.77it/s]
[048|03/05] ---> 0.5519846081733704
Epoch 49: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.58it/s]
[049|00/05] ---> 0.5531446933746338
Epoch 50: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.41it/s]
[050|01/05] -/-> 0.5503017902374268
Epoch 51: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.76it/s]
[051|01/05] ---> 0.553966224193573
Epoch 52: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.55it/s]
[052|01/05] -/-> 0.5533702373504639
Epoch 53: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.68it/s]
[053|02/05] -/-> 0.5489262342453003
Epoch 54: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.67it/s]
[054|02/05] ---> 0.5549523234367371
Epoch 55: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.76it/s]
[055|01/05] -/-> 0.5548321008682251
Epoch 56: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.77it/s]
[056|02/05] -/-> 0.5527984499931335
Epoch 57: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.59it/s]
[057|03/05] -/-> 0.5519384741783142
Epoch 58: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.62it/s]
[058|03/05] ---> 0.5565248131752014
Epoch 59: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.78it/s]
[059|01/05] -/-> 0.555729329586029
Epoch 60: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.87it/s]
[060|02/05] -/-> 0.5560612678527832
Epoch 61: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.73it/s]
[061|02/05] ---> 0.557127833366394
Epoch 62: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.78it/s]
[062|01/05] -/-> 0.5548262000083923
Epoch 63: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.60it/s]
[063|01/05] ---> 0.5605641007423401
Epoch 64: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.77it/s]
[064|01/05] -/-> 0.5600264072418213
Epoch 65: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.89it/s]
[065|02/05] -/-> 0.5563289523124695
Epoch 66: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.60it/s]
[066|03/05] -/-> 0.5558348894119263
Epoch 67: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.51it/s]
[067|04/05] -/-> 0.555180013179779
Epoch 68: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.47it/s]
[068|05/05] -/-> 0.5598666667938232
Epoch 69: 4%|████▍ | 3/70 [00:00<00:03, 21.94it/s]
Restoring best model after lr decay! 0.559867 ---> 0.560564
Epoch 69: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.84it/s]
[069|00/05] ---> 0.5624249577522278
Epoch 70: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.83it/s]
[070|01/05] -/-> 0.5587943196296692
Epoch 71: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.67it/s]
[071|02/05] -/-> 0.5590271353721619
Epoch 72: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.77it/s]
[072|03/05] -/-> 0.5588506460189819
Epoch 73: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.66it/s]
[073|04/05] -/-> 0.5582267045974731
Epoch 74: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.77it/s]
[074|05/05] -/-> 0.5596741437911987
Epoch 75: 4%|████▍ | 3/70 [00:00<00:03, 20.72it/s]
Restoring best model after lr decay! 0.559674 ---> 0.562425
Epoch 75: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.67it/s]
Epoch 75: reducing learning rate of group 0 to 1.5000e-03.
[075|01/05] -/-> 0.55733323097229
Epoch 76: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.58it/s]
[076|02/05] -/-> 0.5584429502487183
Epoch 77: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.03it/s]
[077|03/05] -/-> 0.5576579570770264
Epoch 78: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 21.75it/s]
[078|03/05] ---> 0.5640442967414856
Epoch 79: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.33it/s]
[079|01/05] -/-> 0.5630496144294739
Epoch 80: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.94it/s]
[080|02/05] -/-> 0.5618170499801636
Epoch 81: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.80it/s]
[081|03/05] -/-> 0.5613428950309753
Epoch 82: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.54it/s]
[082|04/05] -/-> 0.5622639060020447
Epoch 83: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.71it/s]
[083|05/05] -/-> 0.5610063076019287
Restoring best model after lr decay! 0.561006 ---> 0.564044
Restoring best model! 0.564044 ---> 0.564044
Returning only test sampler with repeats...
-----------------------------------------
Model instance #0
Correlation (train set): 0.660
Correlation (validation set): 0.564
Correlation (test set): 0.523
-----------------------------------------
Fraction oracle (test set): 0.554
Epoch 1: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.86it/s]
[001|00/05] ---> 0.31599265336990356
Epoch 2: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.50it/s]
[002|00/05] ---> 0.3688051998615265
Epoch 3: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.51it/s]
[003|00/05] ---> 0.39632076025009155
Epoch 4: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.62it/s]
[004|00/05] ---> 0.4194847345352173
Epoch 5: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.19it/s]
[005|00/05] ---> 0.43830880522727966
Epoch 6: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.48it/s]
[006|00/05] ---> 0.45275211334228516
Epoch 7: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 21.78it/s]
[007|00/05] ---> 0.4634132385253906
Epoch 8: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.48it/s]
[008|00/05] ---> 0.46842560172080994
Epoch 9: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.66it/s]
[009|00/05] ---> 0.4764060974121094
Epoch 10: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 21.62it/s]
[010|00/05] ---> 0.4875136613845825
Epoch 11: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.31it/s]
[011|00/05] ---> 0.49065718054771423
Epoch 12: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.29it/s]
[012|00/05] ---> 0.4937232434749603
Epoch 13: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.82it/s]
[013|00/05] ---> 0.4964829683303833
Epoch 14: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.31it/s]
[014|00/05] ---> 0.5034010410308838
Epoch 15: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.53it/s]
[015|01/05] -/-> 0.5004653334617615
Epoch 16: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.71it/s]
[016|01/05] ---> 0.5064867734909058
Epoch 17: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.74it/s]
[017|00/05] ---> 0.513583779335022
Epoch 18: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.79it/s]
[018|01/05] -/-> 0.513115644454956
Epoch 19: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.59it/s]
[019|01/05] ---> 0.5138700008392334
Epoch 20: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.47it/s]
[020|00/05] ---> 0.5179989337921143
Epoch 21: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.45it/s]
[021|00/05] ---> 0.5213601589202881
Epoch 22: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.71it/s]
[022|01/05] -/-> 0.5204182863235474
Epoch 23: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.72it/s]
[023|01/05] ---> 0.5248644351959229
Epoch 24: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.75it/s]
[024|00/05] ---> 0.528549313545227
Epoch 25: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.11it/s]
[025|01/05] -/-> 0.5245760679244995
Epoch 26: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.64it/s]
[026|01/05] ---> 0.530507504940033
Epoch 27: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.59it/s]
[027|01/05] -/-> 0.5265048146247864
Epoch 28: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.42it/s]
[028|02/05] -/-> 0.5301027894020081
Epoch 29: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.49it/s]
[029|02/05] ---> 0.536004364490509
Epoch 30: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.10it/s]
[030|01/05] -/-> 0.5349540114402771
Epoch 31: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 21.31it/s]
[031|02/05] -/-> 0.5319672226905823
Epoch 32: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 21.92it/s]
[032|02/05] ---> 0.5376968383789062
Epoch 33: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.22it/s]
[033|01/05] -/-> 0.537452757358551
Epoch 34: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.31it/s]
[034|01/05] ---> 0.5437313914299011
Epoch 35: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 21.36it/s]
[035|01/05] -/-> 0.5404865741729736
Epoch 36: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.11it/s]
[036|02/05] -/-> 0.5399609208106995
Epoch 37: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.32it/s]
[037|03/05] -/-> 0.543178915977478
Epoch 38: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 21.83it/s]
[038|03/05] ---> 0.5452511310577393
Epoch 39: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.06it/s]
[039|00/05] ---> 0.5452925562858582
Epoch 40: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 21.41it/s]
[040|00/05] ---> 0.5464770793914795
Epoch 41: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.66it/s]
[041|01/05] -/-> 0.5453797578811646
Epoch 42: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.64it/s]
[042|02/05] -/-> 0.5449379682540894
Epoch 43: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 21.47it/s]
[043|02/05] ---> 0.5478383898735046
Epoch 44: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.60it/s]
[044|00/05] ---> 0.5489730834960938
Epoch 45: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.49it/s]
[045|01/05] -/-> 0.5482428073883057
Epoch 46: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.65it/s]
[046|02/05] -/-> 0.5455906391143799
Epoch 47: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.80it/s]
[047|03/05] -/-> 0.5472308397293091
Epoch 48: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.48it/s]
[048|03/05] ---> 0.5521479845046997
Epoch 49: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.83it/s]
[049|00/05] ---> 0.5530394315719604
Epoch 50: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.58it/s]
[050|01/05] -/-> 0.5502648949623108
Epoch 51: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.73it/s]
[051|01/05] ---> 0.5537582039833069
Epoch 52: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.64it/s]
[052|01/05] -/-> 0.5530734658241272
Epoch 53: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.62it/s]
[053|02/05] -/-> 0.5488911867141724
Epoch 54: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.63it/s]
[054|02/05] ---> 0.5542722940444946
Epoch 55: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.72it/s]
[055|01/05] -/-> 0.5542545914649963
Epoch 56: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 21.78it/s]
[056|02/05] -/-> 0.5521668195724487
Epoch 57: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.07it/s]
[057|03/05] -/-> 0.5516796708106995
Epoch 58: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.38it/s]
[058|03/05] ---> 0.5554455518722534
Epoch 59: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 21.93it/s]
[059|01/05] -/-> 0.5552380681037903
Epoch 60: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.53it/s]
[060|02/05] -/-> 0.5547807812690735
Epoch 61: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.48it/s]
[061|02/05] ---> 0.5561742782592773
Epoch 62: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.56it/s]
[062|01/05] -/-> 0.5537874698638916
Epoch 63: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.56it/s]
[063|01/05] ---> 0.5592374801635742
Epoch 64: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 21.71it/s]
[064|01/05] -/-> 0.5587759017944336
Epoch 65: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.15it/s]
[065|02/05] -/-> 0.5548924207687378
Epoch 66: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.23it/s]
[066|03/05] -/-> 0.5545281767845154
Epoch 67: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.67it/s]
[067|04/05] -/-> 0.5538498759269714
Epoch 68: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.47it/s]
[068|05/05] -/-> 0.5580704212188721
Epoch 69: 4%|████▍ | 3/70 [00:00<00:03, 21.92it/s]
Restoring best model after lr decay! 0.558070 ---> 0.559237
Epoch 69: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.72it/s]
[069|00/05] ---> 0.5611914396286011
Epoch 70: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.62it/s]
[070|01/05] -/-> 0.5575761198997498
Epoch 71: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.47it/s]
[071|02/05] -/-> 0.5577783584594727
Epoch 72: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 21.60it/s]
[072|03/05] -/-> 0.5570786595344543
Epoch 73: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.73it/s]
[073|04/05] -/-> 0.5569741725921631
Epoch 74: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.71it/s]
[074|05/05] -/-> 0.558063805103302
Epoch 75: 4%|████▍ | 3/70 [00:00<00:03, 20.72it/s]
Restoring best model after lr decay! 0.558064 ---> 0.561191
Epoch 75: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.49it/s]
Epoch 75: reducing learning rate of group 0 to 1.5000e-03.
[075|01/05] -/-> 0.5560000538825989
Epoch 76: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.57it/s]
[076|02/05] -/-> 0.5570786595344543
Epoch 77: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.75it/s]
[077|03/05] -/-> 0.5562861561775208
Epoch 78: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 21.43it/s]
[078|03/05] ---> 0.5628682971000671
Epoch 79: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.79it/s]
[079|01/05] -/-> 0.561638593673706
Epoch 80: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.15it/s]
[080|02/05] -/-> 0.5604145526885986
Epoch 81: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.59it/s]
[081|03/05] -/-> 0.5598199963569641
Epoch 82: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.45it/s]
[082|04/05] -/-> 0.5606979131698608
Epoch 83: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.67it/s]
[083|05/05] -/-> 0.5596038103103638
Restoring best model after lr decay! 0.559604 ---> 0.562868
Restoring best model! 0.562868 ---> 0.562868
Returning only test sampler with repeats...
-----------------------------------------
Model instance #1
Correlation (train set): 0.660
Correlation (validation set): 0.563
Correlation (test set): 0.521
-----------------------------------------
Fraction oracle (test set): 0.551
Epoch 1: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 21.54it/s]
[001|00/05] ---> 0.31382372975349426
Epoch 2: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 21.35it/s]
[002|00/05] ---> 0.3658769726753235
Epoch 3: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.50it/s]
[003|00/05] ---> 0.3913358151912689
Epoch 4: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.60it/s]
[004|00/05] ---> 0.4132932126522064
Epoch 5: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.61it/s]
[005|00/05] ---> 0.4316699802875519
Epoch 6: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 21.04it/s]
[006|00/05] ---> 0.4458843767642975
Epoch 7: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.78it/s]
[007|00/05] ---> 0.4561191201210022
Epoch 8: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.46it/s]
[008|00/05] ---> 0.4620494842529297
Epoch 9: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.51it/s]
[009|00/05] ---> 0.46950381994247437
Epoch 10: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 21.10it/s]
[010|00/05] ---> 0.480639785528183
Epoch 11: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 21.03it/s]
[011|00/05] ---> 0.48325932025909424
Epoch 12: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 21.63it/s]
[012|00/05] ---> 0.4864584505558014
Epoch 13: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 21.56it/s]
[013|00/05] ---> 0.48863208293914795
Epoch 14: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 21.04it/s]
[014|00/05] ---> 0.4954744875431061
Epoch 15: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 21.19it/s]
[015|01/05] -/-> 0.4930541217327118
Epoch 16: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 21.33it/s]
[016|01/05] ---> 0.4989352226257324
Epoch 17: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 20.88it/s]
[017|00/05] ---> 0.5053133964538574
Epoch 18: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 21.73it/s]
[018|00/05] ---> 0.5056929588317871
Epoch 19: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.06it/s]
[019|00/05] ---> 0.5063366293907166
Epoch 20: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 21.97it/s]
[020|00/05] ---> 0.5101443529129028
Epoch 21: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 21.21it/s]
[021|00/05] ---> 0.5137195587158203
Epoch 22: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 20.81it/s]
[022|01/05] -/-> 0.51304692029953
Epoch 23: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 20.33it/s]
[023|01/05] ---> 0.5175846815109253
Epoch 24: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 19.87it/s]
[024|00/05] ---> 0.5208643674850464
Epoch 25: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 21.05it/s]
[025|01/05] -/-> 0.5173982381820679
Epoch 26: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 20.09it/s]
[026|01/05] ---> 0.5231825709342957
Epoch 27: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 21.71it/s]
[027|01/05] -/-> 0.5193963646888733
Epoch 28: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.39it/s]
[028|02/05] -/-> 0.5226719379425049
Epoch 29: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.34it/s]
[029|02/05] ---> 0.5285379886627197
Epoch 30: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.13it/s]
[030|01/05] -/-> 0.5276507139205933
Epoch 31: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.37it/s]
[031|02/05] -/-> 0.5253480076789856
Epoch 32: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.71it/s]
[032|02/05] ---> 0.5305173397064209
Epoch 33: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.35it/s]
[033|01/05] -/-> 0.5304378867149353
Epoch 34: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.52it/s]
[034|01/05] ---> 0.5365386605262756
Epoch 35: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 21.61it/s]
[035|01/05] -/-> 0.5334693193435669
Epoch 36: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 21.79it/s]
[036|02/05] -/-> 0.5336281657218933
Epoch 37: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.20it/s]
[037|02/05] ---> 0.5366120934486389
Epoch 38: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 21.67it/s]
[038|00/05] ---> 0.538712739944458
Epoch 39: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.46it/s]
[039|00/05] ---> 0.5390538573265076
Epoch 40: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.58it/s]
[040|00/05] ---> 0.5402256846427917
Epoch 41: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.24it/s]
[041|01/05] -/-> 0.5392121076583862
Epoch 42: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.00it/s]
[042|02/05] -/-> 0.5388476252555847
Epoch 43: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.61it/s]
[043|02/05] ---> 0.5416998267173767
Epoch 44: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.42it/s]
[044|00/05] ---> 0.5430880784988403
Epoch 45: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.58it/s]
[045|01/05] -/-> 0.5424523949623108
Epoch 46: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.44it/s]
[046|02/05] -/-> 0.5400370955467224
Epoch 47: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.39it/s]
[047|03/05] -/-> 0.5414343476295471
Epoch 48: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.29it/s]
[048|03/05] ---> 0.5463657379150391
Epoch 49: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.36it/s]
[049|00/05] ---> 0.5475565791130066
Epoch 50: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.16it/s]
[050|01/05] -/-> 0.5454161763191223
Epoch 51: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.32it/s]
[051|01/05] ---> 0.5485804080963135
Epoch 52: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.37it/s]
[052|01/05] -/-> 0.5474023818969727
Epoch 53: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.48it/s]
[053|02/05] -/-> 0.5437082648277283
Epoch 54: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.44it/s]
[054|02/05] ---> 0.5490397214889526
Epoch 55: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.45it/s]
[055|00/05] ---> 0.5491740703582764
Epoch 56: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.66it/s]
[056|01/05] -/-> 0.547609269618988
Epoch 57: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.25it/s]
[057|02/05] -/-> 0.546737790107727
Epoch 58: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.31it/s]
[058|02/05] ---> 0.5510812401771545
Epoch 59: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.42it/s]
[059|01/05] -/-> 0.5504233837127686
Epoch 60: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.81it/s]
[060|02/05] -/-> 0.5503504872322083
Epoch 61: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 21.92it/s]
[061|02/05] ---> 0.5513860583305359
Epoch 62: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.50it/s]
[062|01/05] -/-> 0.5493676662445068
Epoch 63: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.19it/s]
[063|01/05] ---> 0.5550252795219421
Epoch 64: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.39it/s]
[064|01/05] -/-> 0.5544896721839905
Epoch 65: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.25it/s]
[065|02/05] -/-> 0.5501683354377747
Epoch 66: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.34it/s]
[066|03/05] -/-> 0.5503311157226562
Epoch 67: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.41it/s]
[067|04/05] -/-> 0.5496361255645752
Epoch 68: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.56it/s]
[068|05/05] -/-> 0.5543162226676941
Epoch 69: 4%|████▍ | 3/70 [00:00<00:03, 20.72it/s]
Restoring best model after lr decay! 0.554316 ---> 0.555025
Epoch 69: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.44it/s]
[069|00/05] ---> 0.5562983155250549
Epoch 70: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.34it/s]
[070|01/05] -/-> 0.5531426668167114
Epoch 71: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.63it/s]
[071|02/05] -/-> 0.5532844662666321
Epoch 72: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.55it/s]
[072|03/05] -/-> 0.5531252026557922
Epoch 73: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.46it/s]
[073|04/05] -/-> 0.5524880886077881
Epoch 74: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.57it/s]
[074|05/05] -/-> 0.5538745522499084
Epoch 75: 4%|████▍ | 3/70 [00:00<00:03, 20.73it/s]
Restoring best model after lr decay! 0.553875 ---> 0.556298
Epoch 75: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.59it/s]
Epoch 75: reducing learning rate of group 0 to 1.5000e-03.
[075|01/05] -/-> 0.5518723130226135
Epoch 76: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.56it/s]
[076|02/05] -/-> 0.5528456568717957
Epoch 77: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.63it/s]
[077|03/05] -/-> 0.5519082546234131
Epoch 78: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.66it/s]
[078|03/05] ---> 0.5583017468452454
Epoch 79: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.13it/s]
[079|01/05] -/-> 0.557372510433197
Epoch 80: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.63it/s]
[080|02/05] -/-> 0.5559537410736084
Epoch 81: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.57it/s]
[081|03/05] -/-> 0.5556277632713318
Epoch 82: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.44it/s]
[082|04/05] -/-> 0.5563450455665588
Epoch 83: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.43it/s]
[083|05/05] -/-> 0.5554296970367432
Restoring best model after lr decay! 0.555430 ---> 0.558302
Restoring best model! 0.558302 ---> 0.558302
Returning only test sampler with repeats...
-----------------------------------------
Model instance #2
Correlation (train set): 0.656
Correlation (validation set): 0.558
Correlation (test set): 0.519
-----------------------------------------
Fraction oracle (test set): 0.549
Epoch 1: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.56it/s]
[001|00/05] ---> 0.316947877407074
Epoch 2: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.05it/s]
[002|00/05] ---> 0.36843010783195496
Epoch 3: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.74it/s]
[003|00/05] ---> 0.3943207263946533
Epoch 4: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.58it/s]
[004|00/05] ---> 0.415486216545105
Epoch 5: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.54it/s]
[005|00/05] ---> 0.4336957335472107
Epoch 6: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.52it/s]
[006|00/05] ---> 0.44735705852508545
Epoch 7: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.52it/s]
[007|00/05] ---> 0.4583563804626465
Epoch 8: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.62it/s]
[008|00/05] ---> 0.4639243483543396
Epoch 9: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.50it/s]
[009|00/05] ---> 0.47104665637016296
Epoch 10: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.23it/s]
[010|00/05] ---> 0.48264747858047485
Epoch 11: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.25it/s]
[011|00/05] ---> 0.4855917692184448
Epoch 12: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.62it/s]
[012|00/05] ---> 0.48929011821746826
Epoch 13: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.63it/s]
[013|00/05] ---> 0.49249595403671265
Epoch 14: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.47it/s]
[014|00/05] ---> 0.4995962679386139
Epoch 15: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.38it/s]
[015|01/05] -/-> 0.49750030040740967
Epoch 16: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.48it/s]
[016|01/05] ---> 0.5035349726676941
Epoch 17: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.41it/s]
[017|00/05] ---> 0.5097863674163818
Epoch 18: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.45it/s]
[018|00/05] ---> 0.5102384090423584
Epoch 19: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.77it/s]
[019|00/05] ---> 0.5109509229660034
Epoch 20: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.56it/s]
[020|00/05] ---> 0.5150331854820251
Epoch 21: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.68it/s]
[021|00/05] ---> 0.5181809663772583
Epoch 22: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.37it/s]
[022|01/05] -/-> 0.517400860786438
Epoch 23: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.65it/s]
[023|01/05] ---> 0.5218752026557922
Epoch 24: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.57it/s]
[024|00/05] ---> 0.5256636738777161
Epoch 25: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.67it/s]
[025|01/05] -/-> 0.5219982862472534
Epoch 26: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.43it/s]
[026|01/05] ---> 0.5281880497932434
Epoch 27: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 21.59it/s]
[027|01/05] -/-> 0.5237913131713867
Epoch 28: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.55it/s]
[028|02/05] -/-> 0.5273858308792114
Epoch 29: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.35it/s]
[029|02/05] ---> 0.5333794951438904
Epoch 30: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.53it/s]
[030|01/05] -/-> 0.5320026874542236
Epoch 31: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.64it/s]
[031|02/05] -/-> 0.5299417972564697
Epoch 32: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.14it/s]
[032|02/05] ---> 0.5351235866546631
Epoch 33: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.30it/s]
[033|01/05] -/-> 0.535069465637207
Epoch 34: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.40it/s]
[034|01/05] ---> 0.5412618517875671
Epoch 35: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.48it/s]
[035|01/05] -/-> 0.5380373001098633
Epoch 36: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.39it/s]
[036|02/05] -/-> 0.5378018021583557
Epoch 37: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.35it/s]
[037|03/05] -/-> 0.540836751461029
Epoch 38: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.57it/s]
[038|03/05] ---> 0.5429170727729797
Epoch 39: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.67it/s]
[039|00/05] ---> 0.5434161424636841
Epoch 40: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.70it/s]
[040|00/05] ---> 0.5442593097686768
Epoch 41: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.43it/s]
[041|01/05] -/-> 0.5433218479156494
Epoch 42: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.55it/s]
[042|02/05] -/-> 0.5428548455238342
Epoch 43: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.57it/s]
[043|02/05] ---> 0.5456850528717041
Epoch 44: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.19it/s]
[044|00/05] ---> 0.5469517111778259
Epoch 45: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.61it/s]
[045|01/05] -/-> 0.5461071729660034
Epoch 46: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.46it/s]
[046|02/05] -/-> 0.5433683395385742
Epoch 47: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.66it/s]
[047|03/05] -/-> 0.5452113747596741
Epoch 48: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.53it/s]
[048|03/05] ---> 0.549980103969574
Epoch 49: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.69it/s]
[049|00/05] ---> 0.5508711338043213
Epoch 50: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.41it/s]
[050|01/05] -/-> 0.5484703779220581
Epoch 51: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.45it/s]
[051|01/05] ---> 0.5514360070228577
Epoch 52: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.47it/s]
[052|01/05] -/-> 0.5506267547607422
Epoch 53: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.66it/s]
[053|02/05] -/-> 0.5464022755622864
Epoch 54: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.60it/s]
[054|02/05] ---> 0.5519468784332275
Epoch 55: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.70it/s]
[055|01/05] -/-> 0.5518157482147217
Epoch 56: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.44it/s]
[056|02/05] -/-> 0.5498558282852173
Epoch 57: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.57it/s]
[057|03/05] -/-> 0.5492787957191467
Epoch 58: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.57it/s]
[058|03/05] ---> 0.553521990776062
Epoch 59: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.47it/s]
[059|01/05] -/-> 0.5531035661697388
Epoch 60: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.58it/s]
[060|02/05] -/-> 0.5529387593269348
Epoch 61: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 21.89it/s]
[061|02/05] ---> 0.5541336536407471
Epoch 62: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.60it/s]
[062|01/05] -/-> 0.5516228079795837
Epoch 63: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.72it/s]
[063|01/05] ---> 0.5570197701454163
Epoch 64: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.63it/s]
[064|01/05] -/-> 0.5567896366119385
Epoch 65: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.40it/s]
[065|02/05] -/-> 0.5529335737228394
Epoch 66: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.39it/s]
[066|03/05] -/-> 0.5522839426994324
Epoch 67: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.45it/s]
[067|04/05] -/-> 0.5521835684776306
Epoch 68: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.52it/s]
[068|05/05] -/-> 0.5566929578781128
Epoch 69: 4%|████▍ | 3/70 [00:00<00:03, 20.72it/s]
Restoring best model after lr decay! 0.556693 ---> 0.557020
Epoch 69: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.46it/s]
[069|00/05] ---> 0.5588293075561523
Epoch 70: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.59it/s]
[070|01/05] -/-> 0.5552618503570557
Epoch 71: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.38it/s]
[071|02/05] -/-> 0.5556955337524414
Epoch 72: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.26it/s]
[072|03/05] -/-> 0.5555790066719055
Epoch 73: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.62it/s]
[073|04/05] -/-> 0.5549357533454895
Epoch 74: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.33it/s]
[074|05/05] -/-> 0.5561890006065369
Epoch 75: 4%|████▍ | 3/70 [00:00<00:03, 20.72it/s]
Restoring best model after lr decay! 0.556189 ---> 0.558829
Epoch 75: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.30it/s]
Epoch 75: reducing learning rate of group 0 to 1.5000e-03.
[075|01/05] -/-> 0.5542195439338684
Epoch 76: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.64it/s]
[076|02/05] -/-> 0.5553135871887207
Epoch 77: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.62it/s]
[077|03/05] -/-> 0.5543952584266663
Epoch 78: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.34it/s]
[078|03/05] ---> 0.5606104731559753
Epoch 79: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.37it/s]
[079|01/05] -/-> 0.5597031712532043
Epoch 80: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.43it/s]
[080|02/05] -/-> 0.558577299118042
Epoch 81: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.52it/s]
[081|03/05] -/-> 0.5580742359161377
Epoch 82: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.60it/s]
[082|04/05] -/-> 0.5586044788360596
Epoch 83: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 22.36it/s]
[083|05/05] -/-> 0.557852029800415
Restoring best model after lr decay! 0.557852 ---> 0.560610
Restoring best model! 0.560610 ---> 0.560610
Returning only test sampler with repeats...
-----------------------------------------
Model instance #3
Correlation (train set): 0.658
Correlation (validation set): 0.561
Correlation (test set): 0.522
-----------------------------------------
Fraction oracle (test set): 0.553
peak memory: 2198.74 MiB, increment: 184.75 MiB
Wall time: 20min 26s
%% Cell type:markdown id: tags:
FullSXF readout:
%% Cell type:code id: tags:
``` python
%%time
%%memit
from lurz2020.models.models import se2d_fullSXF
from lurz2020.training.trainers import standard_trainer as trainer
from lurz2020.utility.measures import get_correlations, get_fraction_oracles
#Generate 4 instances of se2d_fullSXF model with MultipleFullSXF readout
n_seeds = 4
models = []
train_correlation_models = []
validation_correlation_models = []
test_correlation_models = []
fraction_oracle = []
#Model config
model_config = {'input_kern': 15,
'hidden_kern': 13,
'gamma_input': 1.0}
#Change trainer config to not track and print the training progress
trainer_config = {'track_training': False,
'detach_core': True}
for i in range(n_seeds):
model = se2d_fullSXF(**model_config,dataloaders=dataloaders_RGCs, seed=i)
#Load the weights of the transfer core
transfer_model = torch.load('D://inception_loop/original_code/Lurz_2020_code/notebooks/models/transfer_model.pth.tar')
model.load_state_dict(transfer_model, strict=False)
#Run training
score, output, model_state = trainer(model=model, dataloaders=dataloaders_RGCs, seed=1, **trainer_config)
#Get performance of model
train_correlation_models.append(get_correlations(model, dataloaders_RGCs["train"], device='cuda', as_dict=False, per_neuron=False))
validation_correlation_models.append(get_correlations(model, dataloaders_RGCs["validation"], device='cuda', as_dict=False, per_neuron=False))
test_correlation_models.append(get_correlations(model, dataloaders_RGCs["test"], device='cuda', as_dict=False, per_neuron=False))
oracle_dataloader = static_loaders(**dataset_config, return_test_sampler=True, tier='test')
fraction_oracle.append(get_fraction_oracles(model=model, dataloaders=oracle_dataloader, device='cuda')[0])
print('-----------------------------------------')
print(f'Model instance #{i}')
print('Correlation (train set): {0:.3f}'.format(train_correlation_models[i]))
print('Correlation (validation set): {0:.3f}'.format(validation_correlation_models[i]))
print('Correlation (test set): {0:.3f}'.format(test_correlation_models[i]))
print('-----------------------------------------')
print('Fraction oracle (test set): {0:.3f}'.format(fraction_oracle[i]))
models.append(model)
#Save model state for loading later
torch.save(model_state, 'D://inception_loop/RGC_sim/models/model_fullSXF_'+str(i)+'.pth')
```
%% Output
Epoch 1: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:02<00:00, 23.41it/s]
[001|00/05] ---> 0.25083085894584656
Epoch 2: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 23.26it/s]
[002|00/05] ---> 0.3035241365432739
Epoch 3: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:02<00:00, 24.72it/s]
[003|00/05] ---> 0.3305392861366272
Epoch 4: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:02<00:00, 24.51it/s]
[004|00/05] ---> 0.3484976589679718
Epoch 5: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:02<00:00, 24.46it/s]
[005|00/05] ---> 0.35578691959381104
Epoch 6: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:02<00:00, 23.45it/s]
[006|00/05] ---> 0.35798078775405884
Epoch 7: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:03<00:00, 23.14it/s]
[007|00/05] ---> 0.3581838607788086
Epoch 8: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:02<00:00, 23.68it/s]
[008|01/05] -/-> 0.3524761497974396
Epoch 9: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:02<00:00, 25.87it/s]
[009|02/05] -/-> 0.3510945737361908
Epoch 10: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:02<00:00, 25.94it/s]
[010|03/05] -/-> 0.3524164855480194
Epoch 11: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:02<00:00, 25.28it/s]
[011|04/05] -/-> 0.3484230637550354
Epoch 12: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:02<00:00, 25.95it/s]
[012|05/05] -/-> 0.349010705947876
Epoch 13: 4%|████▍ | 3/70 [00:00<00:02, 23.31it/s]
Restoring best model after lr decay! 0.349011 ---> 0.358184
Epoch 13: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:02<00:00, 25.84it/s]
Epoch 13: reducing learning rate of group 0 to 1.5000e-03.
[013|01/05] -/-> 0.3564111888408661
Epoch 14: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:02<00:00, 24.76it/s]
[014|02/05] -/-> 0.35407009720802307
Epoch 15: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:02<00:00, 25.67it/s]
[015|03/05] -/-> 0.3520773649215698
Epoch 16: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:02<00:00, 25.18it/s]
[016|04/05] -/-> 0.35504093766212463
Epoch 17: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:02<00:00, 24.91it/s]
[017|05/05] -/-> 0.35342705249786377
Epoch 18: 4%|████▍ | 3/70 [00:00<00:02, 23.96it/s]
Restoring best model after lr decay! 0.353427 ---> 0.358184
Epoch 18: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:02<00:00, 25.66it/s]
[018|01/05] -/-> 0.3565855324268341
Epoch 19: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:02<00:00, 23.93it/s]
Epoch 19: reducing learning rate of group 0 to 4.5000e-04.
[019|02/05] -/-> 0.3535369634628296
Epoch 20: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:02<00:00, 25.06it/s]
[020|03/05] -/-> 0.3543034791946411
Epoch 21: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:02<00:00, 24.93it/s]
[021|04/05] -/-> 0.35362643003463745
Epoch 22: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:02<00:00, 25.33it/s]
[022|05/05] -/-> 0.35230758786201477
Restoring best model after lr decay! 0.352308 ---> 0.358184
Restoring best model! 0.358184 ---> 0.358184
Returning only test sampler with repeats...
d:\inception_loop\original_code\lurz_2020_code\lurz2020\utility\measures.py:154: VisibleDeprecationWarning: Creating an ndarray from ragged nested sequences (which is a list-or-tuple of lists-or-tuples-or ndarrays with different lengths or shapes) is deprecated. If you meant to do this, you must specify 'dtype=object' when creating the ndarray
return np.array(repeated_inputs), np.array(repeated_outputs)
d:\inception_loop\original_code\lurz_2020_code\lurz2020\utility\measures.py:239: FutureWarning: `rcond` parameter will change to the default of machine precision times ``max(M, N)`` where M and N are the input matrix dimensions.
To use the future default and silence this warning we advise to pass `rcond=None`, to keep using the old, explicitly pass `rcond=-1`.
oracle_performance, _, _, _ = np.linalg.lstsq(np.hstack(oracles)[:, np.newaxis], np.hstack(test_correlation))
-----------------------------------------
Model instance #0
Correlation (train set): 0.379
Correlation (validation set): 0.358
Correlation (test set): 0.321
-----------------------------------------
Fraction oracle (test set): 0.338
Epoch 1: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:02<00:00, 25.54it/s]
[001|00/05] ---> 0.24999576807022095
Epoch 2: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:02<00:00, 25.97it/s]
[002|00/05] ---> 0.30105793476104736
Epoch 3: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████| 70/70 [00:02<00:00, 25.45it/s]
[003|00/05] ---> 0.32745230197906494