Как сделать вывод XGBoost без библиотеки XGBoost?
У меня есть модель двоичного классификатора XGBoost, обученная на Python.
Я хотел бы получить выходные данные из этой модели для новых входных данных, в другой среде сценариев (MQL4), используя чисто математические операции и без использования библиотеки XGBoost (.predict).
Кто-нибудь может помочь с формулой и / или алгоритмом?
Решение
После некоторого реверс-инжиниринга я узнал как; как только модель обучена, сначала поместите вашу модель в текстовый файл:
num_round = 3
bst = xgb.train( param, dtrain, num_round, watchlist )
bst.dump_model('D:/Python/classifyproduct.raw.txt')
Затем для каждого усилителя найдите листовые вероятности для входного набора функций. Суммируйте все эти вероятности и в нашем случае добавьте в двоичную логистическую функцию:
1/(1+exp(-sum))
Это выходная вероятность обученной модели xgboost для заданного входного набора функций. Что касается примера, мой пример дампа с 2 входными (a и b) текстовым файлом был:
booster[0]:
0:[b<-1] yes=1,no=2,missing=1
1:[a<0] yes=3,no=4,missing=3
3:[a<-2] yes=7,no=8,missing=7
7:leaf=0.522581
8:[b<-3] yes=13,no=14,missing=13
13:leaf=0.428571
14:leaf=-0.333333
4:leaf=-0.54
2:[a<2] yes=5,no=6,missing=5
5:[a<-8] yes=9,no=10,missing=9
9:leaf=-0.12
10:leaf=-0.56129
6:[b<2] yes=11,no=12,missing=11
11:leaf=-0.495652
12:[a<4] yes=15,no=16,missing=15
15:[b<7] yes=17,no=18,missing=17
17:leaf=-0.333333
18:leaf=0.333333
16:leaf=0.456
booster[1]:
0:[b<-1] yes=1,no=2,missing=1
1:[a<0] yes=3,no=4,missing=3
3:[b<-3] yes=7,no=8,missing=7
7:leaf=0.418665
8:[a<-3] yes=13,no=14,missing=13
13:leaf=0.334676
14:leaf=-0.282568
4:leaf=-0.424174
2:[a<2] yes=5,no=6,missing=5
5:[b<0] yes=9,no=10,missing=9
9:leaf=-0.048659
10:leaf=-0.445149
6:[b<2] yes=11,no=12,missing=11
11:leaf=-0.394495
12:[a<5] yes=15,no=16,missing=15
15:[b<7] yes=17,no=18,missing=17
17:leaf=-0.330064
18:leaf=0.333063
16:leaf=0.392826
booster[2]:
0:[b<-1] yes=1,no=2,missing=1
1:[a<0] yes=3,no=4,missing=3
3:[b<-3] yes=7,no=8,missing=7
7:leaf=0.356906
8:[a<-3] yes=13,no=14,missing=13
13:leaf=0.289085
14:leaf=-0.245992
4:leaf=-0.363819
2:[a<4] yes=5,no=6,missing=5
5:[a<2] yes=9,no=10,missing=9
9:[b<0] yes=15,no=16,missing=15
15:leaf=-0.0403689
16:leaf=-0.381402
10:[b<7] yes=17,no=18,missing=17
17:leaf=-0.307704
18:leaf=0.239974
6:[b<2] yes=11,no=12,missing=11
11:leaf=-0.308265
12:leaf=0.302142
У меня есть 2 функции в качестве входов. Допустим, у нас есть [4, 9] в качестве входных данных. Мы можем рассчитать бустерные вероятности как:
booster0 : 0.456
booster1 : 0.333063
booster2 : 0.302142
sum = 1.091205
1/(1+exp(-sum)) = 0.748608563
И это все.
Другие решения
Других решений пока нет …