Czy używa lub używał ktoś XGBoosta a dokładniej XGBClassifier na M1 Air?
Jeśli tak to czy działa wam normalnie i co zrobiliście że się nie wysypuje?
Mam taki problem że po puszczeniu komórki w VSCode po kilku sekundach/minutach w zależności od datasetu komórka ma status wykonanej, nie ma outputu a co najlepsze czyszczą się wszystkie zmienne z notatnika + wysypują się wszystkie zaimportowane moduły.
Korzystam z condy i miniforge.
Myślałem może że jest to kwestia przepełnienia się ramu i dlatego wszystko się czyści, ale to tylko domysły.
Okazało się, że musiałem ponownie zainstalować xgboosta na condzie + konstruktor wrzuciłem do osobnej komórki, bo zauważyłem że przy pierwszym uruchomieniu resetował/restartował (nie pamiętam dokładnie co było napisane) kernel jupytera. Teraz śmiga i to szybciej niż podstawowa wersja Colaba.
Przyznam że uważam się za raczej będącego na bieżąco z technologią, ale ni w ząb nie zrozumiałem o czym piszesz. Krótkie goglowanie co to xgboost powiedziało mi że to biblioteka do AI ale co to jest cała reszta i po co ci to? Jakieś nft kopiesz?
Piszę pracę inżynierską nt. wykorzystania ML do analizy gry w szachy, a konkretnie na podstawie danych z datasetu, który zawiera ponad 6 mln partii szachowych zbudowałem modele klasyfikacyjne z wykorzystaniem Decision Tree, Random Forest i właśnie XGBoosta. W skrócie przewiduje wynik partii i pokazuje dokładność predykcji
Czy czujesz, że w tym zastosowaniu M1 zaczyna nie dawać rady? Czy to, że procek mocno dostaje jest chwilowe, a komputer jest i tak w pełni używalny podczas nauki xgb/odpalania notebooka?
Absolutnie nie wydaje mi się że M1 sobie nie radzi. Normalnie można z niego korzystać, kiedy pracował XGB. Miałem odpalonego yt, worda i kilka kart + coś tam jeszcze w tle o czym pewnie zapomniałem i nie miałem problemów z korzystaniem, może nie było tak szybko jak zawsze ale z drugiej strony nie było to uciążliwe. Poza tym M1 szybciej liczył niż maszyna z Colaba i nie mam możliwości sprawdzić na innych laptopach jakby to wyglądało.
Ja ostatnio znalazłem problem związany z XGBoostem (może nie z tym konkretnym klasyfikatorem), a mianowicie kiedy chciałem wykorzystać lazy predicta (nienawidzę go przez to ile czasu na niego zmarnowałem). Problem polegał na tym, że lazy predict potrafił mielić parę godzin i się wysypywać pokazując, że się wykonał, a tak naprawdę wysypywał się na jakichś 40%.
Okazało się, że problemem jest ‘GradientBoostingClassifier’, który jest z tego co wyczytałem niemalże identyczny do ‘XGBclassifier’, ale przez niego to wszystko się wywalało. Ogarnąłem to jakieś kilka dni temu z czystej ciekawości, pogrzebałem w plikach lazy predicta (Supervised.py) i dodałem ‘GradientBoostingClassifier’ do ‘removed_classifiers’ i śmiga.
Google Colab nie miał z nim problemu, lecz z ilością wierszy - metodą prób i błędów sprawdziłem że lazy predict przechodził na Colabie mając dataset składający się z około 24,5k wierszy, w innym przypadku wywalało brak RAMu (trochę lipa jak ma się dataset z ponad 6 mln).
Także jest postęp.