XGBoost na M1 Air (16 GB RAM)

Czy używa lub używał ktoś XGBoosta a dokładniej XGBClassifier na M1 Air?

Jeśli tak to czy działa wam normalnie i co zrobiliście że się nie wysypuje?

Mam taki problem że po puszczeniu komórki w VSCode po kilku sekundach/minutach w zależności od datasetu komórka ma status wykonanej, nie ma outputu a co najlepsze czyszczą się wszystkie zmienne z notatnika + wysypują się wszystkie zaimportowane moduły.

Korzystam z condy i miniforge.

Myślałem może że jest to kwestia przepełnienia się ramu i dlatego wszystko się czyści, ale to tylko domysły.

Masz zainstalowane iStatMenus? Jeżeli nie, to sprawdź z jego pomocą jak wyglada RAM gdy włączasz liczenie.

1 polubienie

Nie mam zainstalowanego, dzięki za radę, później zobaczę

Dzięki za pomoc. Zużycie 50% Ramu, procesor nieźle dostaje przy uruchomieniu XGB.

Okazało się, że musiałem ponownie zainstalować xgboosta na condzie + konstruktor wrzuciłem do osobnej komórki, bo zauważyłem że przy pierwszym uruchomieniu resetował/restartował (nie pamiętam dokładnie co było napisane) kernel jupytera. Teraz śmiga i to szybciej niż podstawowa wersja Colaba.

Jeszcze raz dzięki za polecenie tego programu. :smiley:

1 polubienie

Przyznam że uważam się za raczej będącego na bieżąco z technologią, ale ni w ząb nie zrozumiałem o czym piszesz. Krótkie goglowanie co to xgboost powiedziało mi że to biblioteka do AI ale co to jest cała reszta i po co ci to? Jakieś nft kopiesz?

pythoniarskie gadanie, nie musisz rozumieć, jeśli w tym nie siedzisz

3 polubienia

Piszę pracę inżynierską nt. wykorzystania ML do analizy gry w szachy, a konkretnie na podstawie danych z datasetu, który zawiera ponad 6 mln partii szachowych zbudowałem modele klasyfikacyjne z wykorzystaniem Decision Tree, Random Forest i właśnie XGBoosta. W skrócie przewiduje wynik partii i pokazuje dokładność predykcji

4 polubienia

Czy czujesz, że w tym zastosowaniu M1 zaczyna nie dawać rady? Czy to, że procek mocno dostaje jest chwilowe, a komputer jest i tak w pełni używalny podczas nauki xgb/odpalania notebooka?

Absolutnie nie wydaje mi się że M1 sobie nie radzi. Normalnie można z niego korzystać, kiedy pracował XGB. Miałem odpalonego yt, worda i kilka kart + coś tam jeszcze w tle o czym pewnie zapomniałem i nie miałem problemów z korzystaniem, może nie było tak szybko jak zawsze ale z drugiej strony nie było to uciążliwe. Poza tym M1 szybciej liczył niż maszyna z Colaba i nie mam możliwości sprawdzić na innych laptopach jakby to wyglądało.

1 polubienie

Jak odpalałem XGBoost 5 lat temu na moim Maku z i5, to z tego co pamiętam nie dało się robić nic więcej :grinning_face_with_smiling_eyes: Także jest postęp.

2 polubienia

Ja ostatnio znalazłem problem związany z XGBoostem (może nie z tym konkretnym klasyfikatorem), a mianowicie kiedy chciałem wykorzystać lazy predicta (nienawidzę go przez to ile czasu na niego zmarnowałem). Problem polegał na tym, że lazy predict potrafił mielić parę godzin i się wysypywać pokazując, że się wykonał, a tak naprawdę wysypywał się na jakichś 40%.

Okazało się, że problemem jest ‘GradientBoostingClassifier’, który jest z tego co wyczytałem niemalże identyczny do ‘XGBclassifier’, ale przez niego to wszystko się wywalało. Ogarnąłem to jakieś kilka dni temu z czystej ciekawości, pogrzebałem w plikach lazy predicta (Supervised.py) i dodałem ‘GradientBoostingClassifier’ do ‘removed_classifiers’ i śmiga.

Google Colab nie miał z nim problemu, lecz z ilością wierszy - metodą prób i błędów sprawdziłem że lazy predict przechodził na Colabie mając dataset składający się z około 24,5k wierszy, w innym przypadku wywalało brak RAMu (trochę lipa jak ma się dataset z ponad 6 mln).