XGBoost[1]是一個開源軟件庫,為C++JavaPython[2]R[3]Julia[4]提供了一個梯度提升框架,適用於LinuxWindows[5]、以及macOS[6]。根據項目的描述,它的目的在於提供一個"可擴展、可移植和分佈式梯度提升(GBM、GBRT、GBDT)庫"。XGBoost除了可以在單機上運行,也支持運行在分佈式框架如Apache HadoopApache SparkApache Flink上。近幾年,由於該算法受到許多在機器學習競賽中獲獎團隊的青睞,因而受到了廣泛的歡迎和關注[7]

XGBoost
開發者The XGBoost Contributors
首次發佈2014年3月27日,​10年前​(2014-03-27
當前版本0.70(2017年12月30日 (2017-12-30)
原始碼庫 編輯維基數據鏈接
程式語言C++
作業系統Linux, macOS, Windows
類型機器學習
許可協議Apache License 2.0
網站xgboost.ai

歷史

XGBoost最初是一個研究項目,由當時在Distributed (Deep) Machine Learning Community (DMLC) 組裏的陳天奇負責[8]。它最初作為一個可以由libsvm配置文件進行配置的終端應用程式。在Higgs機器學習挑戰中取得勝利後,它開始在機器學習競賽圈子中被廣為人知。不久之後,相應的Python和R的軟件包被開發了出來。XGBoost現在也已經為Julia、Scala、Java和其他語言提供了軟件包實現。這使得更多的開發者了解了XGBoost,並且讓其在Kaggle社區備受歡迎,被廣泛用於大量的競賽[7]

很快地,XGBoost就與其他多個軟件包一起使用,使其更易於在各自的社區中使用。它現在已經與Python用戶的scikit-learn以及與R的Caret軟件包集成在一起。它還可以使用抽象的Rabit[9]及XGBoost4J集成到諸如Apache Spark、Apache Hadoop和Apache Flink等數據流框架中[10]。XGBoost也可用於FPGAsOpenCL[11]。陳天奇和Carlos Guestrin發表了一種高效、可擴展的XGBoost實現[12]

獲獎

  • 約翰錢伯斯獎(2016) [13]
  • 高能物理學會議機器學習獎(HEP meets ML) (2016) [14]

參考文獻

  1. ^ GitHub project webpage. [2019-01-09]. (原始內容存檔於2021-04-01). 
  2. ^ Python Package Index PYPI: xgboost. [2016-08-01]. (原始內容存檔於2017-08-23). 
  3. ^ CRAN package xgboost. [2016-08-01]. (原始內容存檔於2018-10-26). 
  4. ^ Julia package listing xgboost. [2016-08-01]. (原始內容存檔於2016-08-18). 
  5. ^ Installing XGBoost for Anaconda in Windows. [2016-08-01]. (原始內容存檔於2018-05-08). 
  6. ^ Installing XGBoost on Mac OSX. [2016-08-01]. (原始內容存檔於2018-05-08). 
  7. ^ 7.0 7.1 XGBoost - ML winning solutions (incomplete list). [2016-08-01]. (原始內容存檔於2022-08-08). 
  8. ^ Story and Lessons behind the evolution of XGBoost. [2016-08-01]. (原始內容存檔於2016-08-07). 
  9. ^ Rabit - Reliable Allreduce and Broadcast Interface. [2016-08-01]. (原始內容存檔於2018-06-11). 
  10. ^ XGBoost4J. [2016-08-01]. (原始內容存檔於2018-05-08). 
  11. ^ XGBoost on FPGAs. [2019-08-01]. (原始內容存檔於2020-09-13). 
  12. ^ Chen, Tianqi; Guestrin, Carlos. Krishnapuram, Balaji; Shah, Mohak; Smola, Alexander J.; Aggarwal, Charu C.; Shen, Dou; Rastogi, Rajeev , 編. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, San Francisco, CA, USA, August 13-17, 2016. ACM: 785–794. 2016. arXiv:1603.02754 . doi:10.1145/2939672.2939785.  |contribution=被忽略 (幫助)
  13. ^ John Chambers Award Previous Winners. [2016-08-01]. (原始內容存檔於2017-07-31). 
  14. ^ HEP meets ML Award. [2016-08-01]. (原始內容存檔於2018-05-08).