游戲是人工智能研究的完美實(shí)驗(yàn)環(huán)境。在游戲環(huán)境中，可用于訓(xùn)練人工智能模型的數(shù)據(jù)是近乎無(wú)限、低成本、可復(fù)制，相比現(xiàn)實(shí)世界的經(jīng)驗(yàn)更容易獲得。這些特點(diǎn)正幫助 Facebook 人工智能實(shí)驗(yàn)室（FAIR）探索一些短期目標(biāo)，如復(fù)雜游戲環(huán)境中多個(gè)人工智能的能力；以及長(zhǎng)期目標(biāo)：讓人工智能應(yīng)對(duì)現(xiàn)實(shí)世界的挑戰(zhàn)。游戲研究可以幫助我們構(gòu)建能夠進(jìn)行計(jì)劃、具有理性、自我導(dǎo)航、解決問(wèn)題、合作與交流的人工智能。
盡管使用游戲進(jìn)行訓(xùn)練能夠帶來(lái)多種好處，但研究者們?cè)谟螒颦h(huán)境中進(jìn)行探索可能會(huì)遇到很多困難。由于目前機(jī)器學(xué)習(xí)算法的諸多限制，訓(xùn)練需要成百上千的游戲局?jǐn)?shù)，這需要大量的計(jì)算資源，如配備大量 CPU、GPU 或定制硬件的高性能計(jì)算平臺(tái)。此外，這些算法是復(fù)雜而難以進(jìn)行微調(diào)的。而隨著訓(xùn)練環(huán)境中增加更多的人工智能代理，這些變量將更加難以控制。
為了解決這些問(wèn)題，讓所有人都能參與人工智能的研究。FAIR 團(tuán)隊(duì)創(chuàng)造了 ELF：一個(gè)大范圍、輕量級(jí)且易于使用的游戲研究平臺(tái)。ELF 可以讓研究者們?cè)诓煌挠螒颦h(huán)境中測(cè)試他們的算法，其中包括桌游、Atari 游戲（通過(guò) Arcade Learning Environment），以及定制的即時(shí)戰(zhàn)略游戲（RTS）。它們可以運(yùn)行在帶有 GPU 的筆記本電腦上，而且支持在更為復(fù)雜的游戲環(huán)境中訓(xùn)練 AI，例如即時(shí)戰(zhàn)略游戲——僅僅使用 6 塊 CPU，一塊 GPU，花上一天時(shí)間。
FAIR 的研究者們將 ELF 的界面設(shè)計(jì)得易于使用：ELF 在 C/C++界面中運(yùn)行所有游戲，自動(dòng)處理并發(fā)問(wèn)題如多線程/多任務(wù)。另外，ELF 還有一個(gè)純凈的 Python 用戶界面，提供了一批可供訓(xùn)練的游戲狀態(tài)。ELF 也支持游戲以外的用途，它包括物理引擎等組件，可以模擬現(xiàn)實(shí)世界的環(huán)境。
目前，ELF 平臺(tái)已經(jīng)開源，開發(fā)者和研究者們可以在 GitHub 中找到它：
https://github.com/facebookresearch/ELF
相關(guān)論文也已發(fā)表在 arXiv 中：https://arxiv.org/abs/1707.01067
架構(gòu)
ELF 的架構(gòu)相對(duì)簡(jiǎn)單，它包含一個(gè)能夠主持多個(gè)在 C++端運(yùn)行并發(fā)游戲示例的模擬器，同時(shí)在 Python 端與 AI 模型（深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等）溝通。
與其他在一個(gè)界面包含單個(gè)游戲的 AI 平臺(tái)不同，ELF 能把一批游戲包括進(jìn)一個(gè) Python 界面。這使得模型和強(qiáng)化學(xué)習(xí)算法能夠在每次迭代中包含一批游戲狀態(tài)，降低了訓(xùn)練模型所需的時(shí)間。
我們也在游戲推斷和參與者模型（actor model) 之間建立配對(duì)靈活性。使用該框架，非常容易用一個(gè)參與者模型配對(duì)特定的游戲示例，或者一個(gè)示例配對(duì)許多參與者模型，或者許多示例配對(duì)一個(gè)參與者模型。這樣的靈活性能夠快速的構(gòu)建算法原型，幫助研究員更快地理解哪個(gè)模型有更好的表現(xiàn)。
在 FAIR 早期的實(shí)驗(yàn)中，ELF 能進(jìn)行更快的模擬，使用同樣數(shù)量的 CPU 和 GPU 相比于 OpenAI Gym 玩 Atari 游戲可以提高 30% 的訓(xùn)練速度。當(dāng)增加更多的核心之后，ELF 每核的幀率保持穩(wěn)定。
