Factorio Learning Environment
Factorio上で言語モデルを評価する環境FactorioでLLMの計画と自動化を無料で検証
主な特徴
使える場面
- 言語モデルの長期計画を試す研究者
- 複雑な課題でプログラム合成を確認する開発者
- 空間推論やエラー回復を比較する愛好家
使い方
- 1 Pythonと必要な道具を準備した機械を用意します。
- 2 オープンソースのプロジェクトページからFLEのコードを取得します。
- 3 Python APIとその関数を学びます。
- 4 ラボ課題かオープンプレイを選びます。
- 5 モデル用のプログラムを書いて実行します。
- 6 生産スコアとマイルストーンの結果を読みます。
- 7 モデルやプログラムを調整してもう一度試します。
こんな方におすすめ
メリット
- 研究用途に無料でオープンソースです。
- オープン設計で、飽和したベンチマークの限界を避けられます。
- スコア、マイルストーン、エラーから明確な結果が得られます。
制限事項
- Pythonの知識とある程度の設定作業が必要です。
- ゲーム環境の実行には十分なハードウェアが要ります。
- 結果はモデル用プログラムの出来に大きく左右されます。
Factorio Learning Environment とは
Factorio Learning Environment(FLE)は、ゲームFactorioの上に作られたオープンソースの枠組みです。目的は、大規模言語モデルが長期計画、プログラム合成、資源最適化をどれだけこなせるかを評価することです。古いベンチマークが頭打ちになる中、FLEは基本自動化から毎秒数百万資源を扱う工場へと難易度が上がる課題を用意します。評価方式は2つで、24の構造化されたラボ課題と、ゼロから最大の工場を建てるオープンプレイです。Jack Hopkinsらによって開発され、無料で使えます。
できること
- 構造化されたラボ課題で計画と自動化の力を試します。
- オープンプレイでゼロから工場を拡張させます。
- Python APIを通じて環境とやり取りし、プログラムを提出します。
- 生産スコア、マイルストーン、エラーから性能を読み取ります。
こんな人に向いています
- より難しいオープン型ベンチマークを必要とするAI研究者。
- モデルが動くプログラムを書けるか確認したい開発者。
- 同じ課題で複数のモデルを比べたい愛好家。
- ゲームを研究の場として使いたい人。
注意点
FLEの準備にはPythonとコードを動かす慣れが必要で、ワンクリックで使える道具ではありません。ゲーム環境そのものにも相応のハードウェアが要り、大きなオープンプレイでは特に負荷が高くなります。結果は相互作用プログラムの書き方に大きく依存し、弱いプログラムなら性能の高いモデルでも低く見えます。研究プロジェクトなので、荒い部分があり、画面や手順が変わることもあります。スコアはモデル能力の一つの手がかりとして扱い、完全な順位表とは考えないでください。
よくある質問
Factorio Learning Environmentとは何ですか。
Factorioの上で、言語モデルの計画、プログラム合成、資源最適化を評価するオープンソースの枠組みです。
FLEは無料ですか。
はい、オープンソースとして公開され、無料で使えます。
2つの評価方式とは何ですか。
ラボ課題は24の構造化タスクで、オープンプレイはゼロからできるだけ大きな工場を作ります。
無料で使える理由
公式ページの記載内容: 無料で利用可能
無料の上限、トライアル期間、機能は公式サイトが決定し、いつでも変更される場合があります。
製品プレビュー
一覧ページから保存したスクリーンショットです。プレビュー専用です。