これまで、自己教師あり学習(自己回帰モデル、拡散モデルなど)、教師あり学習、強化学習 (価値ベース、方策ベース、モデルベースなど)における多くの技術を探求してきました。 これらの手法の大部分は、明確に定義された、微分可能で、比較的クリーンかつ静的な目的関数や環境からの報酬を用いた勾配ベースの最適化を伴います。 しかし、このような目的関数や報酬は、計り知れない複雑さを持つ現実世界では滅多に得られません。 その結果、これらの技術は一部のタスクでは非常に優れた性能を示すものの、さらなる実世界への応用における適応性、 創造性、頑健性において本質的に限界がある可能性があります。

しかし、人間は明確な目的関数のない不確実性に満ちた世界において、推論し、新たな発見を行い、 継続的に適応する能力を持っており、この分野が創設以来追求してきた汎用知能を実証していると言えるでしょう。 このような知能の出現を実現したメカニズムの有力な理論として自然選択によって駆動される進化があります。 進化は、目的関数の勾配を用いるのではなく、確率的変異と最適遺伝子の生存という単純なヒューリスティックを伴います。 進化の独特な強みは、遺伝子プールを多様に保つことで探索空間の広い領域の継続的な探索を可能にしながら、 同時に最適解を適度に活用できることです。実際、自然界の進化は、信じられないほど複雑な脳を持つ人間を含む、 大きく異なる遺伝子と生存戦略を持つ多様な種を生み出しました。

交差検証、オフ方策制御、ロールアウトなど、他のパラダイムも探索空間の広い探索を継続しようと試みていますが、 高次元で非線形かつ欺瞞的な目的関数に対して苦戦し、しばしば近傍の局所最適解に陥り、サンプル効率の悪さに悩まされています。 人間に匹敵する、あるいはそれを凌駕する汎用知能を達成するため、または欺瞞的な目的関数を持つ高度に複雑な問題の解決のために、 脳を生み出した自然界の正確なメカニズムである進化は、おそらく適したメカニズムと言えるでしょう。 したがって、このシリーズでは主にニューラルネットワークに進化的アルゴリズムを適用するニューロエボリューション(NE) に焦点を当てながら、 進化的計算(EC)を探求します。

注: このシリーズの内容は、Risi, S. et al. (2025)による Neuroevolution: Harnessing Creativity in AI Agent Design を元にしたものです。ぜひチェックしてみてください。

進化的アルゴリズム

進化的アルゴリズム(EA)は、最適化問題に対する潜在的解の集団を進化させます。 このアルゴリズムは、初期集団の設定、適応度関数に基づく個体の評価と選択、 突然変異や交叉などの変異演算子を用いた新しい集団の生成、 そして終了条件が満たされるまでのループの継続を含みます。 下の図はEAの基本プロセスを示しています。進化的アルゴリズムは、 明確な誤差関数を持たず、複数の複雑な解を持つ問題に適していますが、 EAの有効性と効率性は、その構成要素がどのように設定されるかに依存します。

EAにおいて、個体は遺伝子型(genotype)として表現でき、遺伝子型には変異演算子が適用されます。 遺伝子型は通常、文字列、ベクトル、またはグラフで表現され、対応する表現型(phenotype)にデコードされ、 その適応度が評価されます。進化プロセスが評価を無駄にせず、最適領域に適切に収束させるには、 遺伝子型表現は効率的に構築され、冗長性(同じ遺伝子型が同じ表現型にマッピングされる) と局所性の悪さ(遺伝子型の小さな変化が表現型の大きな変化につながる)を防ぐ方法で構築されるべきです。 適切な集団サイズと適応的突然変異率、適切な適応度計算、弱い選択圧、構造化された集団などによる多様性の保持も、 局所最適解への早期収束を防ぐために重要です。

関連する、そして時には矛盾する品質と制約を反映する適応度関数の適切な定義も、 EAにおける性能と探索効率の達成にとって重要であり、これはしばしば反復的な改良と領域専門知識を必要とします。 さらに、終了基準は、早期終了と準最適解を防ぐために、問題に対して適切に設定されなければなりません。 EAは設計選択において様々な考慮事項を必要としますが、他の手法についても同様のことが言え、 EAは適切に実行された場合に前述の利点を提供します。ニューロエボリューションの分野は、 このような進化的アルゴリズムを活用してニューラルネットワークを進化させることを目指しています。

結論

本記事では、進化計算とニューロ進化の背景にある動機について議論し、 ニューラルネットワークの進化に使用できる進化的アルゴリズムの基本プロセスを紹介しました。 次の記事では、いくつかの特定の種類の進化的アルゴリズムと進化計算における関連技術について議論します。

リソース

• Risi, S. et al. 2025. Neuroevolution: Harnessing Creativity in AI Agent Design. Neuroevolution.