Contents
https://gigazine.net/news/20221006-deepmind-alphatensor/
https://www.deepmind.com/blog/discovering-novel-algorithms-with-alphatensor
AlphaTensorは、行列の積を計算するアルゴリズムを探索する際、テンソル分解という手法を用いています。 テンソル分解とは、あるテンソルを、より小さなランクのテンソルの和に分解する方法です。 AlphaTensorは、強化学習を用いて、テンソルをより少ないランクのテンソルの和に分解する方法を見つけ出します。 これにより、行列の積を計算するアルゴリズムの計算量を削減することができます。
個別のサイズでよりよい方法を探すのは無駄ではないが、。。。
1. history
例えば、「4×5の行列」と「5×5の行列」の積を求める際は、 愚直に計算すると100回乗算が必要ですが、既知のアルゴリズムを用いれば乗算回数を80回に減らせます。 それに対して、AlphaTensorが導き出したアルゴリズムでは76回の乗算で積を求めることが可能です。