システムデザインのハイレベルダイアグラムを図６.３に図解する。入力は、正確な３－Ｄ固体の完全な境界表面記述のかたちを想定している。このシステムは、いくつかのカテゴリー（あるいは、カテゴリーたち）に属するような物体の分類を試みる。
与えられた物体形状の出力は、その形状の可能な解釈のリストである。それぞれの解釈は、物体のカテゴリー、形状の方向付け、そして満足な機能特性であると認知される形状プリミティブのラベリングを示す。解釈の例を、図6.4に示す。
認識がここで、物体の分類のように定義されていることに注目されたい。特に、システムは、カテゴリーXの例のようにデザインされた測定値よりむしろ、カテゴリーXの例のできる機能の測定値を使う。これは、潜在的な特徴的な結果がGRUFFによって作り出されることが可能であることを意味する。例えば、GRUFFは、ごみ箱がもしユーザーがそれをさかさまにまわすなら腰掛のような機能をすることができることを認識する。我々はこれを問題であるとは考えない。GRUFFのようなシステムの主要な使用の一つに、ロボットを未知の環境に送り、そして、いくつかの指定されたタスクを実行することを可能にする物体（例えば、座ることができる場所を見つけるとか釘をハンマーで打てる何かを見つける）を見出すことがある。
GRUFFのシステムで使われた3つの基本的なタイプの知識がある。最もレベルの高いものには、カテゴリー定義の木がある(図6.13)。これは超縦座標(superordinate)の階層構造の仕様であり、システムに知られている基本的なレベルで従属的なカテゴリーである。次のレベルでは、要求される機能的な特性に関してそれぞれの特定の物体カテゴリーの定義がある。もっともレベルの低いものは、知識プリミティブの組の命令文（invocations)の連続に関する、それぞれの機能的な特性の手続きの実装である。これらのレベルのそれぞれが、システムのもっとも低いレベルの積み木である知識プリミティブから始められ、より詳細に記述していく。