条文の読み方、間違っていました。
司法書士谷口毅先生の研修資料に、ご自身が作成された信託契約書を研修用にみせていただきました。
（信託の終了）の条項に、「ただし、信託法１６４条１項は適用しない」の記載がありました。
最初はこの記載はなくても良いだろう、と考えていました。信託行為によって別のことを定めることで、回避できると理解していたからです。
谷口先生も契約書に、信託が終了する別のことを記載していました。
あとで条文を読んでみると、
信託行為に他の終了の方法を定めたら、「その定めるところによる」とあって、「除く（他の終了方法は無くなる）」とはなっていません。
立法担当者解説も、信託行為によって、他の終了方法を排除することも「選択できる」、というような記載があります。
ということで、私の条文読み間違い。
「ただし、信託法１６４条１項は適用しない」は信託行為に記載した方がよい条項です。理由は現在の税制だと、委託者と最初の受益者は同じ人が多いので、実質１人で信託を終了することが出来るからです。
金融機関など、第3者との関係でも必要だと考えられます。
・・・・・・・・・・・・・・・・・・・・・・・・・
参考
（委託者及び受益者の合意等による信託の終了）
第百六十四条 委託者及び受益者は、いつでも、その合意により、信託を終了することができる。
２ 委託者及び受益者が受託者に不利な時期に信託を終了したときは、委託者及び受益者は、受託者の損害を賠償しなければならない。ただし、やむを得ない事由があったときは、この限りでない。
３ 前二項の規定にかかわらず、信託行為に別段の定めがあるときは、その定めるところによる。
４ 委託者が現に存しない場合には、第一項及び第二項の規定は、適用しない。
・寺本昌弘『逐条解説 新しい信託法』商事法務 Ｐ３６６