2019年9月1日からrobots.txtでのnoindexをGoogleが完全にサポート終了
robots.txt の noindex 構文のサポートを終了することを Google は告知しました。
REP のインターネット標準化にともなう決定です。
インデックス拒否の手段
インデックスを拒否するために次の手段を Google は推奨しています。
・noindex タグ
・404 または 410 の HTTP ステータスコード
・パスワード保護
・robots.txt の Disallow
・Search Console の URL 削除ツール
クロールさせるけどインデックスさせないという要望があるなら、いちばん上の noindex タグを実装します。
HTML なら noindex robots meta タグを使用します。