Search Consoleで何万ページものエラーが出たのでドメイン変更で対処した
昨年の後半に長年の友である管理人（手前板前 管理人:旬爺）が泡食って連絡して来ました。
「サイトが大変なことになっている。手は尽くしたがもう対処方法が無い」
おいらは暮れに向けて忙しく、時間が取れないので、
「やれるだけやってダメなら閉鎖していいよ、任せる」
そんなテキトーな返事。（ゴメンね、旬爺）
年が明けて時間ができたので、詳しく話を聞いてみました。
色々なツールを使ってかなり細かく情報交換し、完全に理解。
あまり例はないかも知れませんが、似たようなサイトトラブルで困った人もいるカモと想定して、トラブル解決に至った経緯を少し詳しく書くことにします。
重複しています。ユーザーにより、正規ページとして選択されていません
昨年の半ばからSearch Console上でエラーが目立つようになりました。時期的には悪評の高い「グーグルコアアップデート2023秋」の数か月前あたり。
Search Consoleを開いて「ページ」の項目を見ると「ページがインデックスに登録されなかった理由」というエラー警告が表示されることがあります。
その一つに「重複しています。ユーザーにより、正規ページとして選択されていません」という奴があり、クリックすると詳細を見ることができます。
実はSearch Consoleの「ページエラー」は、変なイチャモンのようなモンで「だから何？」としか言いようがない問題が多く、「警告」と言えるほど重要なものではありません。
（例えば、「見つかりませんでした（404）」とか「ページにリダイレクトがあります」とか「noindex タグによって除外されました」など。こんなのサイト運営してたら普通にやるコトで違反でも何でもないのに。 だから何？どうしろと？ イチイチうるさいよ小姑じゃあるめぇし！笑）
重複ページも同じで、悪意を持って意図的に作ったミラーページ類以外は、たいした問題ではなく放置してもさほど影響がありません。
なぜなら重複ページはこちらが知らないうちに勝手にいくらでも生成されるし、その事を検索エンジン（Google）はよく承知していて「悪意のない重複ページは問題ない」と言っているからです。
もし心配なら「canonical」タグでURLの正規化をすれば大丈夫です。
ところが、
重複ページは日を追って増加する一方。
とうとう数十万もの重複URLが出来た時点で管理人は慌てたそうです。
数百ページくらいなら許容範囲かも知れない。だが万のオーダーになると検索エンジンが見逃すとは思えない。
今の検索クローラー(bot)はAIなので容赦がないからです。
※AIはまだまだ完璧とは言えずヒトなら間違えない様なミスが非常に多い。しかし人手不足なのか何なのか、AIに任せっぱなしです。以前はヒトの書いたアルゴリズムが走っていて、そちらの方がずっと信頼できました。
ウチのドメインで数十万もの重複ページがネットに散らばっていれば、確実に検索に影響が出るに違いない。
なので、対処するため本気で原因を調査。
その結果
「サーバーに原因があることが判明」
そしてサーバーに対処を求めました。
ドメインとサーバーを捨てる事にした
知らないうちに勝手に生成される重複ページに、正規のURL末尾に「?」から始まるパラメータが付いているものがあります。
これは主に計測用のパラメータで、対処方法はありますが面倒なので放置しています。どうせ勝手に生成され続けるし、こちらから削除する方法もないし、そんなに大量に生成されないからです。
しかしウチのサイトで大発生した重複URLはこれとは別のモノでした。
URLのスラッシュ部分に異常があるのです。
上段が正規のURL、下段がダブルスラッシュが入った重複ページ
ｴｯﾁttps://temaeitamae.jp/魚のさばき方/魚山人の刺身.html
ｴｯﾁttps://temaeitamae.jp/魚のさばき方//魚山人の刺身.html
ｴｯﾁttps://temaeitamae.jp//魚のさばき方/魚山人の刺身.html
こんな調子で異常なダブルスラッシュ入りのURLが数十万もネットに公開されている状態。ページの中身（コンテンツ・ソース）は正規とまったく同じなので機械的なコピー生成です。
Googleにインデックスされてはいませんが、こんなのがwebに万と存在していれば、どう考えても悪影響は必至。
なかなか原因を突き止められずにいましたが、契約しているサーバー「さ〇〇インターネット」のヘルプページで答えらしきモノを発見。
※「さ〇〇インターネット」
特に固有名詞を伏せる気もその必要もないのですが、このページの結論は完璧に証明された訳ではないので、大人のズル対処として、先々の保険の意味で、「言い逃れが可能な伏字」を使うことにします
存在しないURLでページが表示される場合がある
「さ〇〇のレンタルサーバ」では、サーバーの仕様により、特定の状況下において、実際には存在しないURLでページが表示される場合があります。
・対処方法
お客様の「.htaccess」に、以下の記述を追加してください。
[AcceptPathInfo Default]
早速.htaccessにAcceptPathInfo Defaultを追加記述。
しかし重複URLの増加は止まらず。
メールでサポートに問い合わせるも、上記のヘルプと同じ答えで参考にならず。
もしこの方法で解決（新たな重複URLが生成されない）したとしても、それ以前に生成された数万の重複URLを削除する方法が無い。Googleが認識してしまったページはこちらから削除しないとGoogleからも消えない。そしてインデックスされていないページはサーチコンソールからも削除できない。
つまり打つ手がない。
「.htaccessを見直してみて下さい」と、こちらが何かミスしたみたいな返事。
.htaccessなんか何年もさわってないし、重複ページの問題は数か月前からで、それまでは何の問題もなかった。
「そっちが何かの仕様を変えたからだろうが。それ以外にどんな原因があんのよ」
ですな。
サイバー攻撃なんか問題外。攻撃者になんの得もない機械的トラブルだし。
そうこうしてる間に、件の重複URLは100万を突破。
そしてとうとう悪影響が出てきた。
検索流入がみるみる落ちてきたのです（時期はコアアップデートの前）
重複ページはサーバーのファイルマネージャーには存在せず、こちらから消す方法がありません。Googleインデックスにも無いのでSearch Consoleで削除する事もできません。
一度ＷＥＢに公開したページを消すのは不可能
公開ページを消す方法としては、
1、Google Search Consoleにログインして、削除→新しいリクエスト→URLを一時的に削除する→リクエストの送信
2、契約しているサーバーにログインしてファイルマネージャーを開き、該当のページを削除する
3、Googleの検索結果から消えるのをじっと待つ
4、Google以外の検索エンジンから消えるのをじっと待つ
これしか方法がありません。
ですが、これで完全に消える保証はないんですよ。やっかいなコトに。
公開していたURLはweb上のあちこちで自動的に保存されている可能性があり、それを全部消すのは無理だからです。外部からのリンクも同様。
消えているはずのGoogle検索にも表示されたりするのでどうにもなりません。
時間の経過でやがて消えて行きますが、その「時間」が問題なのです。「決まった期間で消えてしまう」という性質ではなく、明日消えるのか10年後に消えるのか、それが分かる人間が世界に一人もいないのです。予測不可能、運まかせ。ネットの大きな問題点の一つと言えるでしょう。
サーバーを捨てる理由
「さ〇〇インターネット」のコントロールパネルからの操作範囲は限定的で、こちらが出来る事は非常に少ないです。
だからサーバーのエンジニアがもっと上の階層で修復を試みたら重複URLの問題は修復できたかも知れません（※〈未確認〉できないかも）
ですが今回のやり取りだけでなく、過去にも不愉快な経験があったのです。
ドメインパクリサイト
ブログ、『てまえ、板前、男前』を始めたのは2006年。Seesaaブログで開始しました。
それから数年後、ホームページ【手前板前】を作るために「さ〇〇インターネット」でレンタルサーバーを借りることに。
初めは先がどうなるか不透明だったので、独自ドメインは取得せずサーバーがサービス提供しているトップレベルドメイン【2-d.jp】を使いました。
だから当時の「手前板前」のドメインは【temaeitamae.2-d.jp】です。
それから数年後、今から十何年前になりますが、サイトが軌道に乗ったので独自ドメイン【jp】を取得。ドメインは【temaeitamae.jp】になり、今に至ります。
ところが、
どこかの恥知らず野郎が、同じドメイン【temaeitamae.2-d.jp】でサイトを作り公開したんですよ。サイト内容はサプリメントらしきもので、和食とは無関係。
同じドメインとはいえＨＯＭＥ（トップページ）だけならまあ仕方がありません。こっちが捨てたドメインなので文句はないんです。
空いたドメインを使うのは自由だし違反でもないし。
しかしですよ、トップページだけじゃなく、各ディレクトリ、各ページのアドレスもそのままパクッてるんですよ、この野郎は。
その当時はおいら達のサイトは勢いがあったし、知名度も上がりつつあったので、この野郎の狙いは明らか。
トップだけでなく、その他のページも手前板前の下層ページのアドレスとまったく同じにしてるからには、完全に『確信犯』ですな。
どっちにしろこちらがまだ使用してる各ドメインと同じにされたら迷惑でしかない。
現在なら、Googleが言う『期限切れドメインの悪用』にドンピシャあてはまるワケです。
（下層のドメインはウチがまだ使っているアドレスのコピーなので微妙な点は異なる）
ちょっと悪質なので、このトップレベルドメインを提供してる「さ〇〇インターネット」に抗議を入れたんです。「相手の情報を開示して」と。
やり取りの詳細はもう忘れましたが、「さ〇〇インターネット」の対応が悪かったのはよく憶えています。
頭に来て面倒になったので、放置してそのまま現在に至ります。
（頭にきた瞬間は「弁護士立てて開示請求」を考えました（今なら間違いなくそうするでしょう）。しかし冷静になるとバカバカしくなり放置したのです）
この影響は今も続いていて、「手前板前」関連で検索すると、この恥知らずのドメパクリサイトが出てくることがあります。
手前板前関連で検索して【temaeitamae.2-d.jp】（マカ〇〇何とかいうサイト）が出てきても「手前板前」とは何の関係もないドメパクリサイトですので、ご承知下さい。
上記の『偽計業務妨害罪』よりもさらに罪深いのは、この人物が「ウチの読者であった可能性がある」という点です。サイトの内部構造（階層）に詳しいからです。
この疑念が捨てきれないので、この時以降は以前のような気持ちで読者と交流できなくなりました。「いけしゃあしゃあとコメント欄でおいらとやり取りしてるかも」 その蓋然性が皆無でないのなら、もはや気持ちは元に戻らんのです。この事が一番の被害でした。
しかしまあ、過ぎ去ったコトですがね。
ついでに、いろいろなSNS等で「手前板前」の名を見かけますが、おいらはSNSをやった事はないし、これから先も使いません。ああいうのは魚山人の「手前板前」とはまったく関係がないのでお間違いなきように願います。
世の中には「恥ずかしい」の感情が無い人間が多くて驚きます
エックスサーバーを借りる
重複URLは100万を超え、Googleの検索からペナルティが発動されつつある、しかし問題の重複ページを削除する方法は無い。
絶対絶命ですが、こうなると対処方法は限られます。
・問題の発生源になっているレンタルサーバーを捨てる
・Googleが問題視しているであろうドメインを捨てる
この二つです。
サーバーを移転しても苦労して育てた「.jp」のドメインを使う方法はある。だが100万以上もの重複URLの存在で、多分このドメインはGoogleに敵視されている（違反サイト扱い）（アプデ前の検索流入下落でそこは確信）
だからサーバーもドメインも捨てることにしました。
早速、最初からココを使っていればよかったと思っていた「エックスサーバー」を契約。
ドメインを変えてここで再出発です。
ドメイン変更、その結果は
ページ数が多くて「ごちゃごちゃ」になっていたサイトを二人で手分けして急いで再構築（手分けというか、ぼぼ全部管理人がやり、おいらは逃げてばかり 笑）
二度と重複ページに悩まされたくないので、全ページに「canonical」を入れて正規化しておきました。勝手に生成される重複URLの対策です。
今年3月、エックスサーバーから新ドメインtemaeita.netで手前板前の再スタート。
偶然にも「2024年3月のGoogleコアアップデート」と時期が重なります。このアプデは大規模で期間も長く、色々なサイトに大きな影響を与えた奴です。
ご存知だと思いますが、新しいドメインでサイトを公開しても最初はまったくアクセスがないのが普通です。検索エンジンに認知されるまで数か月、下手すれば半年、一年も検索からのアクセスは微々たるもの。
しかし今回は【301リダイレクト】が完全に効果を発揮。
ほぼ10年もの歳月運用したtemaeitamae.jpの評価をそのまま受け継ぐ事に成功しました。
不安だったのがスパム判定の百万URLからもリダイレクトされるわけなので、「負の評価」まで引き継ぐ可能性があったこと。だから「トップレベルドメイン」だけではなく「セカンドレベルドメイン」も変えたのですが、これが良かったのか悪影響は今のところありません。
新規サーバーから新ドメイン公開後、数日ごとに検索パフォーマンスはアップ。グラフは右肩上がりです。
コアアップデートの影響は多分ウチもあると思われます。
しかし「重複URLのペナルティと思われる下落」はストップ。そして逆転。それ以前のアクセス数を取り戻しました。
※今までの流れからGoogleが方向性（個人サイト潰し）を変えるとは思えない
したがってこれから先はまた下がって行くと予想している
そして新規サーバー&新ドメインのSearch Consoleでは、忌々しいダブルスラッシュの重複URLはゼロ。
おかしな重複ページの原因はやっぱり「さ〇〇インターネット」の仕様だったわけです。
「せっかく育てたドメインが死んだのをどうしてくれんだい！」
と文句を言いたくなりますが、もう終わったことですし、今の企業というのは殆どの場合クレームを入れても無視するので、時間の無駄にしかなりません。
301リダイレクトを切る時期が来れば解約してそれで終わり。もう二度と関わる気はありません。
老婆心（？）で付け加えると、「temaeitamae.jp」も捨てるつもりでいますけども、（その方面に興味がある人は）拾って使わない方がいいですよ。
長年運用して育て、外部リンクも多いので貴重ではありますが、「100万以上の幽霊ページ」の存在で「SEO的に死んでいるドメイン」です。
Googleはおそらくスパムドメインと認識しており（検索流入の急落は凄まじいものでした）、その認識はたぶん消えません。「死んでいるドメイン」どころか「呪われたドメイン」と言えるでしょう。
もし「temaeitamae.jp」を拾って新サイトを公開したら、その瞬間からペナルティをくらう筈です。
そして、新しいポリシーで「期限切れドメインで別内容のサイトを公開すれば悪用とみなす」とGoogleが言っています。
時代は変わりました。もう昔みたいに古いドメインを使ってもプラスにはならず、今はマイナスでしかないのです。
この記事が気に入ったらサポートをしてみませんか？