구글 서치콘솔 사이트맵 문제

Updated on

목차:

11월 18일에 블로그를 라라벨로 변경하게 됬는데, 이때부터 블로그에 sitemap 등을 수정하게 되었음.

블로그 포스팅 마다 사이트맵 구조를 시도했다.

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9" xmlns:xhtml="http://www.w3.org/1999/xhtml" xmlns:image="http://www.google.com/schemas/sitemap-image/1.1" xmlns:video="http://www.google.com/schemas/sitemap-video/1.1" xmlns:news="http://www.google.com/schemas/sitemap-news/0.9">
    <url>
        <loc>https://ggami.net/posts/194/%EC%9D%B4%EC%BC%80%EC%95%84-%EA%B4%91%EB%AA%85%EC%A0%90-%EB%B0%A9%EB%AC%B8%ED%9B%84%EA%B8%B0</loc>
        <lastmod>2023-11-30T04:51:33+00:00</lastmod>
        <changefreq>daily</changefreq>
        <priority>0.8</priority>
            </url>
    <url>
        <loc>https://ggami.net/posts/192/%EB%82%B4-%EB%A0%89%EC%84%9C%EC%8A%A4-%EC%B2%AB-%EC%85%80%ED%94%84-%EC%84%B8%EC%B0%A8%EC%9E%A5%EC%97%90%EC%84%9C-%EC%84%B8%EC%B0%A8%ED%95%9C-%EC%9D%B4%EC%95%BC%EA%B8%B0</loc>
        <lastmod>2023-11-18T12:48:20+00:00</lastmod>
        <changefreq>daily</changefreq>
        <priority>0.8</priority>
            </url>
    <url>
        <loc>https://ggami.net/posts/191/%EB%B8%94%EB%A1%9C%EA%B7%B8%EB%A5%BC-%EC%9B%8C%EB%93%9C%ED%94%84%EB%A0%88%EC%8A%A4%EC%97%90%EC%84%9C-%EB%9D%BC%EB%9D%BC%EB%B2%A8%EB%A1%9C-%EB%B3%80%EA%B2%BD</loc>
        <lastmod>2023-11-18T06:46:34+00:00</lastmod>
        <changefreq>daily</changefreq>
        <priority>0.8</priority>
            </url>
    <url>
        <loc>https://ggami.net/posts/189/%EC%B9%B4%EC%8A%A4%ED%8D%BC%EC%8A%A4%ED%82%A4-%EB%B8%8C%EB%9D%BC%EC%9A%B0%EC%A0%80-js-inject-disable</loc>
        <lastmod>2023-09-03T23:53:55+00:00</lastmod>
        <changefreq>weekly</changefreq>
        <priority>0.8</priority>
            </url>
</urlset>

sitemap 을 어떻게 설정해야할지 고민하다가, 포스팅 글 마다 모두 sitemap 에 등록했었다. sitemap 은 하나의 sitemap에 50,000건의 링크를 작성할 수 있다. 이렇게 등록한 시기가 11월 23일이다.

포스팅 주소마다 사이트 맵을 구성한 결과

정확히 구글 서치 콘솔 데이터로 11월 23일부터 URL이 삭제되기 시작했다. 심지어, 사진에 보이는 것 처럼 대부분 모든 글들이 크롤링됨 - 현재 색인이 생성되지 않음 발견됨 - 현재 색인이 생성되지 않음 이 두가지 문제가 발생했다.

근데, 이 문제가 발생하고도 몇일이 지나도 크롤링을 시도하지 않는 것 같았다. 시도를 하더라도, 색인을 하지 않는 것이고. 이게 아마도 사이트 맵에 모든 포스팅을 작성하게 되면, 중요도 priority 값도 모두 똑같은 문제도 있고 하기 때문에 오히려 더 안 좋은 것 같다. 개인적인 생각으로는 lastmod 도 별로 안 좋은 것 같음..

매우 빠르게 색인이 제거되는 현상이 발생 되었음.

  • 색인이 제거되는 현상이 발생 됨.
  • 더 이상 색인이 생성되지 않는 현상도 발생 됨.
  • 크롤 예산 이라는 제한된 리소스 때문에 오히려 크롤링 시도를 안하는 듯 함.

12월 2일 변경사항

https://ggami.net/sitemaps/categories 현재 변경은 위 주소처럼 posts 기반이 아닌 categories 기반으로 변경 했다.

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9" xmlns:xhtml="http://www.w3.org/1999/xhtml" xmlns:image="http://www.google.com/schemas/sitemap-image/1.1" xmlns:video="http://www.google.com/schemas/sitemap-video/1.1" xmlns:news="http://www.google.com/schemas/sitemap-news/0.9">
    <url>
        <loc>https://ggami.net/categories/bigdata</loc>
            <changefreq>daily</changefreq>
        <priority>0.8</priority>
            </url>
    <url>
        <loc>https://ggami.net/categories/dev</loc>
            <changefreq>daily</changefreq>
        <priority>0.8</priority>
            </url>
    <url>
        <loc>https://ggami.net/categories/info</loc>
            <changefreq>daily</changefreq>
        <priority>0.8</priority>
            </url>
    <url>
        <loc>https://ggami.net/categories/micro</loc>
            <changefreq>daily</changefreq>
        <priority>0.8</priority>
            </url>
    <url>
        <loc>https://ggami.net/categories/coin</loc>
            <changefreq>daily</changefreq>
        <priority>0.8</priority>
            </url>
</urlset>

일단 지금 12월 2일에 sitemap 을 변경하고 제출해서, 조금 더 기다려봐야 알 수 있을 것 같다.

사이트맵은 색인하지 않는다.

예를 들어, 까미넷의 사이트맵은

https://ggami.net/sitemaps

인데, 이 주소는 색인 생성 요청을 하지 않는다. 괜히 색인요청했는데, 색인요청하니까 구글에 검색하면 sitemaps 가 노출된다. 이게 도움이 되는지 안되는지는 잘 모르겠음,

12월 12일 변경사항

  • 전체 canonical 삭제
  • 포스팅 canonical 축약 적용
  • internal link domain 삭제 적용했다.

canonical 을 정확히 블로그 posts/195/구글 서치콘솔 사이트맵 에서 posts/195 로 변경했다. self internal link 의 경우 ggami.net 의 도메인이 항상 포함되어 있었는데, 이것도 도메인을 제거했다.

최종적으로 변경 이후에 결과

12월 22일, 1-2일 전부터 조금씩 노출이 되고 있다. 아직 구글 서치콘솔에는 색인됨이 뜨지 않고 있고, 색인 갯수가 채워지고 있지는 않지만, 실제로 조금씩 검색하면 블로그 포스팅 글들이 노출되고 있다.

이건 내 생각인데, canonical 을 무분별하게 사용하지 않는 것이 좋고, url은 짧을 수록 좋다. sitemaps 을 모든 포스팅 글에 넣으면 안된다. (오히려 봇이 rate limit 때문에 색인해가지 않는듯 함) 페이징 이동만 잘 google search bot 이 가져갈 수 있게, 세팅 해놓는것이 제일 베스트인것 같다. 그러면, google search bot이 알아서 페이징 돌면서 가져가는 것 같다. 이게 오히려 더 나은 전략이라고 생각된다.

앞으로 어떻게 될지는 지켜봐야겠지만, 11월 18일부터 여러차례 seo 를 변경작업했지만, 결과적으로 google search bot 이 스스로 페이지를 감지하고 페이징을 이동하면서 추출해가는 게 제일 노출이 빠르고 best 라고 보여진다는 것.

블로그 같이 포스팅스러운 사이트의경우 sitemaps 에서 모든 포스팅을 전달하는건(과도하게) 오히려 안 좋은 것으로 판단된다.

물론, 여기까지는 SEO 노출이 되느냐를 결정한 것이고, 앞으로는 SEO 순위를 올리는데 집중해야될 수도 있겠다.

다른 글