Robots.txt를 찾을 수 없습니다. 문제
서치 콘솔에 등록만 하면 되는 줄 알았는데 어느 날 메일을 열어보니 색인 생성에 문제가 생겨서 뭐가 안되다는데 색인 생성? 좀 더 알아듣기 쉬운 언어로 표기할 수는 없는 걸까? 그냥 '구글에 당신의 글이 뜨지 않습니다'로 표현할 수는 없는 건가.
문제를 눌러보니 Robots.txt를 찾을 수 없습니다.라고 나오는데 무슨 말인지 모르겠고 어떻게 해결하는 건지도 알 수 없었다.
Robots.txt가 뭔지 찾아보니 웹사이트가 크롤러나 다른 자동화된 에이전트와 통신하기 위해 사용하는 로봇 언어라고 한다. 그러니까 메일 내용은 구글 크롤러가 내가 쓴 글을 읽지 못해서 구글에 띄워줄 수 없다 이런 얘기인 것 같다.
해결 방법을 검색해 보니 User-agent: * Disallow: / 파일은 모든 웹페이지와 디렉터리에 대한 액세스를 금지하는 것이므로 를 User-agent: * Allow: /로 바꿔주라는 것이다.
무슨 말인지는 알겠는데 이게 티스토리 어디에서 어떻게 찾는지 모르겠다. 어디에서는 티스토리 html의 파일 업로드에 있다고 했는데 찾아보니 거기에 없었고 다른데도 없었다. (나중에 찾기는 했지만 지금은 또 어디 있는지 잊어 버렸음)
이 문제만 있는 것이 아니라 url검색과 색인 생성 요청 자체가 되지 않는 문제도 생겼는데..(전에는 됐었음)
여기저기 찾아보았지만 원하는 답이 없었다. 이 문제와 비슷한 문제가 있는 자료를 찾았지만 해결할 수 없었고 무슨 말인지도 모르게 써 놓은 것도 많고 설명하는 것 같더니 갑자기 끝나버리는 글들 때문에 머리가 아파지기 시작했다.
그래도 그런 글들을 보면서 이런저런 것들을 배우게 되고 갑자기 해결이 됐는데 그 방법을 설명해 보겠다.
해결 방법
먼저 티스토리를 구글 서치 콘솔에 등록할 때 내 url을 입력하면 소유권 확인을 위해 구글에서 복사해 넣으라는 메타태그를 티스토리에 입력해야 한다.
이때 보통 관리> 꾸미기> 스킨 편집> html에 들어가 <head>와 </head> 사이에 이 메타 태그를 넣어준다.
그런데 생각해 보니 여기서 뭔가 꼬였을지도 모른다는 생각이 들었다.
서치 콘솔 사이트 설명에 보면 <body> 섹션 전에 나오는 <head> 섹션에 붙이라고 하는데 제대로 붙이지 않았을지도 모른다는 생각. 그래서 찾아 들어가 봤다. 찾아보니 네이버 메타 태그와 다른 메타태그 하나는 두 개가 같이 붙어 있었는데 구글 메타 태그는 저기 아래에 따로 붙어 있는 것이 아닌가? (이게 따로 떨어져 있어도 되는 건가? 모르겠다..)
아무튼 뭔지 몰라도 일단 잘 못 된 거 같아 태그를 삭제했다. 그리고 괜히 잘 못 건드렸다가 엉망이 될 수 있을 것 같아서 플러인에서 붙여 넣기로 했다.
먼저 삭제하기 전에 태그를 복사해 메모장에 붙여 놓는다.
그리고 관리> 플러그인> 메타 태그에 들어간다.
들어가서 앞쪽 네모칸에는 google-site-머 머머를 붙여 넣는다 그리고 뒤에는 content=를 뺀 나머지를 집어넣는다. 그리고 연결하면 끝.
될까 싶어 다시 서치 콘솔로 돌아가서 url을 검색해 보니 또 색인 생성이 안되고 뭐가 안된다고 했다.
그래서 한 것은 rss와 sitemaps를 지웠다가 다시 제출했다.
그리고 오늘 다시 검사하고 색인 생성 요청 했더니 이제 잘된다. 문제도 해결됨.
처음에는 서치 콘솔에 url삭제하고 다시 해볼까도 했지만 또 문제가 될 수도 있을 것 같아서 그만두었다. 혹시 지웠다 다시 넣으면 해결될 수도 있을까? 궁금하다. 겨우 해결은 했지만 하나 해결하면 또 다른 문제가 생긴다.
색인 생성 문제에 대한 메일은 여러 번 날아왔는데 그중에는 모바일 친화성 문제도 있었다. 그때는 사진 용량을 줄이거나 아예 삭제해 버리는 것으로 문제를 해결했다.
'생활정보 > 정보와이야기' 카테고리의 다른 글
| 죽은 사람이 나오는 꿈 해몽 친구 가족 (0) | 2023.02.17 |
|---|---|
| 오아시스 가입하게 만든 상장 철회 추천인 doldori (0) | 2023.02.16 |
| 티스토리 줄간격 갑자기 커졌을때 쉽게 고치는 방법 글자 크기 조정 (0) | 2023.02.10 |
| 온 오프라인으로 돈 버는 방법 22가지! (0) | 2023.02.08 |
| 인터넷으로 돈 버는 방법을 알려주는 책들 (0) | 2023.02.07 |
댓글