[Webpack] robots.txt 추가

검색엔진에게 보여줄 robots.txt를 만들어 주자.

일단 나는 프론트에서, 백에서 둘 다 적용해 봤는데..

네이버 서치어드바이저에서 인식하는데 시간이 좀 걸리는 바람에 어떤 방법이 먹힌지는 잘 모르겠다.;

 

1. React 프로젝트 Root에 robots.txt 파일 추가

프로젝트의 루트에 robots.txt를 생성한 후 내용을 입력하여 저장한다.

User-agent: *
Allow: /

나는 일단 모두 허용할 것이기 때문에 위와 같이 작성해 주었다.

어떤 검색엔진이 와도 허용할 것이라는 의미

 

2. robotstxt-webpack-plugin 설치

robotstxt-webpack-plugin

npm install --save-dev robotstxt-webpack-plugin

 

webpack.config.js

const RobotstxtPlugin = require('robotstxt-webpack-plugin');

plugins: [
  ...
  new RobotstxtPlugin()
]

배포 후 url 뒤에 /robots.txt를 입력해보면 아래 사진처럼 잘 나온다.

 

(+ node.js에서는 "/robots.txt" api를 부를 때 실제 파일을 반환해 주었다)