๋ฐ˜์‘ํ˜•

๋ธ”๋กœ๊ทธ(Blog) 3

์˜คํ”ˆAI ์›น ํฌ๋กค๋Ÿฌ 'GPT๋ด‡' robots.txt๋กœ ์ฐจ๋‹จํ•˜๋Š” ๋ฐฉ๋ฒ•

์ตœ๊ทผ ์ธ๊ณต์ง€๋Šฅ ๊ธฐ์ˆ ์˜ ๋ฐœ์ „๊ณผ ํ•จ๊ป˜ ๋‹ค์–‘ํ•œ ์›น ํฌ๋กค๋Ÿฌ๋“ค์ด ๋“ฑ์žฅํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ๊ทธ์ค‘์—์„œ๋„ ์˜คํ”ˆAI(Open AI)์˜ 'GPT๋ด‡'์€ ์›น์‚ฌ์ดํŠธ์˜ ๋ฐ์ดํ„ฐ๋ฅผ ์ˆ˜์ง‘ํ•˜์—ฌ ์ž์‚ฌ์˜ AI ๋ชจ๋ธ์„ ํ•™์Šต์‹œํ‚ค๋Š” ๋ฐ ํ™œ์šฉ๋˜๋Š”๋ฐ์š”. ํ•˜์ง€๋งŒ ๋ชจ๋“  ์›น์‚ฌ์ดํŠธ ์†Œ์œ ์ž๊ฐ€ ์ด๋Ÿฌํ•œ ํฌ๋กค๋ง์„ ์›ํ•˜์ง€๋Š” ์•Š์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ด๋ฒˆ ๊ธ€์—์„œ๋Š” ์˜คํ”ˆAI ์›น ํฌ๋กค๋Ÿฌ 'GPT๋ด‡'์„ ์ฐจ๋‹จํ•˜๋Š” ๋ฐฉ๋ฒ•์— ๋Œ€ํ•ด ์•Œ์•„๋ณด๊ฒ ์Šต๋‹ˆ๋‹ค.    ๋ชฉ์ฐจ   GPT๋ด‡์ด๋ž€ ๋ฌด์—‡์ธ๊ฐ€?GPT๋ด‡(GPTBot)์€ ์˜คํ”ˆAI์—์„œ ๊ฐœ๋ฐœํ•œ ์›น ํฌ๋กค๋Ÿฌ๋กœ, ์ธํ„ฐ๋„ท ์ƒ์˜ ๋‹ค์–‘ํ•œ ๋ฐ์ดํ„ฐ๋ฅผ ์ˆ˜์ง‘ํ•˜์—ฌ ์ž์‚ฌ์˜ ์–ธ์–ด ๋ชจ๋ธ์„ ํ•™์Šต์‹œํ‚ค๋Š” ๋ฐ ์‚ฌ์šฉ๋ฉ๋‹ˆ๋‹ค. ์ด๋Ÿฌํ•œ ๋ฐ์ดํ„ฐ ์ˆ˜์ง‘์„ ํ†ตํ•ด AI ๋ชจ๋ธ์˜ ์„ฑ๋Šฅ์„ ํ–ฅ์ƒ์‹œํ‚ค๊ณ , ๋”์šฑ ์ •ํ™•ํ•˜๊ณ  ์œ ์šฉํ•œ ์ •๋ณด๋ฅผ ์ œ๊ณตํ•˜๋Š” ๋ฐ ๋ชฉ์ ์ด ์žˆ์Šต๋‹ˆ๋‹ค. ๊ทธ๋Ÿฌ๋‚˜ ์ผ๋ถ€ ์›น์‚ฌ์ดํŠธ ์†Œ์œ ์ž๋“ค์€ ์ž์‹ ์˜ ์ฝ˜ํ…์ธ ๊ฐ€ ๋ฌด..

Vultr ๋ฒŒ์ณ ํ˜ธ์ŠคํŒ… ๊ฐ€์ž…๋ฐฉ๋ฒ• ์›Œ๋“œํ”„๋ ˆ์Šค ์„œ๋ฒ„ ์ถ”์ฒœ ๊ฐ€๊ฒฉ ์ด์ •๋ฆฌ

์•ˆ๋…•ํ•˜์„ธ์š”. ํ˜น์‹œ ํด๋ผ์šฐ๋“œ ํ˜ธ์ŠคํŒ…์— ๋Œ€ํ•ด ๋“ค์–ด ๋ณด์…จ๋‚˜์š”? ์ผ๋ฐ˜์ ์ธ ์„œ๋ฒ„ ํ˜ธ์ŠคํŒ…๋ณด๋‹ค ๋” ์œ ์—ฐํ•˜๊ณ  ๋น ๋ฅด๋ฉฐ ํšจ์œจ์ ์ธ ๋ฐฉ์‹์œผ๋กœ ์šด์˜ํ•˜๋Š” ํ˜ธ์ŠคํŒ…์œผ๋กœ ์›Œ๋“œํ”„๋ ˆ์Šค ์›น์‚ฌ์ดํŠธ๋‚˜ ์•ฑ ์šด์˜์ž๋“ค์—๊ฒŒ ์ธ๊ธฐ๊ฐ€ ๋†’์Šต๋‹ˆ๋‹ค. ํŠนํžˆ ํด๋ผ์šฐ๋“œ ํ˜ธ์ŠคํŒ… ์„œ๋น„์Šค ์ค‘ Vultr(๋ฒŒ์ณ)๋Š” ์ด ๋ถ„์•ผ์—์„œ ์„ ๋‘๋ฅผ ๋‹ฌ๋ฆฌ๊ณ  ์žˆ๋Š”๋ฐ์š”. ๊ฐ„๋‹จํ•œ ๊ฐ€์ž…๋ฐฉ๋ฒ•๋ถ€ํ„ฐ ํ•ฉ๋ฆฌ์ ์ธ ์›Œ๋“œํ”„๋ ˆ์Šค ์„œ๋ฒ„ ๊ฐ€๊ฒฉ๊นŒ์ง€ ์žฅ์ ์ด ๋งŽ์Šต๋‹ˆ๋‹ค. ์ด๋ฒˆ ๊ธ€์—์„œ๋Š” ๋ฒŒ์ณ ๊ฐ€์ž…๋ฐฉ๋ฒ•์— ๋Œ€ํ•ด ์•Œ์•„๋ณด๊ฒ ์Šต๋‹ˆ๋‹ค.   ๋ชฉ์ฐจ   1. ๋ฒŒ์ณ(Vultr) ํ˜ธ์ŠคํŒ…์ด๋ž€Vultr๋Š” 2014๋…„์— ์„ค๋ฆฝ๋œ ํด๋ผ์šฐ๋“œ ํ˜ธ์ŠคํŒ… ์„œ๋น„์Šค๋กœ, ํ˜„์žฌ๊นŒ์ง€ 2,200๋งŒ ๊ฐœ ์ด์ƒ์˜ ํด๋ผ์šฐ๋“œ ์ธ์Šคํ„ด์Šค๋ฅผ ๋ฐฐํฌํ•˜๋ฉฐ ์ „ ์„ธ๊ณ„ 150๊ฐœ๊ตญ์—์„œ 10๋งŒ ๋ช… ์ด์ƒ์˜ ์‚ฌ์šฉ์ž๋ฅผ ๋ณด์œ ํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ์ด ์„œ๋น„์Šค๋Š” 100% SSD ์Šคํ† ๋ฆฌ์ง€์™€ ์ตœ์‹  Intel CPU๋ฅผ ํ™œ์šฉํ•˜..

ํ‹ฐ์Šคํ† ๋ฆฌ ๋น™(Bing) ์›น๋งˆ์Šคํ„ฐ ๋„๊ตฌ ์‚ฌ์ดํŠธ๋งต RSS ์ œ์ถœ ์˜ค๋ฅ˜ ํ•ด๊ฒฐ ๋ฐฉ๋ฒ•

ํ‹ฐ์Šคํ† ๋ฆฌ ๋ธ”๋กœ๊ทธ ๋ฐฉ๋ฌธ์ž ์œ ์ž…์„ ์œ„ํ•ด ๋น™(Bing)์— ์‚ฌ์ดํŠธ๋ฅผ ๋“ฑ๋กํ•ฉ๋‹ˆ๋‹ค. ๊ทธ๋Ÿฌ๋‚˜ ๋น™ ์›น๋งˆ์Šคํ„ฐ ๋„๊ตฌ์—์„œ ์‚ฌ์ดํŠธ๋งต๊ณผ RSS ์ œ์ถœ ๊ณผ์ •์—์„œ ์˜ค๋ฅ˜๊ฐ€ ๋ฐœ์ƒํ•˜๋Š”๋ฐ์š”. ํŠนํžˆ, HTTP 429(์š”์ฒญ ๊ณผ๋‹ค), 403(๊ธˆ์ง€๋จ) ๋“ฑ์˜ ์˜ค๋ฅ˜๋Š” ํ”Œ๋žซํผ ์„ค์ •๊ณผ ์ œ์ถœ ๋ฐฉ์‹์˜ ๋ฌธ์ œ์—์„œ ๋น„๋กฏ๋ฉ๋‹ˆ๋‹ค. ์ด๋ฒˆ ๊ธ€์—์„œ๋Š” ํ‹ฐ์Šคํ† ๋ฆฌ ๋ธ”๋กœ๊ทธ ๋น™ ์›น๋งˆ์Šคํ„ฐ ๋„๊ตฌ ์‚ฌ์ดํŠธ๋งต ์ œ์ถœ์‹œ ์‚ฌ์ดํŠธ๋งต๊ณผ RSS ์ œ์ถœ ์˜ค๋ฅ˜ ํ•ด๊ฒฐ ๋ฐฉ๋ฒ•์— ๋Œ€ํ•ด ์„ค๋ช…๋“œ๋ฆฌ๊ฒ ์Šต๋‹ˆ๋‹ค.    ๋ชฉ์ฐจ   1. ์‚ฌ์ดํŠธ๋งต ์ œ์ถœ ์˜ค๋ฅ˜ ์œ ํ˜•์ •์ƒ ์šด์˜์ค‘์ธ ํ‹ฐ์Šคํ† ๋ฆฌ ๋ธ”๋กœ๊ทธ์˜ ์‚ฌ์ดํŠธ๋งต(Sitemap.xml)๊ณผ RSS๋ฅผ ์ œ์ถœ ํ–ˆ์ง€๋งŒ ์˜ค๋ฅ˜๊ฐ€ ๋ฐœ์ƒํ•˜๋Š”๋ฐ์š”. ๋Œ€๋ถ€๋ถ„ ์ฃผ์†Œ ํ˜•์‹ ์˜ค๋ฅ˜๋กœ ์ธํ•œ ๋ฌธ์ œ๊ฐ€ ๋งŽ์Šต๋‹ˆ๋‹ค.1) HTTP 429 - ์š”์ฒญ ๊ณผ๋‹ค ์˜ค๋ฅ˜์›์ธ: ๊ณผ๋„ํ•œ ์š”์ฒญ์œผ๋กœ Bing ์„œ๋ฒ„๊ฐ€ ์ฐจ๋‹จํ•˜๋Š” ๊ฒฝ์šฐ ๋ฐœ์ƒ.๋Œ€์ฒ˜ ๋ฐฉ๋ฒ•: ์š”์ฒญ..

๋ฐ˜์‘ํ˜•