ความหมายของ Web Spidering และโปรแกรมรวบรวมข้อมูลเว็บ

สไปเดอร์คือโปรแกรม (หรือสคริปต์อัตโนมัติ) ที่ 'คลาน' ผ่านเว็บเพื่อค้นหาข้อมูล แมงมุมเดินทางผ่าน URL เว็บไซต์และสามารถดึงข้อมูลจากหน้าเว็บเช่นที่อยู่อีเมล สไปเดอร์ยังใช้เพื่อป้อนข้อมูลที่พบในเว็บไซต์เพื่อค้นหา

สไปเดอร์ซึ่งเรียกว่า 'โปรแกรมรวบรวมข้อมูลเว็บ' ค้นหาเว็บและไม่ใช่ทุกคนที่เป็นมิตรในเจตนาของพวกเขา

ผู้ส่งอีเมลขยะแมงมุมเว็บไซต์เพื่อรวบรวมข้อมูล

Google, Yahoo! และเครื่องมือค้นหาอื่น ๆ ไม่ใช่คนเดียวที่สนใจในการรวบรวมข้อมูลเว็บไซต์ - เช่นเดียวกับนักหลอกลวงและผู้ส่งอีเมลขยะ

ผู้ส่งอีเมลขยะใช้เครื่องมือแมงมุมและเครื่องมืออัตโนมัติอื่น ๆ เพื่อค้นหาที่อยู่อีเมล (บนอินเทอร์เน็ตการปฏิบัตินี้มักเรียกกันว่า 'การเก็บเกี่ยว') บนเว็บไซต์แล้วใช้เพื่อสร้างรายการสแปม

สไปเดอร์เป็นเครื่องมือที่เครื่องมือค้นหาใช้เพื่อค้นหาข้อมูลเพิ่มเติมเกี่ยวกับเว็บไซต์ของคุณ แต่ไม่ได้ตรวจสอบเว็บไซต์ที่ไม่มีคำแนะนำ (หรือ 'สิทธิ์') ในการรวบรวมข้อมูลเว็บไซต์ของคุณอาจมีความเสี่ยงด้านความปลอดภัยข้อมูล สไปเดอร์เดินทางโดยไปตามลิงก์และพวกเขามีความเชี่ยวชาญอย่างมากในการค้นหาลิงก์ไปยังฐานข้อมูลไฟล์โปรแกรมและข้อมูลอื่น ๆ ที่คุณอาจไม่ต้องการให้พวกเขาเข้าถึง

ผู้ดูแลเว็บสามารถดูบันทึกเพื่อดูว่าสไปเดอร์และโรบอตตัวอื่นเข้าเยี่ยมชมไซต์ของพวกเขาได้อย่างไร ข้อมูลนี้ช่วยให้เว็บมาสเตอร์ทราบว่าใครกำลังจัดทำดัชนีไซต์และความถี่

ข้อมูลนี้มีประโยชน์เพราะช่วยให้เว็บมาสเตอร์สามารถปรับแต่ง SEO และอัปเดตไฟล์ robots.txt เพื่อห้ามไม่ให้โรบอตบางตัวรวบรวมข้อมูลเว็บไซต์ของตนในอนาคต

เคล็ดลับในการปกป้องเว็บไซต์ของคุณจากโปรแกรมรวบรวมข้อมูลหุ่นยนต์ที่ไม่ต้องการ

มีวิธีที่ค่อนข้างง่ายในการป้องกันโปรแกรมรวบรวมข้อมูลที่ไม่ต้องการออกจากเว็บไซต์ของคุณ แม้ว่าคุณจะไม่กังวลเกี่ยวกับสไปเดอร์ที่เป็นอันตรายในการรวบรวมข้อมูลเว็บไซต์ของคุณ (การทำให้อีเมล์ยุ่งเหยิงจะไม่ปกป้องคุณจากโปรแกรมรวบรวมข้อมูลส่วนใหญ่) แต่คุณก็ควรจะต้องให้คำแนะนำที่สำคัญแก่เครื่องมือค้นหา

เว็บไซต์ทั้งหมดควรมีไฟล์อยู่ในไดเรกทอรีรากที่เรียกว่าไฟล์ robots.txt ไฟล์นี้ช่วยให้คุณสามารถสั่งให้โปรแกรมรวบรวมข้อมูลเว็บที่คุณต้องการให้พวกเขาทำดัชนีหน้าเว็บ (เว้นแต่จะระบุไว้เป็นอย่างอื่นในข้อมูลเมตาของหน้าใดหน้าหนึ่งที่ไม่ได้จัดทำดัชนี) หากเป็นเครื่องมือค้นหา

เช่นเดียวกับที่คุณสามารถบอกได้ว่าต้องการโปรแกรมรวบรวมข้อมูลที่คุณต้องการให้พวกเขาเรียกดูคุณยังสามารถบอกพวกเขาว่าพวกเขาจะไม่ไปที่ไหนและแม้แต่บล็อกโปรแกรมรวบรวมข้อมูลเฉพาะจากเว็บไซต์ทั้งหมดของคุณ

โปรดทราบว่าไฟล์ robots.txt ที่รวบรวมมาอย่างดีจะมีคุณค่าอย่างมากสำหรับเครื่องมือค้นหาและอาจเป็นองค์ประกอบสำคัญในการปรับปรุงประสิทธิภาพเว็บไซต์ของคุณ แต่โปรแกรมรวบรวมข้อมูลหุ่นยนต์บางตัวจะไม่สนใจคำแนะนำของคุณ ด้วยเหตุผลนี้จึงเป็นสิ่งสำคัญที่จะต้องอัปเดตซอฟต์แวร์ปลั๊กอินและแอพทั้งหมดของคุณให้ทันสมัยอยู่ตลอดเวลา

บทความและข้อมูลที่เกี่ยวข้อง

เนื่องจากความแพร่หลายของการเก็บเกี่ยวข้อมูลที่ใช้เพื่อวัตถุประสงค์ที่ไม่ดี (สแปม) จึงมีการออกกฎหมายในปี 2003 เพื่อให้การปฏิบัติบางอย่างผิดกฎหมาย กฎหมายคุ้มครองผู้บริโภคอยู่ภายใต้พระราชบัญญัติ CAN-SPAM ปี 2003

สิ่งสำคัญคือคุณต้องใช้เวลาในการอ่านพระราชบัญญัติ CAN-SPAM หากธุรกิจของคุณประกอบธุรกิจในการส่งจดหมายจำนวนมากหรือการเก็บเกี่ยวข้อมูล

คุณสามารถหาข้อมูลเพิ่มเติมเกี่ยวกับกฎหมายป้องกันสแปมและวิธีจัดการกับสแปมเมอร์และสิ่งที่คุณเป็นเจ้าของธุรกิจอาจไม่ทำโดยอ่านบทความต่อไปนี้:

• CAN-SPAM Act 2003
• CAN-SPAM Act กฎสำหรับองค์กรไม่แสวงหาผลกำไร
• 5 CAN-SPAM กฎเจ้าของธุรกิจขนาดเล็กจำเป็นต้องเข้าใจ