Sự bảo vệ chống lại robot là gì. Bảo vệ chống lại robot spam

Các tác giả của các truy vấn tìm kiếm có thể không chỉ là người dùng mà còn robot. Với một dòng yêu cầu lớn từ robot, các hạn chế được áp dụng đối với việc sử dụng Yandex.xml có thể vượt quá.

Để ngăn chặn các liên hệ trái phép của robot tìm kiếm, thuật toán phòng thủ được sử dụng. Nếu giả định rằng yêu cầu được đặt bởi robot, captcha () được trả về thay vì kết quả tìm kiếm.

Để sử dụng thuật toán bảo vệ robot, đối tác phải truyền thông tin về địa chỉ IP và Cook Spravka Tác giả của yêu cầu. Cook Spravka được hình thành ở bên cạnh Yandex.xml và trả về khi người dùng đang xử lý lần đầu tiên cho kết quả tìm kiếm. Trong giá trị kết quả, đối tác phải thay thế tên miền vào nó, sau đó thêm dòng sau vào phản hồi tìm kiếm:

Set-Cookie: Spravka \u003d ...

Thông tin về địa chỉ IP và Cook Spravagh được truyền đến tiêu đề truy vấn ở định dạng:

X-Real-IP: 99.999.999.99 Cookie: Spravka \u003d<значение, переданное от Яндекса>

Sơ đồ của trình tự các hành động được thực hiện để bảo vệ chống lại robot được hiển thị trong hình dưới đây.

Truy vấn tìm kiếm được gửi đến dịch vụ YandEx.xml. Truy vấn phải khớp với định dạng được chỉ định.

Yandex.XML bắt đầu thực hiện các thuật toán bảo vệ robot. Để kiểm tra, các giá trị của địa chỉ IP và cookie spravka được sử dụng (nếu được trưng bày trước đó).

Kiểm tra kết quả có thể có:

• Có lẽ, yêu cầu được gửi không phải là robot. Sự chuyển đổi sang mặt hàng.
• Có lẽ, yêu cầu đã được gửi bởi một robot. Quyết định hiển thị CAPTCHA được chấp nhận.
1. Yandex.xml trả về tệp XML định dạng tiếp theo cho đối tác: Robot yêu cầu http: //captcha.image.gif. Số nhận dạng CAPTCHA Trạng thái
2. Người dùng trả về một trang chứa CAPTCHA.
3. Người dùng gửi giá trị đối tác CAPTCHA.
4. Đối tác gửi giá trị CAPTCHA nhận được từ người dùng: Định dạng sau: https://yandex.ru/xcheckcaptcha?key\u003d<идентификационный номер CAPTCHA> & Rep \u003d.<введеное пользователем значение CAPTCHA>

5. Giá trị kết quả được kiểm tra bởi dịch vụ YandEx.xml. Nếu giá trị CAPTCHA không chính xác được nhập, việc chuyển sang mục được thực hiện. Đồng thời trong tham số trạng thái CAPTCHA, giá trị "không thành công" được truyền.

   Nếu giá trị CAPTCHA chính xác được nhập, Yandex.xml sẽ hiển thị người dùng Spravka Cook và truyền nó cho đối tác theo định dạng sau:

   Http / 1.1 200 ok set-cookie: spravka \u003d< значение куки >

   Nếu yêu cầu được chuyển đến Yandex.xml trong bước đã được lưu thành công, chuyển sang bước.

6. Đối tác cung cấp cho người dùng nhập yêu cầu.

Người dùng sẽ gửi yêu cầu đến đối tác của YandEx.xml.

7. Truy vấn tìm kiếm được gửi đến dịch vụ YandEx.xml. Yêu cầu được truyền với địa chỉ IP của người dùng và Cook Spravka.
8. Yandex.XML xử lý một truy vấn tìm kiếm và kết quả biểu mẫu.
9. Một tệp XML với kết quả tìm kiếm được trả về đối tác.
10. Đối tác trả lại phản hồi đã xử lý cho người dùng. Nếu trong bước Yandex.xml, tôi đặt Cook Spravka, nó được người dùng lưu lại.

Kiểm tra hiển thị chính xác của CAPTCHA

Để làm quen với phản hồi, được trả về bởi yandex.xml nếu captcha được hiển thị, bạn phải được gửi dưới dạng truy vấn (giá trị của tham số truy vấn của truy vấn tìm kiếm) dòng tiếp theo: "E48A2B93DE1740F48F6DE0D45DC4192A".

Truy vấn nhận tiếp theo có thể được sử dụng bởi người dùng "XML-Search-User" để làm quen với định dạng phản hồi được trả về nếu CAPTCHA được hiển thị.

Hãy tưởng tượng tình huống: bạn mở báo cáo Google Analytics. Và thấy sự phát triển của giao thông giới thiệu. Tuyệt vời, bạn nghĩ rằng bạn, có một số chất béo liện kết ngoạiMà mọi người đến trang web tabuny. Tuy nhiên, phân tích cho thấy 90% lưu lượng truy cập giới thiệu đến từ một số tài nguyên đáng ngờ. Hơn nữa, dưới các ấn phẩm của bạn, những bình luận vô tình theo phong cách của " chủ đề mát mẻVà ở đây gần đây tôi đã tải xuống một cái gì đó mát mẻ và miễn phí. " Đương nhiên, các bình luận viên đề cập đến đây là tuyệt vời nhất và miễn phí. Có vẻ như các bot spam đến trang web của bạn. Làm thế nào để bảo vệ họ và tại sao lại làm điều đó?

Tại sao chặn và lọc những kẻ gửi thư rác

Thứ hai, các xâm lấn khối lượng của các bot tạo tải quá mức trên máy chủ. Nếu một chúng tôi đang nói chuyện Khoảng một hai chuyến thăm mỗi ngày, rất có thể, bạn sẽ không nhận thấy vấn đề. Và nếu các chuyến thăm được tính toán hàng chục hàng chục mỗi ngày, khách truy cập thực sự của bạn có thể nhận thấy sự sụt giảm tốc độ tải trang. Như bạn biết, đây là một vấn đề lớn. Cuối cùng, bot có thể không chỉ để lại ý kiến. Một số chương trình đang tìm kiếm các lỗ hổng trong động cơ của bạn hoặc cố gắng truy cập máy chủ.

Cách bảo vệ bản thân khỏi các bot spam

Bạn có thể tận dụng ba cách để bảo vệ chống lại kẻ gửi thư rác. Đầu tiên có thể được coi là triệt để và nguy hiểm nhất. Thứ hai và thứ ba là cách mềm mại sự bảo vệ. Để cải thiện hiệu quả, chúng có thể được sử dụng đồng thời.

1. Khối bot spam bằng file.htaccess

Như đã lưu ý ở trên, đây là nhiều nhất cách thức triệt để Chống lại những kẻ gửi thư rác và bất kỳ du khách không mong muốn nào khác. Định cấu hình file.htaccess, bạn cấm đăng nhập vào trang web cho người dùng đến từ địa chỉ IP được chỉ định của bạn. Ưu điểm chính của phương pháp này là bảo vệ trang web khỏi các nỗ lực hack, một máy chủ từ tải không cần thiết, người dùng từ thư rác và dữ liệu thống kê từ biến dạng.

Tuy nhiên, chặn bằng cách sử dụng tệp.htaccess có nhược điểm. Đầu tiên, những kẻ gửi thư rác có thể dễ dàng thay đổi địa chỉ IP. Thứ hai, bạn có thể đóng trang web cho khách truy cập bình thường có cùng với những kẻ gửi thư rác của Aypishnik. Nếu nó không làm bạn sợ, thì hãy tiến hành:

• Tìm tệp.htaccess trong thư mục gốc. Truy cập vào danh mục gốc Thông thường thông qua FTP trong văn phòng cài đặt Hosting.
• Nếu tập tin tương ứng bị thiếu, hãy tự tạo nó. Để thực hiện việc này, hãy mở một Notepad, tạo tệp htaccess.txt, tải xuống nó để thư mục gốc Và đổi tên v.htaccess.
• Để chặn những kẻ gửi thư rác, hãy thực hiện các mục sau trong tệp:

Đặt hàng cho phép, từ chối

Từ chối từ **. ***. ***. **

Từ chối từ **. ***. ***. **

Thay vì sao, hãy đặt các địa chỉ IP bạn muốn chặn. Nhiều khả năng bạn phải liên tục thêm "ipishniki" mới vào danh sách.

2. Cấu hình bộ lọc Google Analytics

Phương pháp này giải quyết tác vụ duy nhất: bảo vệ dữ liệu thống kê khỏi biến dạng. Đồng thời, các bot spam tiếp tục truy cập trang web của bạn, để lại nhận xét, tạo tải trên máy chủ và, có thể, hãy thử truy cập quản lý tài nguyên.

Để loại bỏ dữ liệu về các hành động của bot trên trang web, bạn cần tạo bộ lọc mới. Gậy thuật toán tiếp theo Hành động:

• Chọn tùy chọn "Quản trị viên" trong menu ngang.

• Trên cột bên phải, chọn menu "Bộ lọc" và nhấp vào nút "Bộ lọc mới".

• Sử dụng bộ lọc tích hợp để chặn các địa chỉ IP không mong muốn. Để thực hiện việc này, trong menu "Chọn loại bộ lọc", hãy chỉ định "Loại trừ", chọn menu "Lưu lượng truy cập từ IP", chọn menu "Chọn biểu thức", chỉ định tùy chọn "giống" ". Trong trường "Địa chỉ IP", chỉ định các địa chỉ mà bạn muốn chặn. Lưu các cài đặt.

Bạn cũng có thể loại bỏ dữ liệu về các chuyến thăm từ một số quốc gia, khu vực và thành phố nhất định. Để thực hiện việc này, hãy chọn tùy chọn thích hợp bằng menu thả xuống "Trường bộ lọc".

Cũng trong menu "Cài đặt trình bày", xác nhận tùy chọn "Lọc Robot". Mặc định google Filter. Analytics có thể loại trừ một số robot khỏi báo cáo.

3. Sử dụng khả năng CMS và các plugin bổ sung.

Phương pháp này bảo vệ người dùng khỏi nhận xét spam và trang web của bạn từ các nỗ lực hack. Chọn các công cụ cụ thể tùy thuộc vào động cơ mà tài nguyên của bạn hoạt động. Con số công cụ phổ quát Sau đây là:

• Hướng dẫn xác định ý kiến.
• Capple.
• Bảo vệ adminPanel của trang web từ Bruthiforsing. Nếu trang web của bạn hoạt động trên WordPress, tác vụ này được giải quyết bằng cách sử dụng plugin đăng nhập giới hạn.
• Chặn các bình luận viên spam trên IP, việc sử dụng các từ spam, địa chỉ điện tử. Khuyến nghị cho tài nguyên WordPress: Trong quản trị viên Paul, chọn menu "Cài đặt - Thảo luận". Trong lĩnh vực "Danh sách đen", mang lại "Aypishniki" không mong muốn, Địa chỉ điện tử, những từ spam. Nhiệm vụ này cũng có thể được giải quyết bằng cách sử dụng plugin WP-BAN.

• Plugin Antispam. Các chương trình này xác định thuật toán spam. Các trình cắm phổ biến nhất cho WordPress bao gồm Akismet, Anti-Spam, Captcha vô hình, Bee Antispam.

Xin lưu ý các plugin chống thư rác và ý kiến \u200b\u200btiến hóa trước kinh nghiệm người dùng. Do đó, sử dụng chúng nếu những kẻ gửi thư rác thực sự để lại rất nhiều ý kiến \u200b\u200btrên trang web của bạn.

Những chiến thuật bảo vệ chống lại các bot spam chọn

Nếu những kẻ gửi thư rác làm cho bạn một quảng cáo ngu ngốc về thuốc ma thuật hoặc chia sẻ tập tin, hãy chiến đấu với họ với các plugin và chương trình. Vì vậy, bạn sẽ chặn đa số tin nhắn tự động. Để chiến đấu với nhận xét spam thủ công, bạn sẽ phải sử dụng postact. Để xóa dữ liệu thống kê, hãy định cấu hình các bộ lọc trong Google Analytics. Và nếu bạn nghi ngờ rằng những kẻ tấn công đang cố gắng truy cập trang web của bạn, hãy chặn IP đáng ngờ bằng tệp tệp.htaccess. Bạn cũng có thể dùng phần mềm bảo vệ chống hack. Đừng quên báo cáo về các nỗ lực truy cập trái phép vào nhà cung cấp dịch vụ lưu trữ trang web.

Cách ngăn chặn các bot spam hủy hoại dữ liệu giới thiệu Analytics của bạn bằng Jared Gardner.

Nguyên tắc công việc của họ là: Đầu tiên họ, trên Internet, phân tích các trang web phù hợp theo tiêu chí của họ. Tiếp theo, robot spam thực hiện lập chỉ mục trang trang web bằng cách sử dụng các hình thức nhất định. Sau đó, họ đưa ra một phân tích của hình thức của trang web và sự bảo vệ của nó. Và, theo đó, nếu bảo vệ trang web yếu, robot spam, thêm dữ liệu trang web trong cơ sở riêng dữ liệu. Bây giờ, trên trang web hoặc trên ngăn kéo điện tử Chủ sở hữu trang web, sẽ liên tục đến với tin nhắn spam.

Để bảo vệ trang web của bạn khỏi sự thâm nhập thông tin không mong muốn Một số biện pháp hiệu quả được sử dụng. Nhưng không thể tự bảo vệ mình một cách tuyệt đối. Vì vậy, hãy bắt đầu. Đầu tiên, việc sử dụng CAPTCHA. Capple là một mô hình đồ họa đặc biệt, được mô tả biểu tượng khác nhau và số. Phương pháp này cực kỳ phổ biến. Hầu như trên bất kỳ trang web nào bạn có thể tìm thấy các hình thức điền thông tin bằng cách sử dụng mã bảo vệnằm trong một giọt.

Bạn có thể nhận thấy nhiều hơn một lần khó đoán mã được bao quanh trong một giọt khó khăn. Điều này là do thực tế là webmaster tinh vi đang cố gắng làm biến dạng mã số. Nó phải được thực hiện bởi vì lắp đặt riêng biệt Robot spam, học cách nhận ra mũ. Nếu đối với trang web sử dụng một bãi chứa, các cuộc tấn công robot spam không thể tránh được. Để sửa đổi CAPTCHA của riêng bạn hoặc cải thiện bảo vệ trang web của bạn, bạn có thể sử dụng việc bổ sung các chức năng hình ảnh vào mã PHP.

Thứ hai, chặn robot spam bằng địa chỉ IP của máy tính. Phương pháp này rất ấn tượng nếu có thể xác định địa chỉ IP. Nhưng thường xuyên nhất, robot spam sử dụng máy chủ proxy, vì vậy không thể xác định địa chỉ IP của họ. Thứ ba, chặn robot spam bằng tệp giới thiệu được biên dịch. Thông thường tệp giới thiệu, có nghĩa là địa chỉ của trang hoặc nguồn trước đó, từ nơi chuyển đổi được thực hiện. Nếu một thông số này Nó trống, điều đó có nghĩa là robot spam sẽ dễ dàng xâm nhập vào trang web. Sau tất cả hầu hết Robot spam, hành động chính xác về nguyên tắc này. Do đó, máy chủ proxy thực hiện gửi một yêu cầu sẵn sàng cho Web-North, trong khi truyền tất cả dữ liệu trên trang web.

Thứ tư, xóa hoặc chặn robot spam, sử dụng các bộ lọc văn bản trên các từ hoặc cụm từ spam. Loại bảo vệ này, hiệu quả và hiệu quả nhất. Rốt cuộc, văn bản thu được hoặc truyền được được lọc cẩn thận để có sự hiện diện của thư rác, theo các từ và cụm từ. Kiểm tra này thường được sản xuất chương trình đặc biệt. Nơi yếu Robot spam được giới hạn trong văn bản spam, trong đó hầu hết tất cả các từ được lặp lại nhiều lần. Nên kiểm tra một lần một tuần, nhưng có thể. Điều này phải được thực hiện rằng robot spam không quen với trình bày tượng trưng của nội dung của trang web. Để hoạt động đúng, bạn cần xem xét xử lý văn bản thêm bằng máy chủ. Hóa ra một từ hoặc cụm từ sẽ được nhập vào cơ sở dữ liệu trang web, tương tự như thư rác từ. Vì vậy, để có sự bảo vệ khỏi robot spam, bạn phải sử dụng, ví dụ, các chương trình giới hạn hoặc lọc.

Bảo vệ chống lại thư rác bưu chính trên lớn máy chủ bưu chính, có vẻ khá cải tiến. 2-3 chữ cái không cần thiết mỗi ngày - đây không phải là tất cả những gì đã từng là một lần. Tình hình tồi tệ hơn với việc bảo vệ khỏi spam trên diễn đàn, danh mục trang web và bảng thông báo. Bởi vì các diễn đàn và danh mục là hàng ngàn, và mọi người nên xác định chiến lược phòng thủ. Về nguyên tắc, bảo vệ diễn đàn (blog, bảng thông báo) khỏi thư rác có thể dễ dàng, nhưng đồng thời người dùng tốt Sẽ khó khăn hơn nhiều để giao tiếp (chứng minh "Tôi không phải là robot" không muốn tất cả mọi người).

nhưng) JavaScript: Người dùng nhìn thấy các hướng dẫn trên trang. "Đếm 2 + 3 và nhập số kết quả trong trường tiếp theo." Nếu đây là một văn bản đơn giản, robot cũng có thể đọc nó, tìm số bằng cách sử dụng biểu thức chính quyvà tính toán kết quả. Bạn có thể viết biểu thức "2 + 3" dưới dạng như vậy, ví dụ như mã:

Sau đó robot sẽ không đủ biểu hiện thông thường Để tính toán câu trả lời - anh ta sẽ cần giải thích JavaScript, về cơ bản là khó khăn hơn.

b) Cookie: Khi mở trang chính Trang web Tập lệnh PHP của bạn gửi một trình duyệt thủ công ngắn:

Setcookie ("plyverka", " số ngẫu nhiên");

Sau đó, trình duyệt, nếu anh ta không phải là robot, sẽ phải gửi một cặp "proverka \u003d số ngẫu nhiên" với mỗi truy vấn. Lấy các văn bản từ người dùng kiểm tra tập lệnh nếu trình duyệt đã gửi cặp kiểm tra này. Để đọc cookie và gửi chúng sau với các yêu cầu đến máy chủ - một nhiệm vụ đơn giản hơn nhiều cho robot hơn là nhận ra JavaScript.

© 2009, "Tuần lễ kinh doanh", Mikhail Gutentog

90. quản trị viên

24.11.2009 01:25:46

490. quản trị viên

Hài hước, nhưng dường như, những kẻ gửi thư rác ngu ngốc đọc kỹ các bài viết về các công nghệ web: Nó đáng để viết rằng sự bảo vệ trong các bình luận trên trang web này giống như trong các bài viết - và các robot ngay lập tức đổ vào các bình luận.

24.11.2009 01:25:46

491. D.M., quản trị viên.

Tuy nhiên, có lẽ bài viết đọc robot, và những kẻ gửi thư rác đều.

26.11.2009 04:15:49

500. quản trị viên

Và, nhân tiện, dưới dạng thêm bài viết, tôi cũng đã thay đổi một cái gì đó. Chúng tôi cố gắng sử dụng công nghệ bảo vệ được mô tả trong bài viết này (JavaScript, nằm Unknown, nơi, vẽ một trong các yếu tố của biểu mẫu).

26.11.2009 04:15:49

177. Bifurcator.

Tôi đã làm điều này: Văn bản kiểm tra nhân loại được vẽ trong ổ đĩa flash, gọi là bản vẽ hàm Java-Script ở dạng nút gửi và trường nhập hộp kiểm. Nó chỉ ra rằng ngay cả khi robot và java được bật, thì nó sẽ không thấy các đệ trình của các nút và các trường đầu vào của văn bản kiểm tra. Và trong trình duyệt, ổ đĩa flash sẽ gây ra một hàm vẽ chúng cho người dùng.

11.11.2010 11:07:25

178. Câu chuyện

Chà, những gì sẽ ngăn chặn robot "Kích hoạt" Flash Player. Và nhận được từ đó hướng dẫn cho JavaScript?

Trong phiên bản CAPTCHA phổ biến nhất, người dùng cần nhập các ký tự được mô tả, như một quy tắc, ở dạng méo mó trên hình được cung cấp cho nó, đôi khi với việc bổ sung tiếng ồn hoặc độ mờ. CAPTCHA ít có khả năng dựa trên nhận dạng giọng nói (chủ yếu là một thay thế cho những người vi phạm vi phạm) hoặc trên các phiên bản khác của các nhiệm vụ trí tuệ nhân tạo.

CAPTCHA thường được sử dụng nhiều nhất nếu cần thiết để ngăn chặn việc sử dụng dịch vụ Internet bằng các bot, đặc biệt, để ngăn chặn đăng ký tự động, tải xuống tệp, gửi thư hàng loạt Vân vân.

Có các chương trình nhận ra các triển khai CAPTCHA cụ thể, ví dụ, pwntcha. Ngoài ra, có thể kết nối các mô-đun từ các chương trình nhận dạng văn bản. mục đích chung (Ví dụ: Reader Reader) trong chương trình nhà phát triển bên thứ ba Để nhận biết hình ảnh CAPTCHA.

Công nhận thủ công

Bất chấp lỗ hổng, điều này không có nghĩa là bất kỳ CAPTCHA nào được bảo vệ là vô nghĩa. Có một nguyên tắc vĩnh cửu của vũ khí và các cuộc thi bảo vệ.