Các giải pháp cụm hiệu quả. Thành phần phần mềm máy chủ cụm Veritas

Sự phát triển nhanh chóng của công nghệ thông tin, sự phát triển của dữ liệu được xử lý và truyền đi, đồng thời, yêu cầu ngày càng cao về độ tin cậy, tính sẵn sàng, khả năng chịu lỗi và khả năng mở rộng buộc chúng ta phải có một cái nhìn mới mẻ về công nghệ phân cụm vốn đã rất non trẻ. Công nghệ này cho phép bạn tạo ra các hệ thống khá linh hoạt đáp ứng tất cả các yêu cầu trên. Sẽ là sai lầm khi nghĩ rằng cài đặt một cụm sẽ giải quyết được hoàn toàn mọi vấn đề. Nhưng hoàn toàn có thể đạt được kết quả ấn tượng từ việc phân cụm. Bạn chỉ cần hiểu rõ ràng nó là gì, sự khác biệt đáng kể nhất giữa các giống riêng lẻ của chúng là gì và cũng biết được lợi thế của một số hệ thống nhất định - về hiệu quả của chúng trong công việc kinh doanh của bạn.

Các nhà phân tích tại IDC ước tính rằng thị trường cụm năm 1997 chỉ là 85 triệu USD, trong khi năm ngoái thị trường này đã "trị giá" 367,7 triệu USD.

Vì vậy, chúng ta hãy thử chấm tất cả các chữ "i". Cho đến nay, không có định nghĩa rõ ràng về một cụm. Hơn nữa, không có một tiêu chuẩn nào quy định rõ ràng về cụm. Tuy nhiên, đừng tuyệt vọng, bởi vì bản chất của phân cụm không bao hàm việc tuân thủ bất kỳ tiêu chuẩn nào. Điều duy nhất xác định rằng một cụm là một cụm là một tập hợp các yêu cầu cho các hệ thống như vậy. Hãy liệt kê các yêu cầu này (bốn quy tắc): l độ tin cậy; l tính khả dụng của chức năng (tính khả dụng); l khả năng mở rộng; l sức mạnh tính toán. Dựa trên điều này, chúng tôi xây dựng định nghĩa của một cụm. Một cụm là một hệ thống các thiết bị tùy ý (máy chủ, ổ đĩa, hệ thống lưu trữ, v.v.) cung cấp khả năng chịu lỗi ở mức 99,999% và cũng đáp ứng "bốn quy tắc". Ví dụ, một cụm máy chủ là một nhóm các máy chủ (thường được gọi là các nút cụm) được kết nối và định cấu hình để cung cấp cho người dùng quyền truy cập vào cụm như một tài nguyên thống nhất, duy nhất.

khả năng chịu lỗi

Khả năng mở rộng

Beowulf, hoặc Điện toán

Cụm mini của Dell và Compaq

Chất thải khô

ComputerPress 10 "2000

Cụm là một nhóm các máy tính được kết nối với nhau bằng các kênh giao tiếp tốc độ cao và trông giống như một tài nguyên phần cứng chung duy nhất.

Gregory Pfister, một trong những kiến ​​trúc sư đầu tiên phát triển công nghệ cụm, đã định nghĩa ý nghĩa của cụm bằng những từ sau: "Cụm là một trong những dạng của hệ thống phân tán hoặc song song." Các hệ thống như vậy có thể bao gồm một số máy tính được kết nối với nhau hoặc chúng có thể được sử dụng như một tài nguyên máy tính thống nhất, duy nhất. Hiện tại, tùy chọn chấp nhận được nhất để chọn các nút cụm được coi là hệ điều hành dựa trên bộ xử lý Intel. Có một số lý do, dựa trên kết quả xem xét, lựa chọn tối ưu nhất để xây dựng các cụm là tạo chúng trên cơ sở các hệ thống bộ xử lý kép.

Các cụm được phân thành một số loại chính:
• 1. Các cụm có sẵn cao.
  Các cụm này được sử dụng để đảm bảo tính khả dụng cao nhất có thể của dịch vụ mà cụm đã cho đại diện. Nếu một cụm bao gồm số lượng nút tối đa, tại thời điểm một hoặc nhiều máy chủ bị lỗi, sẽ có đảm bảo cung cấp dịch vụ. Các công ty dịch vụ và sửa chữa máy tính xách tay khuyên người dùng rằng số lượng nút tối thiểu cần thiết để cải thiện tính khả dụng chỉ nên tối đa là hai nút. Có nhiều phát triển phần mềm khác nhau để tạo các loại cụm này.
• 2. Các cụm có chức năng cân bằng tải.
  Nguyên tắc hoạt động của loại cụm này là việc phân phối các yêu cầu thông qua một hoặc một số nút vào cùng một lúc, đến lượt nó, chúng sẽ tham gia vào việc hướng chúng hoàn thành cho tất cả các nút khác. Ở giai đoạn đầu, các nhà phát triển của cụm này tin rằng nó sẽ chịu trách nhiệm về hiệu suất, nhưng trong hầu hết các trường hợp, do các cụm như vậy được trang bị các phương pháp đặc biệt, chúng được sử dụng để cải thiện độ tin cậy. Các cấu trúc như vậy còn được gọi là các trang trại phía bắc.
• 3. Các cụm máy tính.
  Các cụm này được sử dụng rộng rãi trong quá trình tính toán, cụ thể là trong việc thực hiện nhiều nghiên cứu khoa học được thực hiện trong quá trình phát triển các hệ thống cụm đa xử lý. Các cụm máy tính được phân biệt bởi hiệu suất cao của bộ xử lý tại thời điểm hoạt động dấu chấm động và độ trễ thấp của các mạng liên kết. Ngoài ra, với một số tính năng độc đáo, các cụm máy tính góp phần giảm đáng kể thời gian dành cho việc tính toán.
• 4. Hệ thống tính toán phân tán.
  Các hệ thống như vậy không được coi là cụm, nhưng chúng khác nhau về các nguyên tắc tương tự của công nghệ được sử dụng để tạo cụm. Điều quan trọng nhất là sự khác biệt của chúng là mỗi nút của các hệ thống này có tính khả dụng rất thấp, tức là không thể đảm bảo hoạt động hiệu quả của nó. Do đó, trong trường hợp này, để thực hiện một nhiệm vụ cụ thể, nó phải được phân chia giữa một số bộ xử lý độc lập. Loại hệ thống này, không giống như một cụm, không liên quan gì đến một máy tính duy nhất, mà chỉ dùng để thực hiện một cách đơn giản hóa việc phân phối các tính toán thu được. Cấu hình không ổn định trong biến thể này phần lớn được bù đắp bởi số lượng lớn các nút.

Từ Wikipedia, bách khoa toàn thư miễn phí

Các cụm cân bằng tải mạng (NLB)

Nguyên tắc hoạt động của chúng dựa trên việc phân phối các yêu cầu thông qua một hoặc nhiều nút đầu vào, các nút này sẽ chuyển hướng chúng để xử lý đến các nút tính toán còn lại. Mục đích ban đầu của một cụm như vậy là hiệu suất, tuy nhiên, họ cũng thường sử dụng các phương pháp để cải thiện độ tin cậy. Các cấu trúc này được gọi là các trang trại máy chủ. Phần mềm (phần mềm) có thể là thương mại (OpenVMS, MOSIX, Platform LSF HPC, Solaris Cluster, Moab Cluster Suite, Maui Cluster Scheduler) hoặc miễn phí (OpenMosix, Sun Grid Engine, Linux Virtual Server).

Cụm máy tính

Các cụm được sử dụng cho các mục đích tính toán, đặc biệt là trong nghiên cứu khoa học. Đối với các cụm máy tính, các chỉ số quan trọng là hiệu suất bộ xử lý cao trong các hoạt động trên số dấu phẩy động (lỗi) và độ trễ thấp của mạng hỗ trợ và ít quan trọng hơn - tốc độ của các hoạt động I / O, điều này quan trọng hơn đối với cơ sở dữ liệu và dịch vụ web. Các cụm máy tính giúp giảm thời gian tính toán so với một máy tính đơn lẻ, bằng cách chia nhiệm vụ thành các nhánh chạy song song trao đổi dữ liệu qua mạng kết nối. Một cấu hình điển hình là một tập hợp các máy tính được xây dựng từ các thành phần có sẵn công khai, chạy hệ điều hành Linux và được kết nối bằng Ethernet, Myrinet, InfiniBand hoặc các mạng tương đối rẻ tiền khác. Hệ thống này thường được gọi là cụm Beowulf. Các cụm hiệu suất cao được phân biệt đặc biệt (ký hiệu bằng chữ viết tắt tiếng Anh Cụm HPC - Cụm máy tính hiệu suất cao). Danh sách các máy tính hiệu suất cao mạnh mẽ nhất (cũng có thể được ký hiệu bằng chữ viết tắt tiếng Anh HPC) có thể được tìm thấy trong bảng xếp hạng TOP500 thế giới. Nga có xếp hạng các máy tính mạnh nhất trong CIS.

Hệ thống tính toán phân tán (lưới)

Các hệ thống như vậy không được coi là cụm, nhưng nguyên tắc của chúng phần lớn tương tự như công nghệ cụm. Chúng còn được gọi là hệ thống lưới. Sự khác biệt chính là tính sẵn sàng thấp của mỗi nút, tức là không thể đảm bảo hoạt động của nó tại một thời điểm nhất định (các nút được kết nối và ngắt kết nối trong quá trình hoạt động), vì vậy nhiệm vụ phải được chia thành một số quy trình độc lập. Một hệ thống như vậy, không giống như các cụm, không giống như một máy tính đơn lẻ, mà đóng vai trò như một phương tiện đơn giản hóa để phân phối các phép tính. Sự không ổn định của cấu hình, trong trường hợp này, được bù đắp bởi một số lượng lớn các nút.

Cụm máy chủ được tổ chức theo chương trình

Các hệ thống phân cụm chiếm vị trí xứng đáng trong danh sách các hệ thống nhanh nhất, đồng thời vượt trội hơn đáng kể so với các siêu máy tính về giá cả. Tính đến tháng 7 năm 2008, vị trí thứ 7 trong bảng xếp hạng TOP500 thuộc về cụm SGI Altix ICE 8200 (Chippewa Falls, Wisconsin, USA).

Các cụm dựa trên khái niệm Beowulf, được xây dựng từ các máy tính rẻ tiền thông thường dựa trên phần mềm miễn phí, đại diện cho một sự thay thế tương đối rẻ cho các siêu máy tính. Một ví dụ thực tế của hệ thống như vậy là Máy tính Stone Souper tại Phòng thí nghiệm Quốc gia Oak Ridge (Tennessee, Hoa Kỳ, 1997).

Cụm lớn nhất do một cá nhân sở hữu (trong số 1000 bộ xử lý) được xây dựng bởi John Koza.

Môn lịch sử

Lịch sử hình thành các cụm gắn bó chặt chẽ với sự phát triển ban đầu trong lĩnh vực mạng máy tính. Một trong những lý do giải thích cho sự xuất hiện của giao tiếp tốc độ cao giữa các máy tính là hy vọng có thể tổng hợp các tài nguyên máy tính. Vào đầu những năm 1970, nhóm giao thức TCP / IP và Xerox PARC đã thiết lập các tiêu chuẩn mạng. Hệ điều hành Hydra dành cho máy tính DEC PDP-11 cũng xuất hiện, cụm được tạo ra trên cơ sở này được đặt tên là C.mpp (Pittsburgh, Pennsylvania, USA, 1971). Tuy nhiên, phải đến khoảng năm 1983, các cơ chế mới được tạo ra để giúp dễ dàng phân phối các tác vụ và tệp qua mạng, hầu hết chúng được phát triển trong SunOS (hệ điều hành dựa trên BSD của Sun Microsystems).

Dự án thương mại đầu tiên của cụm là ARCNet, do Datapoint tạo ra vào năm 1977. Nó không mang lại lợi nhuận, và do đó việc xây dựng các cụm không phát triển cho đến năm 1984, khi DEC xây dựng VAXcluster của mình dựa trên hệ điều hành VAX / VMS. ARCNet và VAXcluster được thiết kế không chỉ để tính toán chung mà còn để sử dụng chung hệ thống tệp và thiết bị ngoại vi, có tính đến việc bảo toàn tính toàn vẹn và rõ ràng của dữ liệu. VAXCluster (bây giờ được gọi là VMSCluster) là một thành phần không thể thiếu của hệ điều hành OpenVMS được hỗ trợ bởi bộ vi xử lý DEC Alpha và Itanium.

Hai sản phẩm cụm sớm khác đã được chấp nhận bao gồm Tandem Hymalaya (1994, lớp) và IBM S / 390 Parallel Sysplex (1994).

Lịch sử tạo các cụm từ các máy tính cá nhân thông thường có phần lớn nhờ vào dự án Máy ảo song song. Năm 1989, phần mềm kết hợp các máy tính thành một siêu máy tính ảo này đã mở ra khả năng tạo ra các cụm ngay lập tức. Kết quả là, tổng hiệu suất của tất cả các cụm giá rẻ được tạo ra vào thời điểm đó vượt xa tổng công suất của các hệ thống thương mại "nghiêm túc" về hiệu suất.

Cơ quan Hàng không Vũ trụ Mỹ NASA tiếp tục tạo ra các cụm dựa trên máy tính cá nhân rẻ tiền, được thống nhất bởi mạng truyền dữ liệu vào năm 1993, sau đó vào năm 1995, các cụm Beowulf, được thiết kế đặc biệt trên cơ sở nguyên tắc này, đã được phát triển. Những thành công của các hệ thống như vậy đã thúc đẩy sự phát triển của các lưới đã tồn tại kể từ khi UNIX ra đời.

Phần mềm

Một công cụ được sử dụng rộng rãi để tổ chức giao tiếp giữa máy chủ với máy chủ là thư viện MPI, hỗ trợ các ngôn ngữ và Fortran. Ví dụ, nó được sử dụng trong một chương trình mô phỏng thời tiết.

Hệ điều hành Solaris cung cấp phần mềm Cụm Solaris để cung cấp tính khả dụng và sẵn sàng cao cho các máy chủ chạy Solaris. Có một triển khai mã nguồn mở cho OpenSolaris được gọi là OpenSolaris HA Cluster.

Một số chương trình phổ biến đối với người dùng GNU / Linux:

• distcc, MPICH, vv - các công cụ chuyên dụng để song song hóa công việc của các chương trình. distcc cho phép biên dịch song song trong Bộ sưu tập trình biên dịch GNU.
• Máy chủ ảo Linux, Linux-HA - phần mềm lưu trữ để phân phối các yêu cầu giữa các máy chủ máy tính.
• MOSIX, openMosix, Kerrighed, OpenSSI là các môi trường cụm đầy đủ tính năng được tích hợp trong nhân tự động phân phối tác vụ giữa các nút đồng nhất. OpenSSI, openMosix và Kerrighed tạo giữa các nút.

Các cơ chế phân cụm cũng được lên kế hoạch xây dựng trong nhân DragonFly BSD, được phân nhánh từ FreeBSD 4.8 vào năm 2003. Trong những kế hoạch xa xôi, cũng biến nó thành môi trường hệ điều hành đơn lẻ.

Microsoft phát hành cụm HA cho hệ điều hành Windows. Người ta tin rằng nó được tạo ra trên cơ sở công nghệ của Digital Equipment Corporation, hỗ trợ lên đến 16 (kể từ năm 2010) nút trong một cụm, cũng như hoạt động trong mạng SAN (Storage Area Network). Một tập hợp các API được sử dụng để hỗ trợ các ứng dụng phân tán; có các mẫu để làm việc với các chương trình không cung cấp cho công việc trong một cụm.

Windows Compute Cluster Server 2003 (CCS), được phát hành vào tháng 6 năm 2006, được thiết kế cho các ứng dụng công nghệ cao yêu cầu tính toán cụm. Phiên bản này được thiết kế để triển khai trên nhiều máy tính được lắp ráp thành một cụm để đạt được sức mạnh của một siêu máy tính. Mỗi cụm trên Windows Compute Cluster Server bao gồm một hoặc nhiều máy chủ phân phối công việc và một số máy phụ thực hiện công việc chính. Windows HPC Server 2008 được giới thiệu vào tháng 11 năm 2008 để thay thế Windows Compute Cluster Server 2003.

Viết nhận xét cho Cluster (Nhóm máy tính)

Ghi chú (sửa)

Xem thêm

Liên kết

Đoạn trích mô tả đặc điểm của Cluster (nhóm máy tính)

Petya, rời Moscow, rời bỏ những người thân của mình, gia nhập trung đoàn của mình và ngay sau đó anh được đưa lên làm tướng lĩnh chỉ huy một đội lớn. Kể từ khi được thăng cấp lên làm sĩ quan, và đặc biệt là từ khi nhập ngũ, nơi anh tham gia Trận chiến Vyazemsk, Petya luôn trong trạng thái vui mừng phấn khích tột độ vì anh đã lớn, và không ngừng hăng hái. bỏ lỡ một số trường hợp của chủ nghĩa anh hùng thực sự ... Anh ấy rất hạnh phúc với những gì anh ấy thấy và trải nghiệm trong quân đội, nhưng đồng thời tất cả dường như đối với anh ấy rằng nơi anh ấy không có ở đó bây giờ những điều anh hùng, thực tế nhất đang xảy ra. Và anh ấy đã vội vàng để đến đó nơi mà anh ấy không có.
Vào ngày 21 tháng 10, khi tướng quân bày tỏ mong muốn cử người đến biệt đội của Denisov, Petya đã yêu cầu cử anh ta một cách đáng thương đến nỗi vị tướng không thể từ chối. Nhưng, khi cử anh ta, vị tướng, nhớ lại hành động điên rồ của Petya trong trận chiến Vyazemsky, nơi Petya, thay vì lái xe trên đường đến nơi anh ta được gửi đến, phi nước đại vào dây xích dưới hỏa lực của quân Pháp và bắn vào đó hai lần từ khẩu súng lục của anh ta - gửi anh ta, nói chung, chính anh ta đã cấm Petya tham gia vào bất kỳ hành động nào của Denisov. Vì điều này, Petya đỏ mặt và bối rối khi Denisov hỏi liệu anh có thể ở lại không. Trước khi rời khỏi bìa rừng, Petya nghĩ rằng mình phải hoàn thành nghiêm túc nghĩa vụ của mình, phải trở về ngay lập tức. Nhưng khi nhìn thấy người Pháp, nhìn thấy Tikhon, biết được rằng trong đêm chắc chắn họ sẽ tấn công, anh ta, với sự chuyển đổi nhanh chóng của những người trẻ từ cái nhìn này sang cái khác, tự mình quyết định rằng vị tướng của mình, người mà anh vẫn rất kính trọng. , là rác rưởi, tiếng Đức, rằng Denisov là một anh hùng, và Esaul là một anh hùng, và Tikhon là một anh hùng, và rằng anh ta sẽ xấu hổ khi rời bỏ họ trong những thời điểm khó khăn.
Trời đã tối khi Denisov cùng với Petya và esaul lái xe đến chòi canh. Trong bóng tối nửa tối, người ta có thể nhìn thấy những con ngựa trong yên ngựa, những chiếc xe ngựa, những chiếc hussars, những túp lều đang sửa chữa trong khu đất trống và (để người Pháp không nhìn thấy khói) đang đốt một ngọn lửa đỏ rực trong một khe núi rừng. Trong lối vào của một túp lều nhỏ, một người Cossack xắn tay áo và băm thịt cừu. Trong túp lều có ba sĩ quan của nhóm Denisov, sắp xếp một bàn từ cửa. Petya cởi quần áo, để cho nó khô, chiếc váy ướt của anh ấy và ngay lập tức bắt đầu hỗ trợ các sĩ quan sắp xếp bàn ăn.
Trong mười phút, chiếc bàn đã sẵn sàng, được phủ một chiếc khăn ăn. Trên bàn là rượu vodka, rượu rum đựng trong bình, bánh mì trắng, và thịt cừu chiên muối.
Ngồi cùng bàn với các sĩ quan và dùng tay xé thịt cừu béo ngậy, thơm phức, qua đó mỡ chảy ra, Petya ở trong trạng thái thơ ấu ngây ngất của tình yêu dịu dàng dành cho tất cả mọi người và kết quả là tin tưởng vào tình yêu thương của những người khác. cho chính mình.
- Vậy anh nghĩ sao, Vasily Fedorovich, - anh ta quay sang Denisov, - tôi ở lại với anh một ngày có được không? - Và, không đợi câu trả lời, anh tự trả lời: - Rốt cuộc thì tôi cũng đã được lệnh phải tìm hiểu rồi, ở đây tôi sẽ tìm hiểu ... Chỉ có anh mới cho tôi vào chính ... trong phần chính. . Tôi không cần giải thưởng ... Nhưng tôi muốn ... - Petya nghiến răng nhìn xung quanh, ngóc đầu dậy vẫy vẫy tay.
- Điều quan trọng nhất là ... - Denisov lặp lại, mỉm cười.
- Chỉ, làm ơn, hãy cho tôi một lệnh nào đó, để tôi chỉ huy, - Petya tiếp tục, - Chà, anh phải trả giá gì? Ồ, bạn có một con dao? - anh quay sang tên sĩ quan muốn chặt thịt cừu. Và anh ta chìa con dao ra.
Cán bộ khen ngợi con dao.
- Tự mình cầm lấy đi. Tôi có rất nhiều trong số đó ... - Petya đỏ mặt nói. - Các ông bố! Tôi hoàn toàn quên mất, ”anh đột nhiên kêu lên. - Tôi có nho khô tuyệt vời, bạn biết đấy, chẳng hạn, không có hạt. Chúng tôi có một mã thông báo mới - và những điều tuyệt vời như vậy. Tôi đã mua mười bảng Anh. Tôi đã quen với một cái gì đó ngọt ngào. Có muốn không? .. - Và Petya chạy vào lối đi đến chiếc Cossack của mình, mang theo những chiếc túi, trong đó có năm pound nho khô. - Ăn đi, quý vị, ăn đi.
- Bạn có cần một bình pha cà phê không? - anh quay sang esaul. - Tôi đã mua nó từ thủ kho của chúng tôi, thật tuyệt vời! Anh ấy có những điều tuyệt vời. Và anh ấy rất trung thực. Đây là điều chính. Tôi sẽ gửi nó cho bạn mà không thất bại. Và có thể nhiều hơn nữa, đá lửa ra đời, phủ đầy đá lửa - sau cùng, điều đó xảy ra. Tôi mang theo, tôi có nó đây ... - anh ta chỉ vào chiếc túi, - một trăm viên đá lửa. Tôi đã mua nó rất rẻ. Làm ơn hãy lấy, bao nhiêu tùy ý, hoặc thậm chí chỉ vậy thôi ... - Và đột nhiên, sợ hãi rằng anh ta đang nói dối, Petya dừng lại và đỏ mặt.
Anh bắt đầu nhớ xem mình có làm chuyện ngu ngốc nào khác không. Và, phân loại những ký ức của ngày hôm nay, ký ức của tay trống người Pháp hiện về với anh. “Điều đó ổn đối với chúng tôi, nhưng anh ấy cảm thấy thế nào? Bạn lấy nó ở đâu? Bạn đã cho nó ăn? Bạn có xúc phạm không? " Anh ta đã nghĩ. Nhưng khi nhận thấy anh ta đang nói dối về đá lửa, giờ anh ta sợ hãi.
“Người ta có thể hỏi,” anh nghĩ, “nhưng họ sẽ nói: bản thân anh cảm thấy có lỗi với cậu bé. Ngày mai tôi sẽ cho họ thấy tôi là người như thế nào! Bạn sẽ xấu hổ nếu tôi hỏi? - Petya nghĩ. "Thôi, không thành vấn đề!" - và ngay lập tức, đỏ mặt và sợ hãi nhìn các sĩ quan, nếu họ sẽ có sự chế nhạo vào mặt, anh ta nói:
- Tôi có thể gọi cậu bé bị bắt làm tù binh này được không? cho anh ta cái gì đó để ăn ... có lẽ ...
- Đúng vậy, một cậu bé đáng thương, - Denisov nói, dường như không thấy điều gì xấu hổ trong lời nhắc nhở này. - Gọi anh ta đến đây. Vincent Bosse là tên của anh ấy. Gọi.
- Tôi sẽ gọi, - Petya nói.
- Gọi, gọi. Một cậu bé đáng thương, ”Denisov nhắc lại.
Petya đang đứng ở cửa khi Denisov nói điều này. Petya leo lên giữa các sĩ quan và đến gần Denisov.
“Hãy để anh hôn em, em yêu,” anh nói. - Ôi, tuyệt làm sao! tốt biết bao! - Và, vừa hôn Denisov, anh ta chạy vào sân.
- Ông chủ! Vincent! - Petya hét lên, dừng lại ở cửa.
- Ông muốn ai, thưa ông? Một giọng nói từ trong bóng tối cất lên. Petya trả lời rằng cậu bé là một người Pháp mà họ đã bắt ngày hôm nay.
- MỘT! Mùa xuân? - Cossack nói.
Tên của anh ấy là Vincent đã được đổi: Cossacks - thành Spring, và những người đàn ông và binh lính - thành Visenya. Trong cả hai phiên bản, lời nhắc nhở về mùa xuân này phù hợp với ý tưởng của một cậu bé.
- Anh ấy sưởi ấm mình ở đó bên đống lửa. Này, Visenya! Visenya! Mùa xuân! - trong bóng tối truyền đến tiếng nói và tiếng cười.
- Và cậu bé thật thông minh, - người hussar đang đứng cạnh Petya nói. - Vừa rồi chúng tôi đã cho nó ăn. Niềm đam mê đã đói!
Trong bóng tối, người ta nghe thấy tiếng bước chân, người đánh trống đặt chân trần xuống bùn, tiến đến cánh cửa.
“À, c" est vous! "Petya nói." Voulez vous máng cỏ? N "ayez pas peur, on ne vous fera pas de mal," anh nói thêm, chạm vào tay mình một cách rụt rè và trìu mến. - Entrez, entrez. [Ồ, là bạn! Bạn có muốn ăn? Đừng sợ, họ sẽ không làm gì bạn đâu. Đi vào.]
- Merci, thưa ông. Petya muốn nói rất nhiều điều với tay trống, nhưng anh không dám. Anh ta, đang thay đổi, đứng bên cạnh anh ở lối vào. Rồi trong bóng tối, anh nắm lấy tay mình và bắt nó.
“Entrez, entrez,” anh chỉ lặp lại bằng một lời thì thầm nhẹ nhàng.
"Ôi, tôi có thể làm gì được anh ta!" - Petya tự nhủ và mở cửa để cậu bé đi ngang qua mình.
Khi người đánh trống bước vào túp lều, Petya ngồi cách xa anh ta, coi việc chú ý đến anh ta là điều sỉ nhục đối với bản thân. Anh chỉ cảm thấy có tiền trong túi và nghi ngờ không biết liệu anh có xấu hổ khi đưa nó cho người đánh trống hay không.

Từ tay trống, người, theo lệnh của Denisov, được đưa vodka, thịt cừu và người mà Denisov yêu cầu mặc đồ caftan của Nga, để không đưa anh ta ra ngoài cùng với các tù nhân, anh ta sẽ bị bỏ lại với nhóm, sự chú ý của Petya đã bị chuyển hướng bởi sự xuất hiện của Dolokhov. Petya trong quân đội đã nghe nhiều câu chuyện về lòng dũng cảm phi thường và sự tàn ác của Dolokhov với quân Pháp, và vì thế kể từ khi Dolokhov bước vào túp lều, Petya không rời mắt nhìn anh và càng được khích lệ, giật mình ngẩng cao đầu như không. không xứng đáng ngay cả với một xã hội như Dolokhov.
Sự xuất hiện của Dolokhov gây ấn tượng với Petya một cách kỳ lạ bởi sự đơn giản của nó.
Denisov mặc trang phục chekmen, để râu và trên ngực là hình ảnh của Nicholas the Wonderworker, và trong cách nói chuyện của anh ta, trong tất cả các cuộc tiếp đón, cho thấy sự đặc biệt của vị trí của anh ta. Ngược lại, Dolokhov, trước đây, ở Matxcơva, người mặc bộ đồ Ba Tư, giờ đã ra dáng một sĩ quan cận vệ nguyên bản nhất. Mặt anh ta cạo râu sạch sẽ, anh ta mặc một chiếc áo khoác chần bông của lính gác với Georgy trong lỗ cúc áo của anh ta và đội một chiếc mũ lưỡi trai đơn giản mà anh ta đang đội thẳng. Anh ta cởi chiếc áo choàng ướt trong góc và đi đến chỗ Denisov, không chào ai, ngay lập tức bắt đầu hỏi về vụ việc. Denisov nói với anh ta về kế hoạch mà các phân đội lớn có để vận chuyển, và về việc cử Petya, và về cách anh ta phản ứng với cả hai vị tướng. Sau đó Denisov kể tất cả những gì anh biết về vị trí của đội Pháp.
Dolokhov nói: “Đúng là như vậy, nhưng bạn cần biết những gì và bao nhiêu quân,” Dolokhov nói, “bạn sẽ phải đi. Nếu không biết chính xác có bao nhiêu trong số đó, bạn không thể bắt tay vào kinh doanh. Tôi thích làm mọi thứ gọn gàng. Bây giờ, nếu có quý ông nào muốn đi với tôi đến trại của họ. Tôi có đồng phục của tôi với tôi.
- Tôi, tôi… tôi sẽ đi với bạn! - Petya kêu lên.
“Bạn không cần phải đi chút nào,” Denisov nói, quay sang Dolokhov, “và tôi sẽ không bao giờ để anh ta vào.”
- Thật tuyệt! - Petya kêu lên, - tại sao tôi không nên đi? ..
- Có, vì không cần.
“Thôi, thứ lỗi cho tôi, bởi vì… bởi vì… Tôi đi, vậy thôi. Anh sẽ đưa em đi chứ? - anh quay sang Dolokhov.
- Tại sao ... - Dolokhov lơ đễnh trả lời, chăm chú vào mặt tay trống người Pháp.
- Bạn có anh bạn trẻ này bao lâu rồi? Anh hỏi Denisov.
- Hôm nay họ đã lấy nó, nhưng họ không biết gì cả. Tôi để lại cho anh ấy pg ”và chính tôi.
- Chà, bạn đang làm gì với những người còn lại? - Dolokhov nói.
- Làm thế nào ở đâu? Denisov kêu lên, đột nhiên đỏ mặt, và tôi sẽ mạnh dạn nói rằng không có một người nào theo lương tâm của tôi. Hơn nhà ảo thuật "aat, I pg" yamo nói, danh dự của một người lính.
- Đây là một số trẻ ở tuổi mười sáu để nói những lời tán tỉnh này, - Dolokhov nói với nụ cười lạnh lùng, - nhưng đã đến lúc anh nên bỏ điều đó đi.
“Chà, tôi không nói gì cả, tôi chỉ nói rằng tôi chắc chắn sẽ đi cùng bạn,” Petya nói một cách rụt rè.
“Và đã đến lúc anh và em nên từ bỏ những thú vui này,” Dolokhov tiếp tục, như thể anh thấy thích thú khi nói về chủ đề này, điều này khiến Denisov khó chịu. - Chà, tại sao anh lại tự nhận chuyện này? Anh nói, lắc đầu. - Vậy tại sao bạn lại cảm thấy có lỗi với anh ấy? Sau tất cả, chúng tôi biết những biên lai này của bạn. Bạn gửi một trăm người trong số họ, và ba mươi người sẽ đến. Họ sẽ chết vì đói hoặc bị đánh đập. Vì vậy, nó là tất cả giống nhau để không lấy chúng?

Tóm tắt về chủ đề:

Hệ thống cụm

Hoàn thành:

sinh viên nhóm K9-292

Popov I.A.

MOSCOW 2001

1. Giới thiệu

2. Các lớp chính của máy tính song song hiện đại

3. Kiến trúc cụm của máy tính song song

4. Mục tiêu của việc tạo hệ thống cụm

5. Cụm chuyển đổi dự phòng

6. Cụm hiệu suất cao

7. Dự án Beowulf

8. Kết luận

9. Văn học

Giới thiệu

Phát triển hệ thống tính toán đa xử lý

Sự phát triển của các kiến ​​trúc truyền thống để xây dựng các hệ thống tính toán, chẳng hạn như SMP, MPP, các hệ thống song song vectơ, đang diễn ra với tốc độ khá nhanh. Hiệu suất tăng, độ tin cậy và khả năng phục hồi tăng. Tuy nhiên, những kiến ​​trúc này có một nhược điểm - chi phí của hệ thống được tạo ra, đôi khi không thể tiếp cận được với nhiều người sử dụng hệ thống như vậy - các tổ chức giáo dục và nghiên cứu. Nó hiển thị rất cao do sự phức tạp của các thành phần phần cứng và phần mềm của hệ thống, được yêu cầu để hỗ trợ tốc độ tăng năng suất này. Tuy nhiên, nhu cầu về tài nguyên máy tính hiện đang rất cao trong nhiều lĩnh vực hoạt động khoa học và thực tiễn, và tài nguyên của các hệ thống siêu máy tính truyền thống không đủ để cung cấp.

Hệ thống cụm nổi lên như một giải pháp rẻ hơn cho vấn đề thiếu tài nguyên máy tính và dựa trên việc sử dụng trong kiến ​​trúc của chúng các công nghệ, phần cứng và phần mềm phổ biến và tương đối rẻ, chẳng hạn như PC, Ethernet, Linux, v.v. Việc sử dụng các công nghệ hàng loạt trong các hệ thống cụm đã trở nên khả thi do tiến bộ đáng kể trong việc phát triển các thành phần của hệ thống tính toán thông thường, chẳng hạn như các đơn vị xử lý trung tâm, hệ điều hành và môi trường truyền thông.

Vì các hệ thống cụm là sự phát triển của các hệ thống có tính song song lớn MPP về mặt kiến ​​trúc, vai trò chính trong sự phát triển của chúng là sự tiến bộ trong lĩnh vực công nghệ mạng. Đến nay, các giải pháp truyền thông rẻ tiền nhưng hiệu quả đã xuất hiện. Điều này đã xác định trước sự xuất hiện và phát triển nhanh chóng của các hệ thống điện toán cụm. Các yếu tố khác cũng góp phần vào sự phát triển của các hệ thống cụm.

Hiệu suất của máy tính cá nhân dựa trên bộ vi xử lý Intel cũng đã tăng đáng kể trong những năm gần đây. Những máy tính như vậy bắt đầu tạo ra sự cạnh tranh nghiêm trọng cho các máy trạm dựa trên bộ vi xử lý RISC mạnh mẽ và đắt tiền hơn. Đồng thời, hệ điều hành Linux, một phiên bản phần mềm miễn phí của UNIX, bắt đầu ngày càng trở nên phổ biến hơn. Đồng thời, trong các tổ chức khoa học và trường đại học, nơi hầu hết các hệ thống cụm được phát triển, theo quy luật, có các chuyên gia Linux.

Mức độ phát triển cao của các hệ thống cụm ngày nay được thể hiện qua việc có 11 hệ thống cài đặt cụm nằm trong danh sách Top500 siêu máy tính mạnh nhất thế giới.

Các lớp chính của máy tính song song hiện đại

Hệ thống phân cụm là một sự phát triển của các hệ thống song song. Để chỉ ra vị trí của hệ thống cụm trong số các kiểu kiến ​​trúc song song khác của hệ thống tính toán, cần phải đưa ra phân loại của chúng. Hệ thống song song có thể được phân loại theo nhiều tiêu chí khác nhau.

Từ quan điểm phần cứng, tham số chính để phân loại các máy tính song song là sự hiện diện của bộ nhớ dùng chung (SMP) hoặc bộ nhớ phân tán (MPP). Một cái gì đó ở giữa SMP và MPP là kiến ​​trúc NUMA nơi bộ nhớ được cấp phát về mặt vật lý nhưng được chia sẻ một cách hợp lý.

Hệ thống đa xử lý đối xứng

Một hệ thống SMP bao gồm một số bộ xử lý đồng nhất và một mảng bộ nhớ dùng chung. Một trong những cách tiếp cận thường được sử dụng trong kiến ​​trúc SMP để hình thành hệ thống bộ nhớ công cộng, có thể mở rộng là tổ chức thống nhất quyền truy cập vào bộ nhớ bằng cách tổ chức kênh bộ xử lý bộ nhớ có thể mở rộng:

Mỗi hoạt động truy cập bộ nhớ được hiểu là một giao dịch bus bộ xử lý tới bộ nhớ. Đồng tiền trong bộ nhớ cache được hỗ trợ bởi phần cứng.

Trong SMP, mỗi bộ xử lý có ít nhất một bộ nhớ đệm của riêng nó (và có thể là một số).

Chúng ta có thể nói rằng hệ thống SMP là một máy tính có một số bộ xử lý ngang hàng. Mọi thứ khác đều ở trong một trường hợp: một bộ nhớ, một hệ thống con I / O, một hệ điều hành. Từ "ngang hàng" có nghĩa là mỗi bộ xử lý có thể làm mọi thứ mà bất kỳ bộ xử lý nào khác. Mỗi bộ xử lý có quyền truy cập vào tất cả bộ nhớ, có thể thực hiện bất kỳ hoạt động I / O nào, ngắt các bộ xử lý khác, v.v.

Nhược điểm của kiến ​​trúc này là cần tổ chức kênh bộ xử lý-bộ nhớ với băng thông rất lớn.

Hệ thống song song lớn

Một hệ thống MPP song song khổng lồ bao gồm các nút tính toán đồng nhất, bao gồm:

• một hoặc nhiều đơn vị xử lý trung tâm (thường là RISC)
• bộ nhớ cục bộ (không thể truy cập trực tiếp vào bộ nhớ của các nút khác)
• bộ xử lý giao tiếp hoặc bộ điều hợp mạng
• ổ cứng và / hoặc các thiết bị I / O khác

Các nút I / O đặc biệt và các nút điều khiển có thể được thêm vào hệ thống. Các nút được kết nối thông qua một số loại phương tiện truyền thông (mạng tốc độ cao, bộ chuyển mạch, v.v.)

Hệ thống có quyền truy cập bộ nhớ NUMA không đồng nhất

NUMA (truy cập bộ nhớ không đồng nhất), trái ngược với kiến ​​trúc SMP thông thường với bộ nhớ chia sẻ, được đại diện bởi một số bộ xử lý riêng biệt, mỗi bộ xử lý trong số đó, ngoài bộ đệm riêng của nó, còn có bộ nhớ cục bộ:

Trong cấu trúc như vậy, bộ xử lý và mô-đun bộ nhớ được tích hợp chặt chẽ, do đó, tốc độ truy cập vào bộ nhớ cục bộ cao hơn nhiều so với bộ nhớ của bộ xử lý “lân cận”. Hệ thống con I / O có thể là một phần của mỗi nút hoặc được hợp nhất thành các nút I / O chuyên dụng. Nếu đồng tiền trong bộ nhớ cache được duy trì trong toàn bộ hệ thống, thì kiến ​​trúc này được gọi là cc-NUMA.

Cách dễ nhất để mô tả đặc điểm của hệ thống NUMA là hình dung một hệ thống SMP lớn được chia thành nhiều phần, các phần này được kết nối với nhau bằng một bus truyền thông kết nối với các bus hệ thống và mỗi phần bao gồm bộ nhớ chính và hệ thống con I / O của riêng nó. Đây là NUMA: một SMP lớn, được chia nhỏ thành một tập hợp các SMP nhỏ hơn và đơn giản hơn. Vấn đề chính với NUMA là đảm bảo đồng tiền trong bộ nhớ cache. Phần cứng làm cho nó có thể làm việc với tất cả các thiết bị riêng lẻ của bộ nhớ chính của các bộ phận cấu thành của hệ thống (thường được gọi là các nút) như một bộ nhớ khổng lồ duy nhất.

Kiến trúc cụm

Xem xét vị trí của kiến ​​trúc cụm của các hệ thống máy tính trong phân loại này.

Cụm là một tập hợp các máy tính hoàn chỉnh được kết nối với nhau được sử dụng như một tài nguyên duy nhất. Thuật ngữ "máy tính chính thức" đề cập đến một hệ thống máy tính hoàn chỉnh có mọi thứ cần thiết cho hoạt động của nó, bao gồm bộ xử lý, bộ nhớ, hệ thống con đầu vào / đầu ra, cũng như hệ điều hành, hệ thống con, ứng dụng, v.v. Thông thường, các máy tính cá nhân hoặc hệ thống song song thích hợp cho việc này, có thể có kiến ​​trúc SMP và thậm chí là NUMA. Cluster là những hệ thống được ghép nối lỏng lẻo, giao tiếp của các nút sử dụng một trong những công nghệ mạng tiêu chuẩn (Fast / Gigabit Ethernet, Myrinet) dựa trên kiến ​​trúc bus hoặc switch. Do đó, chúng là một sửa đổi rẻ hơn của kiến ​​trúc MPP để xây dựng.

Kiến trúc cụm của các máy tính song song

Nguyên tắc chung

Như đã đề cập trước đó, một cụm máy tính là một tập hợp các máy tính được thống nhất trong một mạng để giải quyết một vấn đề (Hình 3), được trình bày cho người dùng dưới dạng một tài nguyên duy nhất. Khái niệm về cụm này lần đầu tiên được đề xuất và thực hiện vào đầu những năm 80 bởi Công ty Cổ phần Thiết bị Kỹ thuật số, công ty vẫn đang phát triển công nghệ này.

Tài nguyên đơn lẻ đề cập đến sự hiện diện của phần mềm cho phép người dùng, quản trị viên và ứng dụng giả định rằng chỉ có một thực thể mà chúng hoạt động - cụm. Ví dụ: hệ thống xử lý hàng loạt cụm cho phép bạn gửi một công việc để xử lý đến cụm, thay vì bất kỳ máy tính riêng lẻ nào. Một ví dụ phức tạp hơn là hệ thống cơ sở dữ liệu. Hầu như tất cả các nhà cung cấp cơ sở dữ liệu đều có các phiên bản chạy song song trên nhiều máy trong cụm. Do đó, các ứng dụng sử dụng cơ sở dữ liệu không phải lo lắng về nơi thực hiện công việc của họ. DBMS chịu trách nhiệm đồng bộ hóa các hành động song song và duy trì tính toàn vẹn của cơ sở dữ liệu.

Các máy tính tạo nên cụm - cái gọi là nút cụm - luôn tương đối độc lập, cho phép dừng hoặc tắt bất kỳ máy nào trong số chúng để bảo trì phòng ngừa hoặc cài đặt thiết bị bổ sung mà không làm gián đoạn toàn bộ cụm.

Máy tính cá nhân một bộ xử lý, máy chủ SMP hai hoặc bốn bộ xử lý thường được sử dụng như các nút tính toán trong một cụm. Mỗi nút chạy bản sao hệ điều hành của riêng mình, thường là các hệ điều hành tiêu chuẩn: Linux, NT, Solaris, v.v. Thành phần và sức mạnh của các nút có thể thay đổi ngay cả trong cùng một cụm, do đó có thể tạo ra các hệ thống không đồng nhất. Việc lựa chọn một môi trường giao tiếp cụ thể được xác định bởi nhiều yếu tố: chi tiết cụ thể của lớp nhiệm vụ đang được giải quyết, nhu cầu mở rộng tiếp theo của cụm, v.v. Có thể bao gồm các máy tính chuyên dụng trong cấu hình, ví dụ, một máy chủ tệp và theo quy luật, khả năng truy cập từ xa vào cụm thông qua Internet được cung cấp.

Từ định nghĩa về kiến ​​trúc của các hệ thống cụm, nó bao gồm một loạt các hệ thống. Xét các điểm cực hạn, một cụm có thể được coi là một cặp PC được kết nối bằng mạng Ethernet 10 megabit cục bộ, cũng như một hệ thống máy tính được tạo ra như một phần của dự án Cplant tại Phòng thí nghiệm Quốc gia Sandia: 1400 máy trạm dựa trên bộ xử lý Alpha, được kết nối bằng mạng Myrinet tốc độ cao.

Như vậy, có thể thấy rằng có rất nhiều phương án khác nhau để xây dựng cụm. Đồng thời, các công nghệ và tiêu chuẩn truyền thông được sử dụng có tầm quan trọng lớn trong kiến ​​trúc cụm. Chúng chủ yếu xác định phạm vi nhiệm vụ cho giải pháp có thể sử dụng các cụm được xây dựng trên cơ sở các công nghệ này.

Công nghệ truyền thông để xây dựng các cụm

Các cụm có thể được xây dựng trên cơ sở các bus truyền dữ liệu tốc độ cao chuyên biệt và trên cơ sở công nghệ mạng khối lượng lớn. Trong số các tiêu chuẩn truyền thông đại chúng, mạng thường được sử dụng nhất là Ethernet hoặc phiên bản hiệu quả hơn của nó - Fast Ethernet, theo quy luật, dựa trên các bộ chuyển mạch. Tuy nhiên, chi phí lớn của việc nhắn tin qua Fast Ethernet dẫn đến những hạn chế nghiêm trọng về phạm vi nhiệm vụ có thể được giải quyết hiệu quả trên một cụm như vậy. Nếu cụm yêu cầu hiệu suất cao hơn và tính linh hoạt, thì cần phải áp dụng các công nghệ nhanh hơn và chuyên biệt hơn. Chúng bao gồm SCI, Myrinet, cLAN, ServerNet, v.v. Các đặc điểm so sánh của các tham số của các công nghệ này được đưa ra trong
Bảng 1.

Bảng 1.

Hiệu suất của mạng truyền thông trong hệ thống cụm được xác định bởi một số đặc điểm số. Có hai đặc điểm chính: độ trễ - thời gian của độ trễ ban đầu khi gửi tin nhắn và băng thông mạng, yếu tố quyết định tốc độ truyền thông tin qua các kênh truyền thông. Trong trường hợp này, các đặc tính đỉnh được khai báo trong tiêu chuẩn không quá quan trọng mà là các đặc tính thực sự đạt được ở cấp ứng dụng của người dùng, ví dụ, ở cấp ứng dụng MPI. Đặc biệt, sau khi người dùng gọi hàm Send () để gửi tin nhắn, tin nhắn sẽ tuần tự đi qua một tập hợp toàn bộ các lớp, được xác định bởi đặc thù của tổ chức phần mềm và phần cứng, trước khi rời khỏi bộ xử lý - do đó, có một sự cố đáng kể trong các tiêu chuẩn của giá trị độ trễ. Sự hiện diện của độ trễ dẫn đến việc không thể đạt được tốc độ truyền tối đa qua mạng với các bản tin có độ dài nhỏ.

Tốc độ truyền dữ liệu mạng Fast Ethernet và Scalable Cohere Interface (SCI) phụ thuộc vào độ dài tin nhắn. Fast Ethernet được đặc trưng bởi độ trễ cao - 160-180 μs, trong khi độ trễ SCI là khoảng 5,6 μs. Tốc độ truyền tối đa cho các công nghệ tương tự lần lượt là 10 MB / s và 80 MB / s.

Mục tiêu của việc tạo hệ thống cụm

Các kiến ​​trúc sư hệ thống cụm đã theo đuổi các mục tiêu khác nhau trong quá trình sáng tạo của họ. Đầu tiên là Thiết bị kỹ thuật số với các cụm VAX / VMS. Mục đích của máy này là nâng cao độ tin cậy của hệ thống, đảm bảo tính sẵn sàng cao và khả năng chịu lỗi của hệ thống. Hiện nay, có rất nhiều hệ thống có kiến ​​trúc tương tự của các nhà sản xuất khác.

Một mục tiêu khác của việc tạo ra các hệ thống cụm là tạo ra các hệ thống tính toán song song hiệu suất cao giá rẻ. Một trong những dự án đầu tiên mang lại tên tuổi cho toàn bộ nhóm hệ thống song song - cụm Beowulf - đã xuất hiện tại Trung tâm Chuyến bay Không gian Goddard của NASA để hỗ trợ dự án Khoa học Trái đất và Không gian với các tài nguyên tính toán cần thiết. Dự án Beowulf bắt đầu vào mùa hè năm 1994 và nhanh chóng được lắp ráp một cụm 16 bộ xử lý dựa trên bộ vi xử lý Intel 486DX4 / 100 MHz. Mỗi nút có 16 MB RAM và 3 bộ điều hợp mạng Ethernet. Hệ thống này hóa ra rất thành công về tỷ lệ giá cả / hiệu suất, vì vậy kiến ​​trúc này bắt đầu được phát triển và sử dụng rộng rãi trong các tổ chức và viện khoa học khác.

Mỗi lớp của các cụm có kiến ​​trúc và các tính năng phần cứng riêng. Hãy xem xét chúng chi tiết hơn.

Cụm chuyển đổi dự phòng

Nguyên tắc xây dựng

Để đảm bảo độ tin cậy và khả năng chịu lỗi của hệ thống máy tính, nhiều giải pháp phần cứng và phần mềm khác nhau được sử dụng. Ví dụ, hệ thống có thể nhân bản tất cả các yếu tố dễ bị hỏng - nguồn điện, bộ xử lý, RAM và bộ nhớ ngoài. Các hệ thống có khả năng chịu lỗi với các thành phần dự phòng như vậy được sử dụng để giải quyết các vấn đề trong đó độ tin cậy của các hệ thống tính toán thông thường, hiện được ước tính ở xác suất thời gian hoạt động là 99%, là không đủ. Trong các bài toán như vậy, xác suất 99,999% hoặc cao hơn là bắt buộc. Độ tin cậy này có thể đạt được bằng cách sử dụng các phương pháp tăng khả năng chịu lỗi khác nhau từ các phương pháp trên. Tùy thuộc vào mức độ sẵn sàng của một hệ thống máy tính để sử dụng, bốn loại độ tin cậy được phân biệt:

Ban 2.

Trái ngược với các hệ thống có khả năng chịu lỗi với các thành phần dự phòng, cũng như các tùy chọn đa xử lý khác nhau, các cụm hợp nhất các máy tương đối độc lập với nhau, mỗi máy có thể được dừng để bảo trì dự phòng hoặc cấu hình lại, mà không làm gián đoạn tình trạng của cụm như một trọn. Hiệu suất cụm cao và thời gian ngừng hoạt động của ứng dụng được giảm thiểu nhờ:

• trong trường hợp lỗi phần mềm trên một trong các nút, ứng dụng tiếp tục hoạt động hoặc tự động khởi động lại trên các nút khác của cụm;
• sự cố của một trong các nút (hoặc một số) sẽ không dẫn đến sự sụp đổ của toàn bộ hệ thống cụm;
• Theo quy định, công việc bảo trì và sửa chữa, cấu hình lại hoặc thay đổi phiên bản phần mềm, có thể được thực hiện lần lượt trong các nút cụm mà không làm gián đoạn công việc của các nút khác.

Một phần không thể thiếu của cụm là phần mềm đặc biệt, trên thực tế, giải quyết vấn đề khôi phục một nút trong trường hợp bị lỗi và cũng giải quyết các nhiệm vụ khác. Phần mềm cụm thường có một số tình huống khôi phục được xác định trước cho hệ thống và cũng có thể cung cấp cho người quản trị khả năng tùy chỉnh các tình huống như vậy. Khôi phục sau thảm họa có thể được hỗ trợ cho toàn bộ nút và các thành phần riêng lẻ của nó - ứng dụng, ổ đĩa, v.v. Chức năng này được tự động khởi động trong trường hợp hệ thống bị lỗi và quản trị viên cũng có thể khởi động nếu, ví dụ, anh ta cần tắt một trong các nút để cấu hình lại.

Các cụm có thể có bộ nhớ được chia sẻ trên các ổ đĩa ngoài, thường là một mảng đĩa RAID. Mảng đĩa RAID là một hệ thống con I / O của máy chủ để lưu trữ lượng lớn dữ liệu. Mảng RAID sử dụng một số lượng đáng kể các đĩa tương đối nhỏ để lưu trữ một lượng lớn dữ liệu và cung cấp độ tin cậy và độ dự phòng cao hơn. Một mảng như vậy được máy tính coi là một thiết bị logic duy nhất.

Khôi phục sau thảm họa có thể được hỗ trợ cho toàn bộ nút và các thành phần riêng lẻ của nó - ứng dụng, ổ đĩa, v.v. Chức năng này được tự động khởi chạy trong trường hợp hệ thống bị lỗi và quản trị viên cũng có thể khởi động nếu, ví dụ, anh ta cần tắt một trong các nút để cấu hình lại.

Các nút cụm giám sát sức khỏe của nhau và trao đổi thông tin "cụm" cụ thể, chẳng hạn như cấu hình cụm, cũng như chuyển dữ liệu giữa các ổ đĩa dùng chung và điều phối việc sử dụng chúng. Theo dõi sức khỏe được thực hiện bằng cách sử dụng một tín hiệu đặc biệt mà các nút cụm truyền cho nhau để xác nhận hoạt động bình thường của chúng. Khi một trong các nút ngừng phát tín hiệu, nó báo hiệu cho phần mềm cụm rằng đã xảy ra lỗi và cần phải phân phối lại tải trên các nút còn lại. Hãy lấy cụm chuyển đổi dự phòng VAX / VMS làm ví dụ.

Cụm VAX / VMS

DEC là người đầu tiên công bố khái niệm về hệ thống cụm vào năm 1983, định nghĩa nó là một nhóm các máy tính được kết nối với nhau đại diện cho một đơn vị xử lý thông tin duy nhất. Về cơ bản, một cụm VAX là một hệ thống nhiều máy được kết hợp lỏng lẻo với bộ nhớ ngoài được chia sẻ cung cấp một cơ chế quản lý và quản trị thống nhất.

Cụm VAX có các thuộc tính sau:

Chia sẻ tài nguyên. Các máy tính VAX trong một cụm có thể chia sẻ quyền truy cập vào các ổ đĩa và băng được chia sẻ. Tất cả các máy tính VAX trong cụm có thể truy cập các tệp dữ liệu riêng lẻ dưới dạng cục bộ.

Tính khả dụng cao. Nếu một trong các máy tính VAX bị lỗi, các tác vụ của người dùng có thể được tự động chuyển sang máy tính khác trong cụm. Nếu có nhiều HSC trong hệ thống và một trong số chúng bị lỗi, các HSC khác sẽ tự động chọn.

Thông lượng cao... Một số hệ thống ứng dụng có thể tận dụng khả năng thực thi song song các tác vụ trên một số máy tính trong cụm.

Khả năng phục vụ của hệ thống... Cơ sở dữ liệu dùng chung có thể được duy trì từ một vị trí duy nhất. Các chương trình ứng dụng chỉ có thể được cài đặt một lần trên các đĩa cụm dùng chung và được chia sẻ giữa tất cả các máy tính trong cụm.

Khả năng mở rộng... Sự gia tăng sức mạnh tính toán của cụm đạt được bằng cách kết nối các máy tính VAX bổ sung với nó. Các ổ băng và ổ băng bổ sung được cung cấp cho tất cả các máy tính trong cụm.

Hoạt động của một cụm VAX được xác định bởi hai thành phần chính. Thành phần đầu tiên là cơ chế giao tiếp tốc độ cao, và thành phần thứ hai là phần mềm hệ thống cung cấp cho khách hàng khả năng truy cập minh bạch vào dịch vụ hệ thống. Về mặt vật lý, các kết nối trong một cụm được thực hiện bằng cách sử dụng ba công nghệ bus khác nhau với các đặc tính hiệu suất khác nhau.

Các phương thức giao tiếp chính trong một cụm VAX được thể hiện trong Hình. 4.

Lúa gạo. 4 cụm VAX / VMS

Bus Kết nối Máy tính (CI) hoạt động ở tốc độ 70 Mbps và được sử dụng để kết nối các máy tính VAX và HSC bằng Bộ ghép nối hình sao. Mỗi liên kết CI có các liên kết dự phòng kép, hai liên kết truyền và hai liên kết nhận, sử dụng công nghệ CSMA cơ bản sử dụng độ trễ cụ thể của từng nút để loại bỏ xung đột. Chiều dài liên kết CI tối đa là 45 mét. Star Coupler có thể hỗ trợ lên đến 32 bus CI, mỗi bus để kết nối VAX hoặc HSC. HSC là một thiết bị thông minh điều khiển hoạt động của ổ đĩa và ổ băng.

Máy tính VAX có thể được kết hợp thành một cụm cũng thông qua mạng cục bộ

Ethernet sử dụng NI - Network Interconnect (cái gọi là cụm VAX cục bộ), tuy nhiên, hiệu suất của các hệ thống này tương đối thấp do nhu cầu chia sẻ băng thông Ethernet giữa các máy tính cụm và các máy khách mạng khác.

Các cụm cũng có thể dựa trên bus DSSI (Digital Storage System Interconnect). Xe buýt DSSI có thể kết nối tối đa bốn máy tính VAX tầm thấp và tầm trung. Mỗi máy tính có thể hỗ trợ nhiều bộ điều hợp DSSI. Một bus DSSI riêng biệt hoạt động ở tốc độ 4 MB / s (32 Mbit / s) và cho phép kết nối tối đa 8 thiết bị. Các loại thiết bị sau được hỗ trợ: Bộ điều hợp hệ thống DSSI, Bộ điều khiển đĩa dòng RF và Bộ điều khiển ruy-băng dòng TF. DSSI giới hạn khoảng cách giữa các nút trong một cụm là 25 mét.

Phần mềm hệ thống cụm VAX

DEC sử dụng Trình quản lý khóa phân tán (DLM) để đảm bảo rằng các bộ xử lý giao tiếp chính xác với nhau khi truy cập các tài nguyên được chia sẻ như đĩa. Một chức năng rất quan trọng của DLM là duy trì trạng thái nhất quán của bộ đệm đĩa cho các hoạt động I / O của hệ điều hành và ứng dụng. Ví dụ, trong các ứng dụng cơ sở dữ liệu quan hệ, DLM chịu trách nhiệm duy trì trạng thái nhất quán giữa các bộ đệm cơ sở dữ liệu trên các máy tính khác nhau trong cụm.

Vấn đề duy trì tính liên kết của bộ đệm I / O giữa các bộ xử lý trong một cụm tương tự như vấn đề duy trì tính liên kết của bộ đệm trong một hệ thống đa xử lý được kết hợp chặt chẽ dựa trên một bus nhất định. Các khối dữ liệu có thể xuất hiện đồng thời trong một số bộ đệm và nếu một bộ xử lý sửa đổi một trong các bản sao này, các bản sao hiện có khác không phản ánh trạng thái hiện tại của khối dữ liệu. Khái niệm tiếp quản khối (quyền sở hữu khối) là một cách để quản lý các tình huống như vậy. Trước khi khối có thể được sửa đổi, quyền sở hữu khối phải được bảo đảm.

Làm việc với DLM đi kèm với chi phí chung đáng kể. Tổng chi phí trong môi trường VAX / VMS có thể lớn, yêu cầu tối đa sáu thông báo trên bus CI cho một thao tác I / O duy nhất. Chi phí chung có thể lên tới 20% cho mỗi bộ xử lý trong cụm.

Các cụm hiệu suất cao

Nguyên tắc xây dựng

Kiến trúc của các cụm hiệu suất cao xuất hiện như một sự phát triển của các nguyên tắc xây dựng hệ thống MPP trên các thành phần quy mô lớn và kém hiệu quả hơn được điều khiển bởi một hệ điều hành có mục đích chung. Các cụm, giống như hệ thống MPP, bao gồm các nút được ghép nối lỏng lẻo, có thể đồng nhất hoặc không giống như MPP, khác hoặc không đồng nhất. Khi thiết kế kiến ​​trúc cụm hiệu suất cao, đặc biệt chú ý đến việc đảm bảo hiệu quả cao của bus truyền thông kết nối các nút cụm. Vì các xe buýt lớn, hiệu suất tương đối thấp thường được sử dụng trong các cụm, một số biện pháp phải được thực hiện để loại bỏ thông lượng thấp của chúng đối với hiệu suất của các cụm và tổ chức song song hiệu quả trong cụm. Ví dụ, băng thông của một trong những công nghệ tốc độ cao nhất Fast Ethernet là cấp độ thấp hơn băng thông của các kết nối trong siêu máy tính kiến ​​trúc MPP hiện đại.

Một số phương pháp được sử dụng để giải quyết các vấn đề về hiệu suất mạng kém:

Cụm được chia thành nhiều phân đoạn, trong đó các nút được kết nối bằng một bus hiệu suất cao như Myrinet và giao tiếp giữa các nút của các phân đoạn khác nhau được thực hiện bởi các mạng hiệu suất thấp như Ethernet / Fast Ethernet. Điều này cho phép, cùng với việc giảm chi phí môi trường truyền thông, tăng đáng kể hiệu suất của các cụm như vậy khi giải quyết các vấn đề về trao đổi dữ liệu chuyên sâu giữa các quy trình.

Việc sử dụng cái gọi là "trung kế", tức là kết hợp một số kênh Fast Ethernet thành một kênh tốc độ cao chung kết nối nhiều bộ chuyển mạch. Nhược điểm rõ ràng của phương pháp này là "mất mát" một số cổng liên quan đến kết nối các bộ chuyển mạch.

Để cải thiện hiệu suất, các giao thức đặc biệt để trao đổi thông tin qua các mạng như vậy được tạo ra, cho phép sử dụng hiệu quả hơn băng thông kênh và loại bỏ một số hạn chế do các giao thức chuẩn (TCP / IP, IPX) áp đặt. Phương pháp này thường được sử dụng trong các hệ thống thuộc lớp Beowulf.

Chất lượng chính mà một cụm hiệu suất cao phải có là khả năng mở rộng theo chiều ngang, vì một trong những lợi thế chính mà kiến ​​trúc cụm cung cấp là khả năng tăng dung lượng của một hệ thống hiện có bằng cách chỉ cần thêm các nút mới vào hệ thống. Hơn nữa, sự gia tăng công suất xảy ra gần như tương ứng với sức mạnh của các tài nguyên được thêm vào và có thể được thực hiện mà không cần dừng hệ thống trong quá trình hoạt động của nó. Trong các hệ thống có kiến ​​trúc khác (cụ thể là MPP), thường chỉ có khả năng mở rộng theo chiều dọc: thêm bộ nhớ, tăng số lượng bộ xử lý trong hệ thống đa xử lý, hoặc thêm bộ điều hợp hoặc đĩa mới. Nó cho phép bạn tạm thời cải thiện hiệu suất hệ thống. Tuy nhiên, hệ thống sẽ có dung lượng bộ nhớ, bộ xử lý hoặc đĩa được hỗ trợ tối đa, tài nguyên hệ thống sẽ cạn kiệt và để cải thiện hiệu suất, bạn sẽ phải tạo một hệ thống mới hoặc làm lại đáng kể hệ thống cũ. Hệ thống cụm cũng có thể mở rộng theo chiều dọc. Do đó, thông qua mở rộng theo chiều dọc và chiều ngang, mô hình cụm cung cấp tính linh hoạt cao hơn và dễ dàng tăng hiệu suất hệ thống.

Dự án Beowulf

Beowulf là một sử thi Scandinavia kể về các sự kiện của thế kỷ 7 - 1/3 đầu tiên của thế kỷ 8, trong đó người anh hùng cùng tên, người đã tôn vinh bản thân trong các trận chiến, là một người tham gia.

Một trong những ví dụ về việc thực hiện một hệ thống cụm có cấu trúc như vậy là các cụm Beowulf. Dự án Beowulf đã quy tụ khoảng một tá tổ chức (chủ yếu là các trường đại học) ở Hoa Kỳ. Các nhà phát triển hàng đầu của dự án là các chuyên gia của NASA. Trong loại cụm này, các đặc điểm chính sau đây có thể được phân biệt:

Một cụm Beowulf bao gồm một số nút riêng biệt được kết nối với một mạng chung; các tài nguyên được chia sẻ không được sử dụng bởi các nút cụm;

Nó được coi là tối ưu để xây dựng các cụm dựa trên hệ thống SMP bộ xử lý kép;

Để giảm chi phí tương tác giữa các nút, Fast Ethernet 100 MB song công được sử dụng (SCI ít được sử dụng hơn), một số phân đoạn mạng được tạo hoặc các nút cụm được kết nối thông qua một bộ chuyển mạch;

Hệ điều hành Linux và các thư viện giao tiếp miễn phí (PVM và MPI) được sử dụng làm phần mềm;

Lịch sử của dự án Beowulf

Dự án bắt đầu vào mùa hè năm 1994 tại Trung tâm Chuyến bay Không gian Goddard (GSFC) của NASA, chính xác hơn là trong CESDIS (Trung tâm Xuất sắc về Dữ liệu Không gian và Khoa học Thông tin) được tạo ra trên cơ sở của nó.

Cụm Beowulf đầu tiên dựa trên các máy tính Intel chạy Linux. Đó là một hệ thống bao gồm 16 nút (trên bộ xử lý 486DX4 / 100MHz, 16MB bộ nhớ và 3 bộ điều hợp mạng trên mỗi nút, 3 cáp Ethernet 10Mbit "song song"). Nó được tạo ra như một tài nguyên máy tính cho Dự án Khoa học Trái đất và Không gian (ESS).

Hơn nữa, trong GSFC và các bộ phận khác của NASA, các cụm khác mạnh hơn đã được thu thập. Ví dụ: cụm HIVE (Môi trường ảo tích hợp song song cao) chứa 64 nút với 2 bộ xử lý Pentium Pro / 200MHz và 4GB bộ nhớ mỗi nút, 5 công tắc Fast Ethernet. Tổng chi phí của cụm này là khoảng $ 210,000. Là một phần của dự án Beowulf, một số trình điều khiển mạng hiệu suất cao và chuyên biệt đã được phát triển (cụ thể là trình điều khiển để sử dụng nhiều kênh Ethernet cùng một lúc).

Kiến trúc Beowulf

Các nút cụm.

Đây là những PC có bộ xử lý đơn hoặc máy chủ SMP với số lượng bộ xử lý nhỏ (2-4, có thể lên đến 6). Vì một số lý do, việc xây dựng các cụm dựa trên hệ thống vi xử lý kép được coi là tối ưu, mặc dù thực tế là trong trường hợp này việc thiết lập một cụm sẽ hơi khó khăn hơn (chủ yếu là do các bo mạch chủ tương đối rẻ tiền cho 2 bộ vi xử lý Pentium II / III có sẵn) . Nó đáng để cài đặt 64-128MB RAM trên mỗi nút (đối với hệ thống bộ xử lý kép 64-256MB).

Một trong các máy nên được cấp phát làm máy (đầu) trung tâm, nơi cần cài đặt một đĩa cứng đủ lớn, có thể là một bộ xử lý mạnh hơn và nhiều bộ nhớ hơn các nút (đang hoạt động) khác. Việc cung cấp kết nối (an toàn) giữa máy này và thế giới bên ngoài là rất hợp lý.

Khi lắp ráp các nút làm việc, có thể bỏ qua các đĩa cứng - các nút này sẽ tải Hệ điều hành thông qua mạng từ máy trung tâm, điều này ngoài việc tiết kiệm tiền, cho phép bạn định cấu hình Hệ điều hành và tất cả phần mềm cần thiết chỉ một lần ( trên máy trung tâm). Nếu các nút này không được sử dụng đồng thời như các máy trạm của người dùng, thì không cần cài đặt các cạc video và màn hình trên chúng. Có thể cài đặt các nút trong giá đỡ (rackmounting), điều này sẽ giảm không gian bị chiếm dụng bởi các nút, nhưng sẽ tốn kém hơn một chút.

Có thể tổ chức các cụm trên cơ sở các mạng máy trạm đã có, tức là máy trạm của người dùng có thể được sử dụng như các nút cụm vào ban đêm và vào cuối tuần. Các hệ thống kiểu này đôi khi được gọi là COW (Cụm máy trạm).

Số lượng các nút nên được lựa chọn dựa trên các tài nguyên máy tính cần thiết và các nguồn tài chính hiện có. Cần hiểu rằng với một số lượng lớn các nút, các thiết bị mạng phức tạp và đắt tiền hơn cũng sẽ cần được lắp đặt.

Các loại mạng LAN chính liên quan đến dự án Beowulf là Gigabit Ethernet, Fast Ethernet và 100-VG AnyLAN. Trong trường hợp đơn giản nhất, một đoạn Ethernet được sử dụng (10Mbit / giây trên cặp xoắn). Tuy nhiên, chi phí thấp của một mạng như vậy, do va chạm, biến thành chi phí chung lớn cho các trao đổi giữa các bộ xử lý; và hiệu suất tốt của một cụm như vậy chỉ nên được mong đợi trên các tác vụ có cấu trúc song song rất đơn giản và rất hiếm khi xảy ra tương tác giữa các quy trình (ví dụ: liệt kê các tùy chọn).

Để có được hiệu suất tốt của trao đổi giữa các bộ xử lý, Fast Ethernet song công đầy đủ ở tốc độ 100Mbit / giây được sử dụng. Trong trường hợp này, để giảm số lần va chạm, hãy thiết lập một số phân đoạn Ethernet "song song" hoặc kết nối các nút cụm thông qua một bộ chuyển mạch.

Một lựa chọn đắt tiền hơn, nhưng cũng phổ biến là sử dụng các bộ chuyển mạch như Myrinet (1,28Gbit / giây, song công).

Ít phổ biến hơn, nhưng cũng thực sự được sử dụng trong các cụm xây dựng, các công nghệ mạng là cLAN, SCI và Gigabit Ethernet.

Đôi khi, để giao tiếp giữa các nút cụm, một số kênh giao tiếp vật lý được sử dụng song song - cái gọi là "liên kết kênh", thường được sử dụng cho công nghệ Fast Ethernet. Trong trường hợp này, mỗi nút được kết nối với bộ chuyển mạch Fast Ethernet có nhiều hơn một kênh. Để đạt được điều này, các nút được trang bị nhiều NIC hoặc thẻ Fast Ethernet đa cổng. Sử dụng liên kết kênh trong các nút chạy Linux cho phép bạn phân phối đều tải truyền / nhận giữa các kênh tương ứng.

Phần mềm hệ thống

Hệ điều hành. Thông thường, hệ thống Linux được sử dụng trong các phiên bản được tối ưu hóa đặc biệt cho tính toán song song phân tán. Nhân Linux 2.0 đã được tinh chỉnh. Trong quá trình xây dựng các cụm, hóa ra là các trình điều khiển thiết bị mạng Linux tiêu chuẩn rất kém hiệu quả. Do đó, các trình điều khiển mới đã được phát triển, chủ yếu dành cho mạng Fast Ethernet và Gigabit Ethernet, và có thể kết hợp một cách hợp lý một số kết nối mạng song song giữa các máy tính cá nhân (tương tự như liên kết kênh phần cứng), giúp có thể xây dựng mạng từ các mạng cục bộ giá rẻ với băng thông thấp với thông lượng tổng hợp cao.

Như với bất kỳ cụm nào, mỗi nút cụm chạy bản sao riêng của nhân hệ điều hành. Nhờ những cải tiến, tính duy nhất của các số nhận dạng quy trình được đảm bảo trong toàn bộ cụm chứ không phải các nút riêng lẻ.

Các thư viện thông tin liên lạc. Giao diện lập trình song song phổ biến nhất trong mô hình truyền thông điệp là MPI. Việc triển khai MPI miễn phí được khuyến nghị là gói MPICH từ Phòng thí nghiệm Quốc gia Argonne. Đối với các cụm dựa trên công tắc Myrinet, hệ thống HPVM đã được phát triển, cũng bao gồm việc triển khai MPI.

Để tổ chức hiệu quả song song trong một hệ thống SMP, có thể có hai lựa chọn:

1. Một quy trình MPI riêng biệt được tạo ra cho mỗi bộ xử lý trong máy SMP. Các quy trình MPI trong hệ thống này trao đổi thông điệp thông qua bộ nhớ dùng chung (MPICH phải được cấu hình phù hợp).
2. Chỉ một quy trình MPI được bắt đầu trên mỗi máy. Bên trong mỗi quy trình MPI, quá trình song song được thực hiện trong mô hình "bộ nhớ dùng chung", ví dụ, sử dụng các chỉ thị OpenMP.

Sau khi cài đặt triển khai MPI, bạn nên kiểm tra hiệu suất thực tế của chuyển tiếp mạng.

Bên cạnh MPI, còn có các thư viện và hệ thống lập trình song song khác có thể được sử dụng trên các cụm.

Ví dụ về Beowulf - Triển khai cụm Avalon

Năm 1998, nhà vật lý thiên văn Michael Warren và các nhà khoa học khác từ nhóm vật lý thiên văn lý thuyết đã chế tạo siêu máy tính Avalon tại Phòng thí nghiệm Quốc gia Los Alamos, là một cụm Beowulf dựa trên bộ vi xử lý DEC Alpha / 533MHz. Avalon ban đầu bao gồm 68 bộ vi xử lý, sau đó nó được mở rộng lên 140. Mỗi nút có 256 MB RAM, ổ cứng 3.2 GB EIDE và Kingston NIC (tổng số nút có giá 1700 đô la). Các nút được kết nối bằng 4 bộ chuyển mạch Fast Ethernet 36 cổng và bộ chuyển mạch Gigabit Ethernet 12 cổng được đặt ở vị trí trung tâm từ 3Com.

Tổng chi phí của Avalon là 313 nghìn đô la, và hiệu suất LINPACK của nó (47,7 GFLOPS) cho phép nó chiếm vị trí thứ 114 trong ấn bản thứ 12 của danh sách Top500 (bên cạnh hệ thống 152 bộ xử lý IBM SP2). Cấu hình Avalon 70 vi xử lý trong nhiều thử nghiệm cho thấy hiệu năng ngang ngửa với hệ thống 64 vi xử lý SGI Origin2000 / 195MHz có giá hơn 1 triệu USD.

Avalon hiện đang được sử dụng rộng rãi trong vật lý thiên văn, phân tử và máy tính khoa học khác. Tại SC 98, những người tạo ra Avalon đã trình bày một bài nói chuyện với tựa đề "Avalon: Một Cụm Alpha / Linux Đạt được 10 Gflop với giá 150 nghìn đô la" và giành được Giải thưởng Hiệu suất / Giá Gordon Bell năm 1998.

Phần kết luận

Các nhà sản xuất vi xử lý hàng đầu Sun Microsystems, Dell và IBM đều có chung tầm nhìn về tương lai của ngành siêu máy tính: các siêu máy tính riêng lẻ, độc lập nên được thay thế bằng các cụm máy chủ hiệu suất cao. Ngày nay, các hệ thống cụm phân tán đi trước các siêu máy tính cổ điển hiện đại về hiệu suất: máy tính mạnh nhất thế giới hiện nay - IBM ASCI White - có hiệu suất 12 TeraFLOP, hiệu suất mạng [email được bảo vệ]ước tính khoảng 15 TeraFLOP. Đồng thời, IBM ASCI White đã được bán với giá 110 triệu đô la, và trong toàn bộ lịch sử tồn tại của nó [email được bảo vệ] khoảng 500 nghìn đô la đã được chi tiêu.

Văn học

2.http: //www.beowulf.com

3. http://newton.gsfc.nasa.gov/thehive/

4. LoBoS, http://www.lobos.nih.gov

5. http://parallel.ru/news/kentucky_klat2.html

6. http://parallel.ru/news/anl_chibacity.html

7. http://parallel.ru/cluster/

8. http://www.ptc.spbu.ru

Máy tính MIMD

Máy tính MIMD có n bộ xử lý thực thi độc lập n luồng lệnh và xử lý n các luồng dữ liệu. Mỗi bộ xử lý hoạt động theo luồng lệnh riêng, tức là máy tính MIMD có thể thực thi song song các chương trình hoàn toàn khác nhau.

Các kiến ​​trúc MIMD được phân loại thêm dựa trên tổ chức vật lý của bộ nhớ, nghĩa là, liệu bộ xử lý có bộ nhớ cục bộ riêng và truy cập các khối bộ nhớ khác bằng mạng chuyển mạch hay không, hoặc liệu mạng chuyển mạch có kết nối tất cả các bộ xử lý với bộ nhớ chung hay không. Dựa trên tổ chức bộ nhớ, các loại kiến ​​trúc song song sau đây được phân biệt:

• Máy tính bộ nhớ phân tán (Bộ nhớ phân tán)
  Bộ xử lý có thể truy cập bộ nhớ cục bộ, có thể gửi và nhận các tin nhắn được truyền qua mạng kết nối các bộ xử lý. Tin nhắn được sử dụng để liên lạc giữa các bộ xử lý hoặc tương đương, để đọc và ghi các khối bộ nhớ từ xa. Trong một mạng lý tưởng hóa, chi phí gửi một thông điệp giữa hai nút mạng không phụ thuộc vào vị trí của cả hai nút và lưu lượng mạng, nhưng phụ thuộc vào độ dài của thông điệp.

• Máy tính bộ nhớ dùng chung (Bộ nhớ được chia sẻ thực sự)
  Tất cả các bộ xử lý cùng truy cập bộ nhớ dùng chung, thường thông qua hệ thống phân cấp bus hoặc bus. Trong mô hình PRAM (Máy truy cập ngẫu nhiên song song) được lý tưởng hóa, thường được sử dụng trong các nghiên cứu lý thuyết về thuật toán song song, bất kỳ bộ xử lý nào cũng có thể truy cập vào bất kỳ vị trí bộ nhớ nào trong cùng một thời điểm. Trong thực tế, khả năng mở rộng của kiến ​​trúc này thường dẫn đến một số dạng phân cấp bộ nhớ. Có thể giảm tần suất truy cập bộ nhớ dùng chung bằng cách lưu trữ các bản sao của dữ liệu được truy cập thường xuyên trong bộ nhớ đệm được liên kết với mỗi bộ xử lý. Truy cập bộ nhớ đệm này nhanh hơn nhiều so với truy cập trực tiếp vào bộ nhớ được chia sẻ.

• Máy tính có bộ nhớ dùng chung (dùng chung) ảo (Bộ nhớ chia sẻ ảo)
  Không có bộ nhớ được chia sẻ như vậy. Mỗi bộ xử lý có bộ nhớ cục bộ riêng và có thể truy cập bộ nhớ cục bộ của các bộ xử lý khác bằng cách sử dụng "địa chỉ chung". Nếu "địa chỉ chung" không trỏ đến bộ nhớ cục bộ, thì bộ nhớ được truy cập bằng các tin nhắn được gửi qua mạng truyền thông.

Ví dụ về máy bộ nhớ dùng chung là:

• Sun Microsystems (máy trạm đa xử lý)
• Thử thách đồ họa Silicon (máy trạm đa xử lý)
• Đối xứng liên tục
• Lồi
• Cray 6400.

Các máy tính sau đây được phân loại là máy bộ nhớ phân tán

• IBM-SP1 / SP2
• Parsytec GC
• CM5 (Công ty Cổ phần Máy Tư duy)
• Cray T3D
• Paragon (Intel Corp.)
• nCUBE
• Meiko CS-2
• AVX (Máy tính song song Alex)
• IMS B008

Bộ nhớ phân tán Các kiến ​​trúc MIMD cũng có thể được phân loại theo băng thông của mạng chuyển mạch. Ví dụ, trong một kiến ​​trúc trong đó các cặp bộ xử lý và mô-đun bộ nhớ (phần tử bộ xử lý) được nối mạng với cấu trúc liên kết mạng tinh thể, mỗi bộ xử lý có cùng số lượng kết nối mạng bất kể số lượng bộ xử lý trong máy tính. Tổng băng thông của một mạng như vậy tăng tuyến tính với số lượng bộ xử lý. Mặt khác, trong một kiến ​​trúc có mạng với các cấu trúc liên kết siêu khối, số lượng kết nối giữa bộ xử lý với mạng là một hàm logarit của số bộ xử lý và băng thông mạng tăng nhanh hơn tuyến tính với số bộ xử lý. Trong cấu trúc liên kết bè lũ mỗi bộ xử lý phải được kết nối với tất cả các bộ xử lý khác.

Mạng 2D mạng tinh thể (hình xuyến)

Mạng 2D hình xuyến

Mạng có cấu trúc liên kết bè lũ

Trung tâm Quốc gia về Ứng dụng Siêu máy tính (Đại học Illinois, Urbana-Champaign)

MPI: Giao diện truyền thông báo

Cái tên "giao diện nhắn tin" đã tự nói lên điều đó. Đây là một cơ chế được tiêu chuẩn hóa tốt để xây dựng các chương trình song song trong một mô hình nhắn tin. Có các "ràng buộc" MPI tiêu chuẩn cho C / C ++, Fortran 77/90. Có các triển khai miễn phí và thương mại cho hầu hết các nền tảng siêu máy tính, cũng như mạng máy trạm UNIX và Windows NT. Hiện tại MPI là giao diện được sử dụng rộng rãi và phát triển năng động nhất trong lớp của nó.

Beowulf - Cụm Linux

Mikhail Kuzminsky

"Hệ thống mở"

Bước sang thiên niên kỷ, chúng ta có mọi cơ hội chứng kiến ​​sự độc quyền của ngành công nghiệp máy tính, có thể bao gồm cả bộ vi xử lý và hệ điều hành. Tất nhiên, chúng ta đang nói về bộ vi xử lý của Intel (Merced đe dọa sẽ thay thế bộ vi xử lý của kiến ​​trúc RISC) và hệ điều hành của Microsoft.

Trong cả hai trường hợp, thành công phần lớn được xác định bởi sức mạnh của cỗ máy tiếp thị, và không chỉ bởi thuộc tính "tiêu dùng" của sản phẩm. Theo tôi, cộng đồng máy tính vẫn chưa nhận ra mức độ lớn của những hậu quả có thể xảy ra.

Một số chuyên gia đã so sánh khả năng độc quyền tiềm tàng của thị trường máy tính với sự thống trị độc quyền của IBM trong những năm 1970, trong cả máy tính lớn và hệ điều hành. Tôi đã làm việc với kỹ thuật này trong một thời gian dài và khi hệ điều hành Unix lan rộng ở nước ta, tôi ngày càng nhận ra nhiều ưu điểm của hệ điều hành IBM MVS. Tuy nhiên, tôi có chung quan điểm rằng sự độc quyền như vậy không góp phần thúc đẩy tiến độ.

Các trường đại học phương Tây, có thời là một trong những trường đầu tiên chuyển sang Unix, vẫn dựa vào hệ thống này trong những bước phát triển đầy hứa hẹn của họ và Linux ngày càng được chọn làm nền tảng. Bài báo này được dành cho một trong những phát triển học thuật mang tính hướng dẫn.

Linux như một hiện tượng công khai

Chúng ta không còn ngạc nhiên khi Linux đã trở thành một hiện tượng nổi bật trong đời sống máy tính. Kết hợp với bộ phần mềm miễn phí phong phú nhất GNU, hệ điều hành này đã trở nên cực kỳ phổ biến với người dùng phi thương mại cả trong và ngoài nước. Sự phổ biến của nó đang ngày càng phát triển. Các phiên bản Linux không chỉ tồn tại cho nền tảng Intel x86 mà còn cho các kiến ​​trúc bộ xử lý khác, bao gồm cả DEC Alрha, và được sử dụng rộng rãi cho các ứng dụng Internet và thực hiện các tác vụ tính toán. Tóm lại, Linux đã trở thành một loại "hệ điều hành phổ biến". Tuy nhiên, không thể nói rằng Linux không có điểm yếu; một trong số đó là không đủ hỗ trợ cho các kiến ​​trúc SMP.

Cách rẻ nhất để tăng tài nguyên máy tính, bao gồm cả sức mạnh xử lý, là xây dựng một cụm. Các siêu máy tính khổng lồ song song với bộ nhớ truy cập ngẫu nhiên được phân phối vật lý và logic cũng có thể được coi là một loại cụm. Ví dụ nổi bật nhất của kiến ​​trúc như vậy là máy tính IBM SP2 nổi tiếng.

Toàn bộ câu hỏi là những gì kết nối các máy tính (nút) trong một cụm. Với mục đích này, siêu máy tính "thực" sử dụng phần cứng chuyên dụng và do đó đắt tiền được thiết kế để cung cấp thông lượng cao. Các cụm thường sử dụng các tiêu chuẩn mạng thông thường - Ethernet, FDDI, ATM hoặc HiPPI.

Các công nghệ cụm sử dụng hệ điều hành Linux bắt đầu phát triển cách đây vài năm và có sẵn từ rất lâu trước khi Wolfpack cho Windows NT ra đời. Đây là cách dự án Beowulf nổi lên vào giữa những năm 90.

Anh hùng của một bài thơ sử thi

"Beowulf" là một sử thi Scandinavia kể về các sự kiện của thế kỷ 7 - 1/3 đầu thế kỷ 8, trong đó người anh hùng cùng tên, người đã tôn vinh bản thân trong các trận chiến, là một người tham gia. Không biết liệu các tác giả của dự án có nghĩ đến việc Beowulf sẽ chiến đấu với ai bây giờ (có lẽ là với Windows NT?) Hay không, nhưng hình ảnh anh hùng đã khiến khoảng một chục tổ chức (chủ yếu là các trường đại học) ở Hoa Kỳ trở thành một tập đoàn. Không thể nói rằng các trung tâm siêu máy tính chiếm ưu thế trong số những người tham gia dự án, nhưng các cụm Loki và Megalon được lắp đặt tại các trung tâm tính toán hiệu suất cao nổi tiếng thế giới như Los Alamos và phòng thí nghiệm Sandia của Bộ Năng lượng Hoa Kỳ; các nhà phát triển hàng đầu của dự án là các chuyên gia của NASA. Nói chung, không có ngoại lệ, tất cả các cụm do những người tham gia dự án tạo ra đều được đặt tên lớn.

Ngoài Beowulf, một công nghệ cụm gần khác cũng được biết đến - NOW. Trong NOW, các máy tính cá nhân thường chứa thông tin về bản thân và các nhiệm vụ được giao cho chúng, và quản trị viên hệ thống của một cụm đó có trách nhiệm tạo ra thông tin này. Về mặt này, các cụm Beowulf đơn giản hơn (theo quan điểm của sysadmin): có các nút riêng lẻ không biết về cấu hình cụm. Chỉ một nút chuyên dụng chứa thông tin cấu hình; và chỉ anh ta có kết nối mạng với thế giới bên ngoài. Tất cả các nút cụm khác được kết nối bằng mạng cục bộ và chúng được kết nối với thế giới bên ngoài chỉ bằng một "cầu nối mỏng" từ nút điều khiển.

Các nút trong công nghệ Beowulf là bo mạch chủ PC. Thông thường, các nút cũng sử dụng ổ cứng cục bộ. Các loại tiêu chuẩn của mạng cục bộ được sử dụng để kết nối các nút. Chúng tôi sẽ xem xét vấn đề này bên dưới, đầu tiên chúng tôi sẽ đi sâu vào phần mềm.

Nó dựa trên Beowulf trên hệ điều hành Linux tiêu chuẩn có sẵn trên thị trường, có thể được mua trên CD-ROM. Lúc đầu, hầu hết những người tham gia dự án tập trung vào các đĩa CD do Slackware xuất bản, nhưng bây giờ phiên bản RedHat được ưa chuộng hơn.

Trong hệ điều hành Linux thông thường, bạn có thể cài đặt phương tiện song song nổi tiếng trong mô hình nhắn tin (LAM MPI 6.1, PVM 3.3.11 và các phương tiện khác). Bạn cũng có thể sử dụng tiêu chuẩn p-thread và các công cụ giao tiếp liên bộ xử lý tiêu chuẩn được bao gồm trong bất kỳ Hệ thống Unix V. Dự án Beowulf cũng tiến hành những phát triển bổ sung đáng kể.

Trước hết, cần lưu ý việc sửa đổi hạt nhân Linux 2.0. Trong quá trình xây dựng các cụm, hóa ra là các trình điều khiển thiết bị mạng Linux tiêu chuẩn rất kém hiệu quả. Do đó, các trình điều khiển mới đã được phát triển (tác giả của hầu hết các phát triển là Donald Becker), chủ yếu cho mạng Fast Ethernet và Gigabit Ethernet, và khả năng kết hợp hợp lý của một số kết nối mạng song song giữa các máy tính cá nhân đã được cung cấp, điều này làm cho nó có thể từ mạng nội bộ giá rẻ với tốc độ khiêm tốn hơn, hãy xây dựng một mạng với băng thông tổng hợp cao.

Như trong bất kỳ cụm nào, mỗi nút có bản sao riêng của nhân hệ điều hành. Các cải tiến đảm bảo tính duy nhất của các mã nhận dạng quy trình trong toàn bộ cụm, thay vì các nút riêng lẻ, cũng như "phân phối từ xa" các tín hiệu Linux.

Ngoài ra, cần lưu ý các chức năng khởi động mạng (netbooting) khi làm việc với bo mạch chủ Intel PR 440FX, và chúng cũng có thể được sử dụng để làm việc với các bo mạch chủ khác được trang bị AMI BIOS.

Các khả năng rất thú vị được cung cấp bởi các cơ chế của bộ nhớ ảo mạng (Network Virtual Memory) hoặc bộ nhớ phân tán dùng chung (DSM) (Distributed Shared Memory), cho phép bạn tạo ra cho một quá trình nào đó một "ảo ảnh" về bộ nhớ dùng chung của các nút.

Mạng là một vấn đề tế nhị

Do việc song song hóa các ứng dụng siêu máy tính nói chung và các ứng dụng cụm nói riêng, đòi hỏi thông lượng cao và độ trễ thấp để trao đổi thông điệp giữa các nút, các đặc tính mạng trở thành các tham số xác định hiệu suất của cụm. Việc lựa chọn bộ vi xử lý cho các nút là hiển nhiên - đây là những bộ vi xử lý tiêu chuẩn của Intel; nhưng với cấu trúc liên kết cụm, loại mạng và card mạng, bạn có thể thử nghiệm. Đó là trong lĩnh vực này mà nghiên cứu chính đã được thực hiện.

Khi phân tích các NIC PC khác nhau trên thị trường hiện nay, người ta đặc biệt chú ý đến các đặc điểm như hỗ trợ đa hướng hiệu quả, hỗ trợ kích thước gói lớn, v.v. Các loại mạng cục bộ chính tham gia vào dự án Beowulf là Gigabit Ethernet, Fast Ethernet và 100 -VG AnyLAN. (Các khả năng của công nghệ ATM cũng đã được khám phá tích cực, nhưng theo như tác giả biết, điều này đã được thực hiện ngoài phạm vi của dự án này.)

Cách tự chế tạo siêu máy tính

Sau khi phân tích kết quả của công việc được thực hiện trong khuôn khổ dự án Beowulf, người ta có thể đi đến kết luận sau: các giải pháp được tìm thấy cho phép bạn lắp ráp độc lập một cụm hiệu suất cao dựa trên các thành phần PC tiêu chuẩn và sử dụng phần mềm thông thường. Trong số các trường hợp lớn nhất, người ta không thể không lưu ý đến cụm 50 nút trong CESDIS, bao gồm 40 nút xử lý dữ liệu (dựa trên bo mạch Pentium Pro / 200 MHz đơn và xử lý kép) và 10 nút chia tỷ lệ (bộ xử lý kép Pentium Pro / Hội đồng quản trị 166 MHz). Tỷ lệ chi phí / hiệu suất cao nhất trong một cụm như vậy dường như rất tốt. Câu hỏi đặt ra là khả năng có thể song song hóa các ứng dụng một cách hiệu quả như thế nào - nói cách khác, đâu sẽ là hiệu suất thực chứ không phải hiệu suất cao nhất. Những người tham gia dự án hiện đang làm việc để giải quyết vấn đề này.

Cần lưu ý rằng việc xây dựng các cụm từ PC thông thường đang trở nên khá mốt ngày nay trong cộng đồng khoa học. Một số cơ sở giáo dục ở nước ta cũng đang có kế hoạch tạo ra các cụm như vậy.

Khi các máy tính có công suất khác nhau hoặc các kiến ​​trúc khác nhau được kết hợp thành một cụm, người ta nói đến các cụm không đồng nhất (không đồng nhất). Các nút cụm có thể được sử dụng đồng thời như các máy trạm của người dùng. Trong trường hợp không cần thiết, các nút có thể được làm nhẹ đi đáng kể và / hoặc được lắp vào giá đỡ.

Hệ điều hành tiêu chuẩn cho máy trạm được sử dụng, thường xuyên nhất, được phân phối tự do - Linux / FreeBSD, cùng với các công cụ đặc biệt để lập trình song song và cân bằng tải. Lập trình, như một quy luật, trong khuôn khổ của mô hình truyền thông điệp (thường xuyên nhất - MPI). Nó được thảo luận chi tiết hơn trong phần tiếp theo.

Lịch sử phát triển của kiến ​​trúc cụm.

DEC là người đầu tiên công bố khái niệm về hệ thống cụm vào năm 1983, định nghĩa nó là một nhóm các máy tính được kết nối với nhau đại diện cho một đơn vị xử lý thông tin duy nhất.

Một trong những dự án đầu tiên mang lại tên tuổi cho toàn bộ lớp hệ thống song song - cụm Beowulf - đã xuất hiện tại Trung tâm Chuyến bay Không gian Goddard của NASA để hỗ trợ dự án Khoa học Trái đất và Không gian với các tài nguyên tính toán cần thiết. Dự án Beowulf bắt đầu vào mùa hè năm 1994, và ngay sau đó một cụm 16 bộ xử lý dựa trên bộ vi xử lý Intel 486DX4 / 100 MHz đã được lắp ráp. Mỗi nút có 16 MB RAM và 3 bộ điều hợp mạng Ethernet. Để hoạt động trong cấu hình này, các trình điều khiển đặc biệt đã được phát triển để phân phối lưu lượng giữa các card mạng có sẵn.

Sau đó, HIVE - Cụm Môi trường ảo Tích hợp song song cao được lắp ráp trong GSFC, cấu trúc của nó được thể hiện trong Hình. 2. Cụm này bao gồm bốn cụm con E, B, G và DL, với 332 bộ xử lý và hai máy chủ chuyên dụng. Tất cả các nút trong cụm này đang chạy RedHat Linux.

Năm 1998, nhà vật lý thiên văn Michael Warren và các nhà khoa học khác từ nhóm vật lý thiên văn lý thuyết đã chế tạo siêu máy tính Avalon tại Phòng thí nghiệm Quốc gia Los Alamos, là một cụm Linux dựa trên bộ vi xử lý Alpha 21164A với tốc độ đồng hồ 533 MHz. Ban đầu, Avalon bao gồm 68 bộ vi xử lý, sau đó nó được mở rộng lên 140. Mỗi nút chứa 256 MB RAM, ổ cứng 3 GB và bộ điều hợp mạng Fast Ethernet. Tổng chi phí của dự án Avalon là 313 nghìn đô la, và hiệu suất mà nó thể hiện trong bài kiểm tra LINPACK - 47,7 GFLOPS, cho phép nó chiếm vị trí thứ 114 trong phiên bản thứ 12 của danh sách Top500 bên cạnh hệ thống 152 bộ xử lý IBM RS / 6000 SP. Cùng năm 1998, tại hội nghị uy tín nhất trong lĩnh vực máy tính hiệu suất cao Supercomputing'98, những người sáng tạo ra Avalon đã trình bày báo cáo "Avalon: An Alpha / Linux Cluster Đạt được 10 Gflop với giá 150 nghìn đô la", nhận được giải nhất trong đề cử "tỷ lệ giá / hiệu suất tốt nhất."

Vào tháng 4 năm nay, trong khuôn khổ dự án AC3 tại Đại học Cornell về Nghiên cứu Y sinh, một cụm Velocity + đã được cài đặt, bao gồm 64 nút với hai bộ xử lý Pentium III / 733 MHz và 2 GB RAM mỗi nút và có một đĩa tổng. bộ nhớ 27 GB. Các nút chạy trong Windows 2000 và được kết nối bằng mạng Giganet cLAN.

Dự án Lots of Boxes on Shelfes được thực hiện tại Viện Y tế Quốc gia Hoa Kỳ vào tháng 4 năm 1997 và rất thú vị trong việc sử dụng công nghệ Gigabit Ethernet làm phương tiện truyền thông. Ban đầu, cụm bao gồm 47 nút với hai bộ xử lý Pentium Pro / 200 MHz, 128 MB RAM và một đĩa 1,2 GB trên mỗi nút. Năm 1998 đã được thực hiện

giai đoạn tiếp theo của dự án là LoBoS2, trong đó các nút được chuyển đổi thành máy tính để bàn trong khi vẫn duy trì phân nhóm. LoBoS2 hiện bao gồm 100 nút tính toán chứa hai bộ xử lý Pentium II / 450 MHz, 256 MB RAM và 9 GB bộ nhớ đĩa. Ngoài cụm 4 máy tính điều khiển được kết nối với một mảng RAID chung với dung lượng 1,2 TB.

Một trong những phát triển cụm mới nhất là siêu máy tính AMD Presto III, là một cụm Beowulf gồm 78 bộ xử lý Athlon. Máy tính được cài đặt tại Viện Công nghệ Tokyo. Đến nay, AMD đã chế tạo 8 siêu máy tính trong cụm Beowulf chạy Linux.

Nhóm IBM

RS / 6000

IBM cung cấp một số loại hệ thống kết hợp lỏng lẻo dựa trên RS / 6000 được nhóm lại và chạy trên phần mềm Bộ xử lý đa xử lý được phân cụm tính khả dụng cao / 6000 (HACMP / 6000).

Các nút cụm hoạt động song song, chia sẻ quyền truy cập vào các tài nguyên logic và vật lý bằng cách sử dụng các khả năng của trình quản lý khóa có trong HACMP / 6000.

Kể từ khi được công bố vào năm 1991, sản phẩm HACMP / 6000 đã trải qua quá trình phát triển không ngừng. Nó bao gồm một trình quản lý tài nguyên song song, một trình quản lý khóa phân tán và một trình quản lý khối lượng logic song song, với trình quản lý sau cung cấp cân bằng tải trên toàn bộ cụm. Số lượng nút tối đa trong một cụm đã tăng lên tám. Hiện tại, cụm có các nút với đa xử lý đối xứng, được xây dựng bằng công nghệ Data Crossbar Switch, giúp tăng hiệu suất tuyến tính cùng với sự gia tăng số lượng bộ xử lý.

Các cụm RS / 6000 dựa trên mạng LAN Ethernet, Token Ring hoặc FDDI và có thể được cấu hình theo nhiều cách khác nhau để tăng độ tin cậy:

• Chế độ chờ nóng hoặc chuyển đổi dự phòng đơn giản. Trong chế độ này, nút đang hoạt động thực hiện các tác vụ ứng dụng và nút ở chế độ chờ có thể thực hiện các tác vụ không quan trọng có thể bị dừng nếu cần chuyển đổi khi nút hoạt động bị lỗi.
• Dự trữ đối xứng. Tương tự như chế độ chờ nóng, nhưng vai trò của chế độ chính và chế độ chờ không cố định.
• Chế độ lấy hàng hoặc chia sẻ tải trọng lẫn nhau. Trong chế độ này, mỗi nút trong cụm có thể "nhận" các tác vụ đang chạy trên bất kỳ nút nào khác trong cụm.

IBM SP2

IBM SP2 dẫn đầu danh sách TOP500 siêu máy tính lớn nhất về số lượng cài đặt (141 lượt cài đặt, và tổng cộng có 8.275 máy tính như vậy với tổng số hơn 86 nghìn nút trên thế giới. Những siêu máy tính này dựa trên kiến ​​trúc- cách tiếp cận dựa trên cụm bằng cách sử dụng một công tắc trung tâm mạnh mẽ. IBM sử dụng cách tiếp cận này trong nhiều năm.

Kiến trúc chung SP2

Tổng quan về kiến ​​trúc SP2 được đưa ra trong Hình. 1. Đặc điểm kiến ​​trúc chính của nó là sử dụng bộ chuyển mạch tốc độ cao với độ trễ thấp để kết nối các nút với nhau. Kinh nghiệm cho thấy sơ đồ tưởng chừng cực kỳ đơn giản này lại tỏ ra vô cùng linh hoạt. Lúc đầu, các nút SP2 là bộ xử lý đơn, sau đó các nút SMP xuất hiện.

Trên thực tế, tất cả các chi tiết được ẩn trong cấu trúc của các nút. Hơn nữa, các nút thuộc các loại khác nhau, và thậm chí các bộ xử lý ở các nút lân cận cũng có thể khác nhau. Điều này đảm bảo

linh hoạt hơn trong việc lựa chọn cấu hình. Tổng số nút trong một hệ thống máy tính có thể lên tới 512. Các nút SP2 thực sự là các máy tính độc lập và các đối tác trực tiếp của chúng được IBM bán dưới tên riêng của chúng. Ví dụ nổi bật nhất về điều này là máy chủ SMP bốn bộ xử lý RS / 6000 44P-270 với bộ vi xử lý Power3-II, bản thân nó có thể được phân loại là một máy tính hạng trung hoặc thậm chí là một siêu máy tính mini.

Các bộ vi xử lý được lắp đặt trong các nút SP2 đã phát triển theo hai đường kiến ​​trúc: Power - Power2 - Power3 - Power3-II và dọc theo dòng PowerPC lên đến kiểu 604e với xung nhịp là 332 MHz.

Truyền thống cho SP2 là Thin Node và Wide Node, có kiến ​​trúc SMP. Chúng có thể được cài đặt cả PowerPC 604e (từ hai đến bốn bộ xử lý) và Power3-II (tối đa bốn bộ xử lý). Dung lượng bộ nhớ chính của các nút nằm trong khoảng từ 256 MB đến 3 GB (khi sử dụng Power3-II - lên đến 8 GB). Sự khác biệt chính giữa nút mỏng và nút rộng liên quan đến hệ thống con I / O. Các nút rộng được thiết kế cho các ứng dụng yêu cầu khả năng I / O mạnh mẽ hơn, với mười khe cắm PCI (bao gồm ba khe cắm 64-bit) so với hai khe cắm ở các nút mỏng. Theo đó, số lượng các khoang gắn cho các thiết bị đĩa trong các nút rộng lớn hơn.

Tốc độ của công tắc được đặc trưng bởi độ trễ thấp: 1,2 ms (lên đến 2 ms với hơn 80 nút). Đây là một thứ tự lớn hơn những gì bạn có thể nhận được trong các cụm Linux Beowulf hiện đại. Thông lượng đỉnh trên mỗi cổng: 150 MB / s một chiều (tức là 300 MB / s song công). Các bộ điều hợp chuyển mạch nằm trong các nút SP2 có cùng băng thông. IBM cũng trích dẫn kết quả tuyệt vời về độ trễ và thông lượng.

Các nút SP2 mạnh nhất là các nút Cao. Nút cao là một tổ hợp bao gồm một nút tính toán với tối đa sáu thiết bị mở rộng I / O được kết nối. Nút này cũng có kiến ​​trúc SMP và chứa tối đa 8 bộ xử lý Power3 với tốc độ xung nhịp 222 hoặc 375 MHz.

Ngoài ra, loại nút này chứa một bảng I / O cũng được kết nối với bảng hệ thống. Bảng I / O chứa hai khối logic SABER đối xứng, qua đó dữ liệu được truyền đến các thiết bị bên ngoài, chẳng hạn như

như ổ đĩa và thiết bị viễn thông. Bo mạch I / O có bốn khe PCI 64 bit và một khe 32 bit (33 MHz) và tích hợp UltraSCSI, 10/100 Mbps Ethernet, ba bộ điều khiển nối tiếp và một bộ điều khiển song song.

Với sự ra đời của các nút cao và bộ vi xử lý Power3-II / 375 MHz trên điểm chuẩn song song Linpack, hệ thống IBM SP2 đã đạt được hiệu suất 723,4 GFLOPS. Kết quả này đạt được khi sử dụng 176 nút (704 bộ xử lý). Xem xét tối đa 512 nút có thể được cài đặt, kết quả này cho thấy IBM SP2 sản xuất hàng loạt có khả năng gần với mốc 1 TFLOPS.

Sun Microsystems Cluster Solutions

Sun Microsystems cung cấp các giải pháp phân cụm dựa trên sản phẩm Máy chủ SPARCclaster PDB của mình, sử dụng máy chủ SMP đa xử lý SPARCserver 1000 và SPARCcenter 2000 làm nút. Tối đa SPARCserver 1000 có thể có tối đa tám bộ xử lý và SPARCcenter 2000 có thể có tới 20 bộ xử lý SuperSPARC. Gói cơ bản bao gồm các thành phần sau: hai nút cụm dựa trên SPARCserver 1000 / 1000E hoặc SPARCcenter 2000 / 2000E, hai mảng đĩa SPARCstorage Array và một bộ cụm với phần cứng trùng lặp để liên lạc, bảng điều khiển quản lý cụm Bảng điều khiển quản lý người dùng, Phần mềm SPARCclaster PDB, và Gói Dịch vụ Cụm.

Để đảm bảo hiệu suất cao và tính khả dụng của thông tin liên lạc, cụm duy trì khả năng dự phòng đầy đủ của tất cả các xương sống dữ liệu. Các nút cụm được kết nối bằng liên kết SunFastEthernet với băng thông 100 Mbps. Để kết nối các hệ thống con của đĩa, một giao diện Fibre Channel với băng thông 25 Mbit / s được sử dụng, cho phép các ổ đĩa và các nút được loại bỏ khỏi nhau ở khoảng cách lên đến 2 km. Tất cả các thông tin liên lạc giữa các nút, các nút và hệ thống con đĩa đều được nhân bản ở cấp phần cứng. Phần cứng, phần mềm và mạng cụm đảm bảo rằng không có khoảng trống nào trong hệ thống mà một lỗi hoặc một lỗi duy nhất sẽ khiến toàn bộ hệ thống không thể sử dụng được.

Dự án đại học

Một sự phát triển thú vị của Đại học Kentucky là cụm KLAT2 (Kentucky Linux Athlon Testbed 2). Hệ thống KLAT2 bao gồm 64 nút không ổ đĩa với bộ xử lý AMD Athlon / 700 MHz và 128 MB RAM cho mỗi nút. Phần mềm, trình biên dịch và thư viện toán học (SCALAPACK, BLACS và ATLAS) đã được cải tiến để sử dụng hiệu quả 3DNow! Bộ vi xử lý AMD để cải thiện hiệu suất. Giải pháp mạng được sử dụng, được gọi là "Mạng lân cận phẳng" (FNN), cũng được quan tâm đáng kể. Mỗi nút có bốn NIC Smartlink Fast Ethernet và các nút được kết nối bằng chín thiết bị chuyển mạch 32 cổng. Hơn nữa, đối với hai nút bất kỳ, luôn có một kết nối trực tiếp thông qua một trong các công tắc, nhưng không cần phải kết nối tất cả các nút thông qua một công tắc duy nhất. Tối ưu hóa phần mềm cho kiến ​​trúc AMD và cấu trúc liên kết FNN đã đạt được tỷ lệ giá / hiệu suất kỷ lục là $ 650 cho mỗi GFLOPS.

Ý tưởng chia một cụm thành nhiều phần đã được thể hiện một cách thú vị trong dự án Thành phố Chiba, được thực hiện tại Phòng thí nghiệm Quốc gia Argonne. Phần chính chứa 256 nút tính toán, mỗi nút

trong đó có hai bộ vi xử lý Pentium III / 500 MHz, RAM 512 MB và một đĩa cục bộ dung lượng 9 GB. Ngoài phần máy tính, hệ thống bao gồm phần trực quan hóa (32 máy tính cá nhân IBM Intellistation với card đồ họa Matrox Millenium G400, 512 MB RAM và đĩa 300 GB), phần lưu trữ dữ liệu (8 máy chủ IBM Netfinity 7000 với Xeon / 500 Bộ xử lý MHz và 300 GB) và phân vùng điều khiển (12 máy tính IBM Netfinity 500). Tất cả chúng được kết nối bởi mạng Myrinet, được sử dụng để hỗ trợ các ứng dụng song song, cũng như mạng Gigabit Ethernet và Fast Ethernet cho các mục đích quản lý và dịch vụ. Tất cả các phần được chia thành các "thị trấn" (town) với 32 máy tính. Mỗi người trong số họ có một "thị trưởng" của riêng mình, người phục vụ cục bộ cho "thành phố" của riêng mình, giảm tải cho mạng lưới dịch vụ và cung cấp khả năng truy cập nhanh vào các tài nguyên địa phương.

Các dự án cụm ở Nga

Ở Nga, luôn có nhu cầu cao về các nguồn tài nguyên tính toán hiệu suất cao và chi phí tương đối thấp của các dự án cụm đã đóng vai trò là động lực nghiêm trọng cho việc sử dụng rộng rãi các giải pháp như vậy ở nước ta. Một trong những thứ đầu tiên xuất hiện là cụm "Parity", được lắp ráp trong IVViBD và bao gồm tám bộ xử lý Pentium II được kết nối bởi mạng Myrinet. Năm 1999, một giải pháp cụm dựa trên mạng SCI đã được thử nghiệm tại NICEVT, thực tế là công ty tiên phong sử dụng công nghệ SCI để xây dựng các hệ thống song song ở Nga.

Một cụm hiệu suất cao dựa trên mạng truyền thông SCI, được lắp đặt tại Trung tâm Máy tính Nghiên cứu của Đại học Tổng hợp Moscow. Cụm RCC bao gồm 12 máy chủ Excimer bộ xử lý kép dựa trên Intel Pentium III / 500 MHz, với tổng số 24 bộ xử lý với tổng hiệu suất cao nhất là 12 tỷ hoạt động mỗi giây. Tổng chi phí của hệ thống là khoảng 40 nghìn đô la, hoặc khoảng 3,33 nghìn cho 1 GFLOPS.

Các nút máy tính của cụm được kết nối bằng các kênh mạng SCI một chiều theo hình xuyến 3x4 hai chiều và được kết nối đồng thời với máy chủ trung tâm thông qua mạng Fast Ethernet phụ trợ và công tắc 3Com Superstack. Mạng SCI là cốt lõi của cụm, làm cho hệ thống này trở thành một phương tiện tính toán cấp siêu máy tính duy nhất tập trung vào nhiều loại nhiệm vụ. Tốc độ trao đổi dữ liệu tối đa qua mạng SCI trong các ứng dụng của người dùng là hơn 80 MB / s và thời gian trễ là khoảng 5,6 μs. Khi xây dựng cụm máy tính này, người ta đã sử dụng giải pháp Wulfkit tích hợp do Dolphin Interconnect Solutions và Scali Computer (Na Uy) phát triển.

Công cụ chính để lập trình song song trên một cụm là MPI (Message Passing Interface) ScaMPI 1.9.1. Trong bài kiểm tra LINPACK, khi giải hệ phương trình tuyến tính với ma trận 16000x16000, hiệu suất thực tế thu được là hơn 5,7 GFLOPS. Trong các thử nghiệm của gói NPB, hiệu suất của cụm có thể so sánh được, thậm chí đôi khi còn vượt qua hiệu suất của các siêu máy tính thuộc họ Cray T3E có cùng số bộ xử lý.

Lĩnh vực ứng dụng chính của cụm máy tính của Trung tâm Máy tính Nghiên cứu của Đại học Tổng hợp Moscow là hỗ trợ nghiên cứu khoa học cơ bản và quá trình giáo dục.

Trong số các dự án thú vị khác, giải pháp được thực hiện tại Đại học St.Petersburg dựa trên công nghệ Fast Ethernet cần được lưu ý: các cụm được lắp ráp có thể được sử dụng như các lớp học độc lập chính thức và như một đơn vị tính toán duy nhất giải quyết một vấn đề duy nhất. Tại Trung tâm Khoa học Samara

đã đi theo con đường tạo ra một cụm máy tính không đồng nhất, bao gồm các máy tính dựa trên bộ vi xử lý Alpha và Pentium III. Một bản cài đặt dựa trên bộ xử lý Alpha và mạng Myrinet sẽ được cài đặt tại Đại học Kỹ thuật St.Petersburg mà không cần sử dụng đĩa cục bộ trên các nút máy tính. Đại học Kỹ thuật Hàng không Bang Ufa đang thiết kế một cụm dựa trên mười hai trạm Alpha, mạng Fast Ethernet và Hệ điều hành Linux.

Các công nghệ cụm đã trở thành sự tiếp nối hợp lý của sự phát triển các ý tưởng vốn có trong kiến ​​trúc của các hệ thống MPP. Nếu mô-đun bộ xử lý trong hệ thống MPP là một hệ thống tính toán hoàn chỉnh, thì bước tiếp theo tự đề xuất: tại sao không sử dụng các máy tính thông thường có sẵn trên thị trường làm các nút máy tính như vậy. Sự phát triển của công nghệ truyền thông, cụ thể là sự xuất hiện của thiết bị mạng tốc độ cao và phần mềm đặc biệt, chẳng hạn như hệ thống MPI, thực hiện cơ chế truyền thông điệp qua các giao thức mạng tiêu chuẩn, đã làm cho các công nghệ cụm nói chung trở nên khả dụng. Ngày nay không khó để tạo ra một hệ thống cụm nhỏ bằng cách kết hợp sức mạnh tính toán của máy tính trong một phòng thí nghiệm hoặc lớp học riêng biệt.

Một tính năng hấp dẫn của công nghệ cụm là chúng cho phép, để đạt được hiệu suất cần thiết, kết hợp các máy tính thuộc nhiều loại khác nhau thành hệ thống tính toán thống nhất, từ máy tính cá nhân đến siêu máy tính mạnh mẽ. Công nghệ cụm đã trở nên phổ biến như một phương tiện tạo ra các hệ thống siêu máy tính từ các thành phần của sản xuất hàng loạt, giúp giảm đáng kể chi phí của một hệ thống máy tính. Đặc biệt, dự án COCOA là một trong những dự án đầu tiên được thực hiện, trong đó một hệ thống có hiệu suất tương đương với 48 bộ vi xử lý Cray T3D trị giá vài triệu đô la Mỹ đã được tạo ra trên cơ sở 25 máy tính cá nhân vi xử lý kép với tổng số chi phí khoảng 100.000 đô la.

Tất nhiên, không cần phải nói về sự tương đương hoàn toàn của các hệ thống này. Như đã lưu ý trong phần trước, hiệu suất của hệ thống bộ nhớ phân tán phụ thuộc nhiều vào hiệu suất của môi trường truyền thông. Môi trường giao tiếp có thể được đặc trưng khá đầy đủ bởi hai tham số: độ trễ- thời gian trễ khi gửi tin nhắn, và thông lượng- tốc độ truyền thông tin. Vì vậy, đối với máy tính Cray T3D, các thông số này lần lượt là 1 μs và 480 Mb / giây và đối với một cụm trong đó mạng Fast Ethernet được sử dụng làm phương tiện truyền thông là 100 μs và 10 Mb / giây. Điều này giải thích phần nào giá thành rất cao của siêu máy tính. Với các tham số như cụm đang được xem xét, không có nhiều tác vụ có thể được giải quyết hiệu quả trên một số lượng bộ xử lý đủ lớn.

Nói ngắn gọn, cụm là một tập hợp các máy tính chính thức được kết nối được sử dụng như một tài nguyên máy tính duy nhất. Ưu điểm của một hệ thống cụm so với một tập hợp các máy tính độc lập là rõ ràng. Thứ nhất, nhiều hệ thống điều phối để xử lý hàng loạt công việc đã được phát triển, cho phép bạn gửi một công việc để xử lý cho toàn bộ cụm, chứ không phải cho một số máy tính riêng lẻ. Các hệ thống điều phối này tự động phân phối nhiệm vụ giữa các nút máy tính miễn phí hoặc đệm chúng nếu không có nút nào, điều này cho phép tải máy tính đồng đều và hiệu quả hơn. Thứ hai, có thể chia sẻ tài nguyên máy tính của một số máy tính để giải quyết một vấn đề.

Các cụm thường được tạo bằng cách sử dụng máy tính cá nhân đơn bộ xử lý hoặc máy chủ SMP hai hoặc bốn bộ xử lý. Đồng thời, không có hạn chế nào được áp đặt đối với thành phần và kiến ​​trúc của các nút. Mỗi nút có thể hoạt động theo hệ điều hành riêng của nó. Các hệ điều hành tiêu chuẩn được sử dụng phổ biến nhất: Linux, FreeBSD, Solaris, Tru64 Unix, Windows NT. Trong trường hợp các nút của cụm không đồng nhất, thì chúng nói về không đồng nhất các cụm.

Khi tạo cụm, có thể phân biệt hai cách tiếp cận. Cách tiếp cận đầu tiên được sử dụng khi tạo các hệ thống cụm nhỏ. Cụm kết hợp các máy tính đầy đủ chức năng tiếp tục hoạt động như các đơn vị độc lập, ví dụ: máy tính trong lớp học hoặc máy trạm trong phòng thí nghiệm. Cách tiếp cận thứ hai được sử dụng trong trường hợp một tài nguyên máy tính mạnh mẽ được tạo ra có mục đích. Sau đó, các đơn vị hệ thống của máy tính được đặt nhỏ gọn trong các giá đỡ đặc biệt, và một hoặc nhiều máy tính đầy đủ chức năng, được gọi là máy tính chủ, được phân bổ để quản lý hệ thống và chạy các tác vụ. Trong trường hợp này, không cần cung cấp cho máy tính của các nút máy tính với cạc đồ họa, màn hình, ổ đĩa và các thiết bị ngoại vi khác, điều này làm giảm đáng kể chi phí của hệ thống.

Nhiều công nghệ đã được phát triển để kết nối các máy tính thành một cụm. Công nghệ được sử dụng rộng rãi nhất tại thời điểm này là Fast Ethernet. Điều này là do tính dễ sử dụng và chi phí thiết bị thông tin liên lạc thấp. Tuy nhiên, điều này phải trả giá bằng tỷ giá hối đoái cố tình không đủ. Thật vậy, thiết bị này cung cấp tỷ lệ trao đổi tối đa giữa các nút là 10 Mb / giây, trong khi tỷ lệ trao đổi với RAM là 250 Mb / giây trở lên. Các nhà phát triển gói chương trình con ScaLAPACK nhằm giải quyết các vấn đề đại số tuyến tính trên các hệ thống đa xử lý, trong đó có một tỷ lệ lớn các hoạt động truyền thông, đưa ra yêu cầu sau đối với hệ thống đa xử lý: 10 hiệu suất cao nhất của một nút máy tính, được đo bằng Mflops "http : //rsusu1.rnd.runnet.ru/tutor/method/m1/liter1.html -. Do đó, nếu các máy tính loại Pentium III 500 MHz (hiệu suất cao nhất là 500 Mflop) được sử dụng làm các nút tính toán, thì thiết bị Fast Ethernet chỉ cung cấp 1/5 tốc độ cần thiết. Tình trạng này có thể được khắc phục một phần bằng cách chuyển đổi sang công nghệ Gigabit Ethernet.

Một số công ty cung cấp các giải pháp cụm chuyên biệt dựa trên mạng nhanh hơn, chẳng hạn như SCI từ Scali Computer (~ 100 Mb / giây) và Mirynet (~ 120 Mb / giây). Các nhà sản xuất máy trạm hiệu năng cao (SUN, HP, Silicon Graphics) cũng tích cực hỗ trợ các công nghệ cụm.