· KLDP.org · KLDP.net · KLDP Wiki · KLDP BBS ·
Linuxdoc Sgml/Beowolf_Supercomputer-KLDP

You are not allowed to 'fullsearch'


Beowulf Cluster

Beowulf Cluster

¹ÚÁ¤È¯ (jhpark@nurapt.kaist.ac.kr)

1998³â 10¿ù 28ÀÏ
ÀÌ ¹®¼­´Â Beowulf Cluster¿¡ ´ëÇÑ °£´ÜÇÑ ¼Ò°³ÀÔ´Ï´Ù.

1. ¼Ò°³

À¥¼­¹ö, DB ¼­¹ö, ¸ÞÀϼ­¹ö, FTP ¼­¹ö, PROXY ¼­¹ö µî Àü»ê ¾÷¹« ȯ°æ¿¡¼­ ¸®´ª½º ¼­¹öÀÇ ¾ÈÁ¤ ¼º, ¼º´É, º¸¾È¼º µîÀ» ±âÁ¸ÀÇ À¯´Ð½º ¼­¹ö³ª NT¼­¹ö¿Í ºñ±³Çغ¼¶§ ¸®´ª½º ¼­¹öÀÇ °¡°Ý´ë ¼º´Éºñ ÀÇ Å¹¿ùÇÔÀº ¾î´À ´©±¸µµ ºÎÀÎÇÏÁö ¸øÇÒ °ÍÀÌ¸ç ¿äÁòµé¾î¼­´Â »ó¿ë ¼ÒÇÁÆ®¿þ¾î ¾÷°èÀÎ ³Ý½ºÄÉÀÌ ÇÁ, ¿À¶óŬ, ÀÎÆ÷¹Í½º, ÄÚ·¼ µîÀÇ Âü°¡·Î ¸®´ª½º´Â ¼­¹ö ¹× °³ÀÎ »ç¿ëÀÚ OS·Î¼­ »õ·Î¿î Àü±â¸¦ ¸Â°í ÀÖ´Ù. ÀÌ¿¡ ¸øÁö ¾Ê°Ô ÄÄÇ»Æà ¼Óµµ¸¦ ÃÖ¿ì¼±À¸·Î ÇÏ´Â Å×Å©´ÏÄà ÄÄÇ»Æà ȯ°æ¿¡¼­µµ ÀÌ¹Ì ¾Ë ÆÄ ÇÁ·Î¼¼½º¸¦ »ç¿ëÇÑ ¸®´ª½º ¿÷½ºÅ×À̼ÇÀº Ź¿ùÇÑ ºÎµ¿¼Ò¼öÁ¡ ¿¬»êÀ¸·Î ÀÎÇØ ÇöÀç »õ·Î¿î °ü½É À» ¹Þ°í ÀÖÀ¸¸ç, SGI, IBM, SUN, HP, DEC¿¡ ÀÇÇØ Á¡À¯µÇ¾ú´ø Å×Å©´ÏÄà ÄÄÇ»Æà ¿µ¿ªÀ» ±Þ¼ÓÇÑ ¼Óµµ·Î ¾ËÆÄ ¸®´ª½º°¡ ÆÄ°í µé°í ÀÖÀ¸¸ç, ¶ÇÇÑ ¸®´ª½º´Â ´ÜÀÏ ÇÁ·Î¼¼¼­³ª SMP¿¡¸¸ ¸Ó¹°Áö ¾Ê°í, ¸®´ª½ºÀÇ °­·ÂÇÑ ³×Æ®¿öÅ·À» ÅëÇÑ ³×Æ®¿÷ Ŭ·¯½ºÅ͸¦ ±¸ÃàÇÏ¿© ¼öÆÛ ÄÄÇ»ÅÍ ¿µ¿ª¿¡ µµÀüÇÏ°í ÀÖ ´Ù.

¸®´ª½º ³×Æ®¿÷ Ŭ·¯½ºÅÍÀÇ ÇÑ ÇüÅÂÀÎ Beowulf clusterÀº 1994³â NASAÀÇ CESDIS¿¡¼­ 16 node cluster¸¦ ¸®´ª½º¿Í Ç¥ÁØ ¼ÒÇÁÆ®¿þ¾î ÆÐÅ°Áö¸¦ ÀÌ¿ëÇÏ¿© °³¹ßÇÏ¿´´Âµ¥, ÀÌ·± ¹ÙÅÁ¿¡´Â ±× ´ç½Ã NASA¿¡¼­ »ç¿ëÁßÀÎ CRAYÀÇ ÀÓ´ë ±â°£ Á¾·á¿Í ´õºÒ¾î »õ·Î¿î º´·Äó¸®¿ë ¼öÆÛ ÄÄÇ»ÅÍ °³¹ßÀ» Á÷Á¢Çغ¸ÀÚ´Â ºÐÀ§±â°¡ ÀÖ¾ú´Ù. À̶§ ¸®´ª½º ³×Æ®¿÷ µå¶óÀ̹öÀÇ °³¹ßÀÌ CESDIS¿¡ ÀÇÇØ ÁÖµµÀû À¸·Î ÀÌ·ç¾îÁ® ÇöÀç ³Î¸® »ç¿ëµÇ°í ÀÖ´Ù.

¿µÈ­ 'ŸÀÌŸ´Ð'¿¡¼­µµ 128°³ÀÇ ¾ËÆÄ ¸®´ª½º Ŭ·¯½ºÆ®¸¦ ÀÌ¿ëÇÑ º´·Ä󸮸¦ ÅëÇÏ¿© ¸®´ª½ºÀÇ ¿ì¼ö ¼ºÀ» ¼º°øÀûÀ¸·Î º¸¿©ÁÖ¾úÀ¸¸ç ÇöÀç ¹Ì±¹ ·Î½º ¾Ë¶ó¸ð½º ±¹¸³ ¿¬±¸¼Ò¿¡¼­´Â ÇÏÀÌÅÚ Çϵå¿þ¾î Åë½ÅÆǸŶõ¿¡¼­ ÈçÈ÷ º¼¼ö ÀÖ´Â 70°³ÀÇ ¾ËÆÄ ¸®´ª½º ¹Ú½º·Î ±¸¼ºµÈ AvalonÀ̶ó´Â Beowulf ½Ã½º ÅÛÀ» Á÷Á¢ ¸¸µé¾úÀ¸¸ç, ÇöÀç Top500 supercomputers list (http://www.top500.org/top500.list.html) ¿¡ 315À§·Î µî·Ï µÇ¾î ÀÖ´Ù. ºñ½ÁÇÑ ¼øÀ§ÀÇ ¼öÆÛ ÄÄÇ»Åͷδ SGIÀÇ 64°³ÀÇ ÇÁ·Î¼¼¼­¸¦ »ç¿ëÇÏ´Â ORIGIN 2000 ½Ã½ºÅÛ(304À§)ÀÌ´Ù. Âü°í·Î ±¹³»ÀÇ ¿­¾ÇÇÑ ¼öÆÛ ÄÄÇ»Æà ȯ°æÀ» ´ëº¯Çϵí 315¼øÀ§ ÀÌ»óÀ¸·Î ±â·ÏµÈ ±¹³» ¼öÆÛÄÄÇ»ÅÍ´Â 6´ë»ÓÀ¸·Î, ÀÌ°øÇко߷δ SERI, KT, »ï¼º¸¸ º¸À¯ÇÏ°í ÀÖ À» »Ó, ±¹³» ´ëÇÐÀ̳ª ÀÏ¹Ý ¿¬±¸¼Ò¿¡¼­ Á¦´ë·Î µÈ ¼öÆÛÄÄÇ»ÅÍ´Â Àü¹«ÇÑ »óÅÂÀÌ´Ù.

AvalonÀ» ÅëÇØ Beowulf clusterÀÇ Æ¯Â¡À» °£´ÜÈ÷ »ìÆ캸¸é, ¿ì¸®°¡ ÈçÈ÷ º¼¼ö ÀÖ´Â ¾ËÆÄ ¸®´ª½º ¹Ú½º¸¦ ÀÌ¿ëÇÏ¿´±â ¶§¹®¿¡ º¥´õÀÇ Æ¯º°ÇÑ Áö¿ø ¾øÀÌ ¼³Ä¡°¡ °¡´ÉÇÒ Á¤µµ·Î °£´ÜÇÏ¿´À¸¸ç, ¸®´ª½º ¹Ú½º¸¶´Ù °³º°ÀûÀÎ ÆÄ¿ö ¼­ÇöóÀÌ¿Í Ä𸵠ÀåÄ¡·Î ÀÎÇØ Ç׿ Ç×½À ÀåÄ¡°¡ ÇÊ¿äÄ¡ ¾Ê´Â Á¡µµ Ư¡ À¸·Î µé ¼ö ÀÖÀ¸¸ç, À¯Áö º¸¼ö¿¡ ´ëÇÑ ºñ¿ë ¶ÇÇÑ Å©°Ô Àý°¨ÇÒ¼ö ÀÖ´Ù.

º» ±Û¿¡¼­´Â PC hardware¸¦ »ç¿ëÇÏ¿© ¼öÆÛ ÄÄÇ»Æÿ¡ µµÀüÇÏ°í ÀÖ´Â Beowulf clusterÀÇ Æ¯Â¡°ú ¼º°ø ¿äÀεéÀ» »ìÆ캸°í, Beowulf Ŭ·¯½ºÅ͸¦ ±¸¼ºÇϱâ À§ÇØ ÇÊ¿äÇÑ Çϵå¿þ¾î¿Í ¼ÒÇÁÆ®¿þ¾î ȯ°æ ¹× ÇÊÀÚ°¡ ±¸¼ºÇغ» 4-node mini beowulf Ŭ·¯½ºÅÍ¿¡ ´ëÇؼ­ ¼Ò°³ÇÔÀ¸·Î ¼öÆÛ ÄÄÇ»Æà ¿µ¿ª¿¡ µµÀüÇÏ°í ÀÖ´Â ¸®´ª½ºÀÇ ¶Ç ´Ù¸¥ ¸ð½ÀÀ» ¼Ò°³ÇÒ·Á°í ÇÑ´Ù.

2. Beowulf Cluster

°øÇÐÀ» ÇÏ°í ÀÖ´Â ÇÊÀÚ »Ó¸¸ ¾Æ´Ï¶ó, ¸ðµç »ç¶÷µéÀÌ "better, faster, cheaper"ÇÑ ÄÄÇ»Å͸¦ ¿øÇÏ°í ÀÖ´Ù. ±×·¯³ª, ¿÷½ºÅ×ÀÌ¼Ç ±¸ÀÔÀ» Çغ» »ç¶÷µéÀº Àß ¾Ë°ÚÁö¸¸, ÀÌ·± ¹Ù·¥°ú´Â ¸Ö¸® ÇÏÀÌ-¿£µå ÄÄ Ç»ÅÍ À̸¥¹Ù ¿ì¸®°¡ À߾˰í ÀÖ´Â ¿÷Å©½ºÅ×ÀÌ¼Ç º¥´õÀÎ, HP, SGI, SUN, DECÀÇ Á¦Ç°µéÀ» º¸¸é ¿ì ¸®ÀÇ ÀÌ·¯ÇÑ ¹Ù·¥°ú´Â ´Þ¸® ÁÁÀº °ÍÀº Çϳªµµ ¾øÁö¸¸, PCº¸´Ù ¾à°£ ºü¸¥ ¼Óµµ·Î ÀÎÇØ ¾öû³­ ºñ ¿ëÀ» ÁöºÒÇØ¾ß ÇÏ´Â °æ¿ì¸¦ ¸¸³ª°Ô µÈ´Ù. ƯÈ÷ ÀÌ·¯ÇÑ ÇÏÀÌ-¿£µå ÄÄÇ»Æà ȯ°æ¿¡¼­´Â Á¦ÇÑµÈ º¥´õ ÀÇ ¼ö·Î ÀÎÇØ ½Ã½ºÅÛ°£ÀÇ Çϵå¿þ¾î¿Í ¼ÒÇÁÆ®¿þ¾î ȣȯ¼ºÀÇ ºÎÁ·À¸·Î PC¿Í °°ÀÌ »ç¿ëÀÚ°¡ Á÷Á¢ Á¶¸³ÇÏ¿© Àû´çÇÑ ¼ÒÇÁÆ®¿þ¾î¸¦ ¼³Ä¡ÇÏ¿© »ç¿ëÇÑ´Ù´Â °ÍÀº »ý°¢ ÇÒ¼ö ¾ø´Â Çö½ÇÀÌ´Ù. ´ç¿¬È÷ ÀÌ·¯ ÇÑ Æ¯¼ºÀ¸·Î ÀÎÇØ Çϵå¿þ¾î¿Í ¼ÒÇÁÆ®¿þ¾îÀÇ °¡°ÝÀº ºñ½Ò¼ö ¹Û¿¡ ¾ø°í À¯Áö¿Í º¸¼ö¿¡ µå´Â ºñ¿ë ¶ÇÇÑ ¹«½ÃÇÒ ¼ö ¾ø´Â Çö½ÇÀÌ´Ù. ÀÌ·¯ÇÑ °í°¡ÀÇ ÇÏÀÌ-¿£µå ÄÄÇ»Æà ȯ°æÀÇ ´ë¾ÈÀ¸·Î NASA¿¡¼­ Beowulf ÇÁ·ÎÁ§Æ®¶ó´Â À̸§À¸·Î, ½ÃÀå¿¡¼­ ´©±¸³ª »ì¼ö ÀÖ´Â PC Çϵå¿þ¾î¿Í ´©±¸³ª »ç¿ëÇÒ¼ö ÀÖ ´Â ¼ÒÇÁÆ®¿þ¾îÀÎ ¸®´ª½º¸¦ ÀÌ¿ëÇÑ ÇÏÀÌ¿£µå ÄÄÇ»Æà ¿µ¿ª¿¡ ´ëÇÑ »õ·Î¿î ½Ãµµ¸¦ ÇÏ°Ô µÇ¾ú´Ù.

Beowulf ÇÁ·ÎÁ§Æ®°¡ ¼º°øÇÏ°Ô µÈ ¸î°¡Áö Áß¿äÇÑ ¿äÀÎÀ¸·Î PC ÇÁ·Î¼¼½º(Intel x86, DEC Alpha, Power PC)ÀÇ ±Þ¼ÓÇÑ ¹ßÀüÀÌ´Ù. ±Ù·¡¿¡ µé¾î ºÎµ¿¼Ò¼öÁ¡ ¿¬»ê¿¡ ȹ±âÀûÀÎ Çâ»óÀÌ ÀÖ¾úÀ¸¸ç, PC ÇÁ·Î¼¼¼­ÀÇ ¹ßÀü ¼Óµµ´Â ÀÌ¹Ì ±âÁ¸ÀÇ ÇÏÀÌ-¿£µå ÇÁ·Î¼¼½ºº¸´Ù 3¹èÀÌ»ó ºü¸£¸ç, ¸®´ª½º°¡ »ç¿ë°¡ ´ÉÇÑ ¾ËÆÄ ÇÁ·Î¼¼¼­´Â ÀÌ¹Ì ±× ¼Óµµ¸¦ ¾ÕÁú·¶´Ù. ÀÌ¿Í ´õºÒ¾î °í±Þ À¯´Ð½º ¼­¹ö³ª ¿÷½ºÅ×À̼ǿ¡ ¸¸ »ç¿ëµÇ¾ú´ø SCSI ÀåºñÀÇ ´ëÁßÈ­¿Í ±×¸®°í, ³×Æ®¿÷ ÀåºñÀÇ ±Þ¼ÓÇÑ ¹ßÀü°ú ´õºÒ¾î 100Mbps switching hubÀÇ °¡°ÝÇ϶ôÀ¸·Î ÀÎÇØ Beowulf Ŭ·¯½ºÅ͸¦ ±¸ÃàÇÒ ¼ö ÀÖ´Â Çϵå¿þ¾î¸¦ PC±ÞÀ¸·Î µµ ÃæºÐÈ÷ ±¸Ãà °¡´ÉÇØÁ³´Ù. (¿Ü±¹¿¡¼­´Â 100Mbps switching hub¸¦ Æ÷Æ®´ç 100ºÒ ¹Ì¸¸À¸·Î ±¸ÀÔ °¡´ÉÇÏÁö¸¸, ±¹³»´Â ¿©ÀüÈ÷ °í°¡ÀÌ´Ù.)

¹°·Ð ÀÌ·¯ÇÑ Çϵå¿þ¾î ¹ßÀü¸¸À¸·Î Beowulf ÇÁ·ÎÁ§Æ®°¡ ¼º°øÇÒ¼ö ÀÖ¾ú´ø °ÍÀº Àý´ë ¾Æ´Ï´Ù. ÀÌ·¸ °Ô ´Ù¸¥ ¸ñÀûÀ» µÎ°í ¹ßÀüÇØ¿Â Çϵå¿þ¾î¸¦ ¸®´ª½º´Â ÇϳªÀÇ ½Ã½ºÅÛÀ¸·Î ÅëÇÕÇÏ¿© Beowulf ¶ó´Â »õ·Î¿î ŸÀÔÀÇ º´·ÄÄÄÇ»Å͸¦ ¸¸µé¾î ³½ °ÍÀÌ´Ù. ³Ê¹«³ª Àß ¾Æ´Â ¾ê±âÁö¸¸, ¸®´ª½º´Â ±âÁ¸ÀÇ »ó¿ë À¯´Ð½ºº¸´Ù ´õ ³ºÀº ȯ°æÀ» Á¦°øÇÏ¿´´Âµ¥, ¹Ù·Î ¼Ò½º ÄÚµåÀÇ 100% °³¹æÀ¸·Î Beowulf cluster¿¡ ÀûÇÕÇÏ°Ô ÀÚÀ¯·Ó°Ô ¼Ò½º Äڵ带 ¼öÁ¤ÇÏ°í »õ·Ó°Ô °³¹ßÇÏ¿© ¹èÆ÷ÇÒ¼ö Àִ ȯ°æÀ» Á¦°øÇÏ¿´´Âµ¥, ÀÌ·¯ÇÑ ¸®´ª½ºÀÇ ÀÚÀ¯ÇÔÀÌ ¾ø¾ú´Ù¸é ÀÌ ÇÁ·ÎÁ§Æ®´Â ½ÇÆÐÇÏ¿´À» °ÍÀÌ´Ù. ÀÌ¿Ü¿¡µµ MPI, PVM°°Àº message passing libraryÀÇ Ç¥ÁØÈ­°¡ ÀÌ·ç¾îÁ® »ó¿ë º´·ÄÄÄÇ»ÅÍ¿Í ¸¶Âù°¡Áö·Î Beowulf cluster¿¡ ¼­µµ ÀÚÀ¯·Ó°Ô »ç¿ëÇÒ¼ö ÀÖ°Ô µÊÀ¸·Î ÀÎÇØ Cray·Î ½ÃÀÛÇÏ´Â ¼öÆÛ ÄÄÇ»ÅÍ¿¡¼­ ½ÃÀÛÇؼ­ Desktop PC±îÁö ÀÏ°üµÈ ÇÁ·Î±×·¡¹Ö ÀÛ¾÷À» ÇÒ¼ö ÀÖ°Ô µÇ¾ú´Ù.

¼öÆÛ ÄÄÇ»Å͸¦ ±¸Á¶ÀûÀ¸·Î »ìÆ캸¸é, RC5/DES Å©·¢°°ÀÌ Àü¼¼°èÀûÀ¸·Î internetÀ¸·Î ¿¬°áµÈ ÄÄÇ» Å͵鵵 ÇϳªÀÇ º´·Äó¸® ¼öÆÛÄÄÇ»ÅÍ·Î º¼¼ö ÀÖÀ¸¸ç, ÀÌ¿Í ¹Ý´ë·Î »ó¿ë ¼öÆÛ ÄÄÇ»Åͷμ­ ÃÊ°í¼Ó ³×Æ®¿öÅ©·Î ±¸¼ºµÈ MPP, vector, SIMD clusterµµ ÀÖ´Ù. ÀÌ·¯ÇÑ »ó¿ë ¼öÆÛ ÄÄÇ»ÅÍ´Â ½Ã½ºÅÛ µð ÀÚÀΰú °³¹ß ½Ã°£À¸·Î ÀÎÇØ ±Þ¼ÓÈ÷ ¹ßÀüÇÏ°í ÀÖ´Â ¸¶ÀÌÅ©·Î ÇÁ·Î¼¼¼­¸¦ Áï°¢ÀûÀ¸·Î ¼ö¿ëÇϱâ Èû µç ´ÜÁ¡ÀÌ ÀÖ´Â ¹Ý¸é Beowulf Cluster´Â °¢°¢ÀÇ node°¡ °³º°ÀûÀÎ OS¸¦ °¡Áö°í ÀÖÀ¸¸ç °í¼ÓÀÇ local area network¸¦ ÀÌ·ç°í Àֱ⠶§¹®¿¡ ¶Ù¾î³­ È®À强ÀÌ ÀÖÀ¸¸ç, ±Þ¼ÓÈ÷ ¹ßÀüÇÏ°í ÀÖ´Â ¸¶ÀÌ Å©·Î ÇÁ·Î¼¼¼­¸¦ Áï°¢ÀûÀ¸·Î ¼ö¿ëÇϱⰡ ¿ëÀÌÇÏ´Ù. ¹°·Ð SUN°°Àº ´ëÁßÀûÀÎ ¿÷½ºÅ×À̼ÇÀ» ÀÌ¿ëÇÏ ¿© network clusteringÀ» ÇÒ ¼ö ÀÖÁö¸¸, °íºñ¿ëÀ¸·Î ÀÎÇØ È®À强¿¡ ÇѰ踦 °¡Áö°Ô µÈ´Ù. Beowulf cluster´Â °¢ slave node´Â ±âº»ÀûÀ¸·Î M/B, RAM, NIC, CPU¸¸À» °¡Áö°í Å°º¸µå, ¸¶¿ì½º, ¸ð´Ï ÅÍ´Â °øÀ¯±â¸¦ ÅëÇÏ¿© master node¿¡¼­ Àüü node¸¦ Á¦¾îÇÏ°í ÀüÀûÀ¸·Î º´·Ä󸮿¡ »ç¿ëµÈ´Ù´Â Á¡¿¡¼­ ÀϹÝÀûÀÎ workstation cluster¿Í ±¸ºÐµÈ´Ù. °¡Àå °£´ÜÇÑ beowulf cluster´Â switching hub ¾øÀÌ Á÷Á¢ cross linkÇÏ¿© 2 node·Î ±¸¼ºÇÒ ¼ö ÀÖ ´Âµ¥ °¢ node¿¡ CPU¸¦ 2°³¾¿ ¼³Ä¡ÇÑ´Ù¸é °£´ÜÇÑ 4 processor mini beowulf cluster¸¦ ¸¸µé¼ö ÀÖ ´Ù. Ãʱâ beowulf clusterÀº 8-node ¶Ç´Â 16-node·Î ethernetÀ» ¹ÙÅÁÀ¸·Î ½ÃÀÛÇÏ¿´Áö¸¸, ÇöÀç Á¦ ´ë·Î µÈ Beowulf clusterÀ» ±¸¼ºÇϱâ À§Çؼ­ shared 100MBPS±ÞÀÎ ÀÏ¹Ý fast ethernet hub º¸´Ù ´Â °¢ node°£ÀÇ network I/O bandwidth¸¦ º¸ÀåÇϱâ À§Çؼ­ dedicated 100MBPS¸¦ Á¦°øÇÏ´Â switching hub°¡ ÇʼöÀûÀÌ´Ù. ÇöÀç 16Æ÷Æ® switch¸¦ »ç¿ëÇÒ °æ¿ì ÃÖ´ë 16 node¸¦ ±¸¼ºÇÒ ¼ö ÀÖ À¸¸ç, network I/OÀÇ bandwidth°¡ ºÎÁ·ÇÒ °æ¿ì °¢ node¿¡ NIC¸¦ Ãß°¡ ¼³Ä¡ÇÏ¿© network channel bondingÀ» ÇÏ¿© node¼ö´Â ÁÙ¾îµéÁö¸¸, ³×Æ®¿÷ ´ë¿ªÆøÀ» Áõ°¡½Ãų¼öµµ ÀÖ´Ù. (¿©±â¼­ ¸»ÇÏ ´Â node´Â M/BÀÇ ¼ö·Î °¢°¢ÀÇ node´Â dual ¶Ç´Â quad cpu·Îµµ °¡´ÉÇÏ´Ù.)

100 nodeÀÌ»ó ¼³Ä¡ÇÏ¿© ¿î¿µÇÏ°í ÀÖ´Â °÷Àº ´ë°³ gigabit uplink°¡ °¡´ÉÇÑ 100MBPS switch¸¦ »ç ¿ëÇÏ¿© °¢ node¸¦ ¿¬°á½ÃÅ°°í ÀÌ·¯ÇÑ switch¸¦ gigabit switch·Î ¿¬°áÇÏ¿© °¢ node°£ÀÇ network ¸¦ ÅëÇÑ I/O bandwidth¸¦ ¼Õ½ÇÀ» ÃÖ¼ÒÈ­ ÇÑ´Ù. ÀÌ·± ¹æ½ÄÀ¸·Î ³×Æ®¿÷À» ±¸¼ºÇÒ °æ¿ì ±Ø´ÜÀûÀÎ °æ¿ì¸¦ »ý°¢Çϸé, beowulf cluster°ú ³×Æ®¿÷ ±¸¼ºÀº Ʋ¸®Áö¸¸, IntelÀÇ Pentium Pro CPU¸¦ 9152 °³¸¦ »ç¿ëÇÑ ASCI ÀÇ Red System (ÇöÀç Top500 list¿¡¼­ 1À§)À¸·Î beowulf clusterÀÇ °¡´É¼ºÀ» ÃæºÐÈ÷ ÁüÀÛÇÒ ¼ö ÀÖÀ» °ÍÀÌ´Ù. ÀÌ¿Í °°ÀÌ, Beowulf clusterÀÇ °¢ node´Â ½ÃÀå¿¡¼­ ½±°Ô ±¸ÇÒ ¼ö ÀÖ´Â PC Çϵå¿þ¾î·Î ±¸ÃàµÇÁö¸¸, ³×Æ®¿÷ ±¸¼º¿¡ »ç¿ëµÇ´Â Àåºñ´Â ¿¹¿Ü·Î¼­, Àüü Beowulf cluster¿¹»ê Áß¿¡ Å« ºÎºÐÀ» Â÷ÁöÇÏ°í ÀÖÀ¸¸ç ±â¼úÀÇ ¹ß´Þ·Î Myrinet°°Àº »õ·Î¿î ³×Æ®¿÷ Àåºñ°¡ µîÀåÇÏ°í ÀÖÀ¸³ª, channel bondingÇÑ ³×Æ®¿÷ ±¸¼º¿¡ ºñÇØ °¡°Ý´ë ¼º´Éºñ¿¡¼­ Å« È¿°ú¸¦ º¸ÀÌÁö ¸øÇÏ°í ÀÖ¾î Áö±ÝÀº ³Î¸® »ç¿ëµÇ°í ÀÖÁö ¸øÇÏ´Ù.

3. Beowulf Cluster - GALAXY

À§¿¡¼­´Â Beowulf cluster¿¡ ´ëÇÑ ÀϹÝÀûÀΠƯ¡°ú ±¸¼º¹æ½Ä¿¡ ´ëÇؼ­ ¼³¸íÀ» ÇÏ¿´´Ù. ¿©±â¼­´Â ÇÊÀÚ°¡ Á÷Á¢ ±¸¼ºÇغ» Beowulf clusterÀÇ ±¸¼º¹æ¹ý°ú Ư¡¿¡ ´ëÇؼ­ °£´ÜÈ÷ ¼Ò°³¸¦ ÇÏ°Ú´Ù. ´ëºÎ ºÐÀÇ softwareÀûÀÎ ¼ÂÆðü·ÃÀº LINUX HOW-TO ¹®¼­¿¡ Àß ³ª¿Í ÀÖÀ¸¹Ç·Î ÂüÁ¶Çϱ⠹ٶõ´Ù.

97³â º½ ÇÊÀÚÀÇ ¿¬±¸½Ç¿¡¼­´Â SUN Sparc 20¿Í HP C180 ½Ã½ºÅÛÀ» »ç¿ëÇÏ°í ÀÖ¾úÁö¸¸, ½Ç¿øµé ÀÇ ¼öÄ¡°è»ê·®À» ¼ö¿ëÇϱ⿡´Â ¿ªºÎÁ·À̾ ±× ´ç½Ã »õ·Î¿î ½Ã½ºÅÛÀ» ã´Â Áß ¾Õ¼­ ¸»ÇÑ ¹Ù¿Í °°ÀÌ ÆæƼ¾ö ÇÁ·Î¿¡ ¸®´ª½º¸¦ ¼³Ä¡ÇÏ¿© »ç¿ëÇÏ´Â °ÍÀÌ °¡°Ý´ë ¼º´Éºñ°¡ ÃÖÀûÀ̶ó´Â ÆÇ´Ü ¾Æ·¡¿¡ ÆæƼ¾ö ÇÁ·Î(200MHz)¸¦ ±¸ÀÔÇÏ¿© ¸®´ª½º¸¦ ¼³Ä¡ÇÏ°í, Àü°ø°ü·Ã ÄÚµå ÆÐÅ°Áö¸¦ ¼³Ä¡ÇÏ¿© Àû±Ø È° ¿ëÇϱ⠽ÃÀÛÇÑ °ÍÀÌ ¸®´ª½º¸¦ óÀ½À¸·Î Å×Å©´ÏÄà ÄÄÇ»Æÿ¡ ÀÌ¿ëÇÑ °ÍÀ̾ú´Ù. ¹°·Ð ±× Àü¿¡¾ß ³² µé ´Ù ÇÏ´Â °Íó·³ ¸®´ª½º·Î ºÎÆÃÇß´Ù°¡ NT·Î ºÎÆÃÇß´Ù°¡ Çϸ鼭 ÀÌ°Í Àú°Í Àå³­ Ã帴 ´Ü°è¿´ Áö, Á÷Á¢ ¿¬±¸¿¡ È°¿ëÇϱâ´Â óÀ½À̾ú´Ù. ±× ÀÌÈÄ 97³â °Ü¿ï µà¾ó ÆæƼ¾öII 300MHz·Î ¾÷±×·¹ÀÌ µåÇÏ¿´À¸¸ç, º´·Ä󸮸¦ ¿°µÎ¿¡ µÎ°í 98³â º½ ½Ì±Û ÆæƼ¾öII 300MHz¸¦ µÎ´ë¸¦ ´õ ±¸ÀÔÇÏ¿© 1GB SCSIÇϵ忡 OS¸¸ ¼³Ä¡ÇÏ°í NFS¸¦ ÀÌ¿ëÇؼ­ »ç¿ëÀÚ µð·ºÅ丮¸¦ ½Ã½ºÅÛ°£ ¼­·Î °øÀ¯ÇÏ¿© »ç¿ë ÇÏ¿´´Ù. À̶§ Àü°øºÐ¾ßÁß Monte Carlo½Ã¹°·¹À̼ÇÀ» ÇÏ´Â Äڵ尡 PVM library¸¦ ÀÌ¿ëÇÑ º´·Äó¸® ¸¦ Áö¿øÇÏ¿´±â ¶§¹®¿¡, g77°ú PVM library¸¦ ÀÌ¿ëÇÏ¿© ÄÄÆÄÀÏÇÏ¿© »ç¿ëÇÏ°Ô µÇ¾ú´Ù. Monte Carlo ½Ã¹°·¹ÀÌ¼Ç Æ¯¼º»ó ÇÁ·Î±×·¥ ½ÃÀÛ°ú ³¡¿¡¸¸ °¢ nodeµé°£ÀÇ µ¥ÀÌŸ Àü¼ÛÀÌ ÇÊ¿äÇϱ⠶§¹® ¿¡, shared 10Mbpsȯ°æ¿¡¼­µµ ¹«³­ÇÏ°Ô ÇÁ·Î¼¼½º °¹¼ö¸¸Å­, 4¹èÁ¤µµÀÇ ¼ÓµµÁõ°¡¸¦ °¡Á®¿ÔÀ¸¸ç »ó ´çÈ÷ ¸¸Á·ÇÏ°Ô »ç¿ëÇÏ¿´´Ù. ±×·¯³ª shared 10Mbpsȯ°æ¿¡¼­ 4°³ÀÇ ÇÁ·Î¼¼¼­¸¦ »ç¿ëÇÏ¿© number crunching ÀÛ¾÷À» Çϱ⿡´Â ³Ê¹« ¿­¾ÇÇÑ È¯°æÀ̾ »ý°¢Áöµµ ¸øÇÏ¿´À¸³ª, 7¿ù¿¡ KAIST Backbone networkÀÌ ±âÁ¸ÀÇ FDDI¿¡¼­ ATMÀ¸·Î ÀÌÀüÇϸ鼭 enduser¿¡°Ô dedicated 10MBPS¸¦ Á¦°øÇÔ¿¡ µû¶ó, ¿¬±¸½Ç³»¿¡¼­ Baynetwork¿¡¼­ ³ª¿Â 24Æ÷Æ® 10/100M SwitchÀÎ BayStack 350T-HD¸¦ ±¸ÀÔÇÏ°Ô µÇ¾ú´Ù.

±âÁ¸ÀÇ ½Ã½ºÅÛÀ¸·Î »õ·Ó°Ô workstation cluster°¡ ¾Æ´Ñ, Beowulf-classÀÇ ½Ã½ºÅÛÀ¸·Î ±¸ÃàÇϱâ À§ ÇØ, ÀÏ´Ü master node¿¡¸¸ ÇÏµå µð½ºÅ©¸¦ ÀåÂøÇÏ°í slave node´Â diskless·Î ÇÏ¿© ±âÁ¸¿¡ ÀÖ´ø OS¿ë 1GB SCSIÇϵ带 Á¦°ÅÇÏ°í slave node´Â M/B, 1 CPU, 10/100M NIC, 64MB RAM, ISA VGA, keyboard·Î¸¸ ±¸¼º ÇÏ¿´´Ù. ½ÇÁ¦ VGA´Â ÇÊ¿ä¾ø¾úÁö¸¸, ½Ã½ºÅÛ ºÎÆÃÀ» ÇϱâÀ§ÇØ, ¾î¿¼ö ¾øÀÌ ±¼·¯´Ù´Ï´Â ISA ºñµð¿À Ä«µå¸¦ ²È°Ô µÇ¾ú°í mini beowulf ½Ã½ºÅÛÀ̶ó Å°º¸µå °øÀ¯±â¸¦ ±¸ ÀÔÇÏ¿© master node¿¡¼­ Àüü¸¦ °ü¸®ÇÏ´Â °ÍÀº ÀÏ´Ü »ý°¢Áö ¾Ê¾Ò´Ù. ÀÌ¿Í ¹Ý¸é¿¡ master node¿¡ ¼­´Â M/B, 2 CPU, 2 10/100M NIC, 512MB RAM, 22GB SCSI HDD, PCI VGA·Î ±¸¼ºÇÏ¿´´Ù. ÀÏ´Ü BayStack 350T-HDÀÇ VLAN ±â´ÉÀ» ÀÌ¿ëÇÏ¿© 24Æ÷Æ®Áß Beowulf cluster°¡ »ç¿ëÇÏ´Â 3Æ÷ Æ®¸¦ VLAN2 ·Î ÇÏ°í, ³ª¸ÓÁö Æ÷Æ®´Â VLAN1¿¡ ¼ÓÇϵµ·Ï ¼³Á¤ÇÏ¿´°í, Master node¿¡´Â 2°³ÀÇ NIC¸¦ ¼³Ä¡ÇÏ¿´´Âµ¥ eth0´Â VLAN1 ¿¡ ¿¬°áÇÏ¿© ¿ÜºÎ ³×Æ®¿÷¿¡¼­ Á¢±Ù°¡´ÉÇÏ°Ô ÇÏ°í eth1Àº VLAN2¿¡ ¿¬°áÇÏ¿© nodeµé°£¿¡ private network¸¦ ±¸¼ºÇÏ¿´´Ù.

»ç¿ëÇÑ ¸®´ª½º ¹èÆ÷ÆÇÀº RedHat 5.1·Î¼­, RedHat»ç¿¡¼­ NASAÀÇ CESDIS¿Í ÇÔ²² Extreme Linux¶ó´Â RedHat 5.0¿¡ ±âÃÊÇÏ¿© ÀÎÅÚ X86À» À§ÇÑ Beowulf cluster¿ë ¹èÆ÷ÆÇÀ» ÆǸÅÇÏ°í ÀÖ À¸¸ç ÇöÀç anonymous ftp server·Î ºÎÅÍ ´Ù¿î·Îµå ¹ÞÀ»¼ö ÀÖ´Ù. ÇÊÀÚ°¡ ¼³Ä¡ÇÒ ½Ã±â¿¡´Â anonymous ftp server·ÎºÎÅÍ ´Ù¿î·Îµå ¹ÞÀ» ¼ö ÀÖ´Â »óȲÀÌÁö¸¸, ±× ´ç½Ã¿¡´Â Extreme Linux¸¦ ±¸ÇÒ¼ö ¾ø¾ú°í, 5.0¿¡ ±âÁØÇÏ°í ÀÖ¾î º°´Ù¸¥ ¸Þ¸®Æ®°¡ ¾ø¾î º¸¿© RedHat 5.1À» ¼³Ä¡ÇÏ°í °ü·Ã ¼Ò ÇÁÆ®¿þ¾î¸¦ Á÷Á¢ ¼³Ä¡ÇÏ¿´´Ù. ±×·¯³ª, Intel X86ȯ°æ¿¡¼­ NIC¸¦ °¢ ³ëµå¿¡ 2À徿 »ç¿ëÇÏ¿© channel bondingÇÏ¿© node°£ÀÇ network ´ë¿ªÆøÀ» 2¹è·Î Áõ°¡½ÃÅ°°Å³ª ¼ÒÇÁÆ®¿þ¾î ¼³Ä¡ÀÇ ¼ö°í¸¦ ´ú±â ¿øÇÑ´Ù¸é, Extreme Linux¸¦ »ç¿ëÇÏ´Â °ÍÀÌ ¹Ù¶÷Á÷ÇÒ °Í °°´Ù.

Master node´Â diskless slave node¸¦ À§ÇØ NFS-ROOT server°¡ µÇ°Ô ÇÏ¿´°í, NIS¼­¹ö´Â ¼³Ä¡ ÇÏÁö ¾Ê°í °¢ nodeµéÀ» À§ÇÑ /tftpboot µð·ºÅ丮ÀÇ passwd, group ÆÄÀÏÀ» master nodeÀÇ ÆÄÀÏ°ú Çϵ帵ũ ½ÃÄѳõ¾Ò´Ù. slaveµéÀÌ bootp¸¦ ÅëÇØ ip address¸¦ ¼³Á¤ÇÒ¼ö ÀÖ°Ô ÇÏ¿´À¸¸ç, DNS ¼­ ¹ö¸¦ ¼³Ä¡ÇÏ¿© private network³»¿¡¼­ nodeµé°£ÀÇ ³×Æ®¿÷ ȯ°æ¿¡ ¹®Á¦°¡ ¾ø°Ô ÇÏ¿´´Ù. ¼³Ä¡ÇÑ °øÇÐ °ü·Ã ¼ÒÇÁÆ®¿þ¾î´Â ¾ÕºÎºÐ¿¡¼­ ¸»ÇÑ ASCI Red ¼öÆÛÄÄÇ»ÅÍ¿¡¼­ »ç¿ëÁßÀÎ ÆæƼ¾ö ÇÁ ·ÎÀü¿ë BLAS, FFT math library¸¦ ¼³Ä¡ÇÏ¿´°í, message passing library·Î, MPICH, LAM MPI, PVMÀ» ¼³Ä¡ÇÏ¿© °¢ ³ëµå°£ message passingÀ» ÅëÇØ º´·Ä󸮸¦ °¡´ÉÇÏ°Ô ÇÏ¿´À¸¸ç, ±âŸ º´·Ä 󸮿ë math library¸¦ ¼³Ä¡ÇÏ¿´´Ù. Beowulf cluster »ç¿ëÀÚµéÀº master node·Î¸¸ ³×Æ®¿÷À¸·Î Á¢ ±Ù °¡´ÉÇϱ⠶§¹®¿¡, master node¿¡ jobÀÌ ÁýÁßµÉ °ÍÀ» ¿ì·ÁÇÏ¿© ºñ·Ï ¼Ò±Ô¸ð ½Ã½ºÅÛÀÌÁö¸¸, DQS¸¦ »ç¿ëÇÏ¿© »ç¿ëÀÚµéÀÇ batch jobÀ» °ü¸®ÇÏ°Ô ÇÏ¿© »ç¿ëÀÚµéÀÇ jobÀÌ ÇÁ·Î¼¼½º¸¶´Ù ±ÕµîÇÏ °Ô ¹èºÐÇÒ¼ö ÀÖ°Ô ÇÏ¿´°í, ÃÖÁ¾ÀûÀ¸·Î ÀÌ·¸°Ô ¼³Ä¡µÈ Beowulf System¿¡ ´ëÇؼ­ NAS Parallel Benchmarks (NPB)À» ÀÌ¿ëÇÏ¿© Å×½ºÆ® Çغ¸¾ÒÀ¸¸ç ÇÊÀÚÀÇ Àü°ø°ü·Ã ¹®Á¦¸¦ PETSc¶ó´Â ÅøŶÀ» ÀÌ¿ëÇؼ­ ÇÁ·Î±×·¡¹ÖÇÏ¿© Å×½ºÆ® Çغ¸¾Ò´Ù. Å×½ºÆ®Çغ¸¸é¼­ ¸î°¡Áö ¹®Á¦Á¡ÀÌ ³ªÅ¸³µ´Âµ¥, ÀÏ´Ü CPU°¡ 4°³ÀÎ ¹Ý¸é¿¡ NIC´Â 3°³¿©¼­ µ¥ÀÌŸ º´¸ñÇö»óÀÌ ¹ß°ßµÇ¾úÀ¸¸ç ¾à°£ÀÇ ¼º´É ÀúÇÏ°¡ ³ªÅ¸ ³²À» ¹ß°ßÇÏ¿´´Ù. Á¤È®ÇÑ parallel benchmark °á°ú¸¦ ½ÆÁö´Â ¾ÊÁö¸¸, °ÅÀÇ 85% ÀÌ»ó parallel efficiency¸¦ º¸¿©ÁÖ¾úÀ¸¸ç, NIC¸¦ Çϳª´õ Ãß°¡ÇÏ°í channel bondingÀ» ÇÑ´Ù¸é ´õ¿í ´õ È¿°úÀûÀÎ ½Ã½ºÅÛÀÌ µÉ°ÍÀ̶ó »ý°¢µÈ´Ù.

4. ¸¶Ä¡¸é¼­

ªÀº ³»¿ëÀÌÁö¸¸, ¼öÆÛ ÄÄÇ»Æÿ¡ µµÀüÇÏ°í ÀÖ´Â ¸®´ª½º¿¡ ´ëÇؼ­ °£·«ÇÏ°Ô ¼Ò°³ÇÏ¿´´Ù. ºñ·Ï ÀÌ·¯ ÇÑ Beowulf clusterÀ» ÀÏ¹Ý ¸®´ª½º ÀÌ¿ëÀÚ°¡ »ç¿ëÇϱ⿡´Â °Å¸®°¡ ¸Ö¾î º¸ÀÌÁö¸¸, ¸®´ª½º´Â ¾÷¹« ȯ°æ°ú °ü·ÃµÈ ¼­¹ö ½ÃÀåÀº ¹°·Ð, °íµµÀÇ Á¤È®¼º°ú ÃÊ°í¼ÓÀÇ °è»ê·ÂÀ» ÇÊ¿ä·ÎÇÏ´Â Å×Å©´ÏÄà ÄÄÇ» Æà ¿µ¿ª¿¡¼­µµ ÀÚÀ¯ÇÔÀ¸·Î µµÀüÇÏ´Â ¸®´ª½ºÀÇ ¹«ÇÑÇÑ °¡´É¼ºÀ» ¿³º¼¼ö ÀÖ´Ù.

88³âºÎÅÍ ½ÃÀÛÇÑ ±¹³» ¼öÆÛÄÄ ¿ª»ç´Â ¿ÃÇØ·Î 10³âÀÌ ³Ñ°Ô µÇ¾ú°í, ±¹³» ¼öÆÛÄÄ ¼ö´Â ¸î ½Ê´ëµÇ´Â °Í °°Áö¸¸, ´ëºÎºÐ '¹«´Ì¸¸' ¼öÆÛÄÄÀÎ °æ¿ì°¡ ´ëºÎºÐÀ¸·Î, ±Ô¸ð¸é¿¡¼­ ¹Ì±¹ÀÇ 1¹é11ºÐÀÇ 1, ÀϺ» ÀÇ 40ºÐÀÇ 1, EUÀÇ 30ºÐÀÇ 1¼öÁØ¿¡ ºÒ°úÇÑ ½ÇÁ¤À¸·Î ¼±Áø±¹µé°ú ºñ±³Çؼ­ ¿­¾ÇÇϱ⸸ ÇÏ´Ù. IMF·Î ÀÎÇÑ ±¹³» °æÁ¦¿©°Ç¾ÇÈ­·Î SERIÀÇ ¼öÆÛÄÄÇ»ÅÍ 3È£±âÀÇ µµÀÔÀÌ Àü¸é º¸·ùµÈ »óȲÀ̸ç, ¿Ã ¿©¸§ ºñ³­¸®·Î ÀÎÇØ ±â»óû¸¸ÀÌ ½Å±Ô·Î 1õ 3¹é¸¸´Þ·¯ÀÇ 100GFLOPSÀÇ ±â»ó¿¹º¸Àü¿ë ¼öÆÛÄĸ¸ÀÌ µµÀÔ¿¹Á¤ÀÌ´Ù. ÀÌ·± ±¹³» »óȲÀ¸·Î º¼¶§ ¾Õ¼­ ¸»ÇÑ ·Î½º¾Ë¶ó¸ð½º ±¹¸³¿¬±¸¼ÒÀÇ 20GFLOPSÀÇ °è »ê´É·ÂÀ» °¡Áø, 15¸¸ ´Þ·¯Â¥¸® home made supercomputer, AvalonÀº °­·ÂÇÑ 'Æë±Ï' ±º´ÜÀÇ °¡´É ¼º¿ï º¸¿©ÁØ´Ù. ÀÌ·¯´Ù º¸´Ï ½ÉÁö¾î ¾î¶² »ç¶÷Àº ºÏÇÑ, À̶óÅ©, Äí¹Ù °°Àº ³ª¶ó°¡ ±º»ç¿ëÀ¸·Î beowulf clusterÀ» »ç¿ëÇÏÁö ¾ÊÀ»±î? °ÆÁ¤Çϱ⵵ ÇÑ´Ù.

Beowulf clusterÀÌ ±âÁ¸ÀÇ ¼öÆÛÄÄÇ»ÅÍ¿¡ ºñÇØ ºñ¿ëÀº 1/10ÀÌÇÏÁö¸¸, ±×·¡µµ ºñ¿ë¸é¿¡¼­ ºÎ´ãÀº µÈ ´Ù. ±×·¯³ª, ´ëÇÐÀÇ Çаú PC·ë¿¡ ±ò·Á ÀÖ´Â Window¸¦ ¹Ð¾î¹ö¸®°í, ¸®´ª½º¸¦ ¼³Ä¡ÇÑ´Ù¸é ½±°Ô ¼Ò ±Ô¸ð beowulf cluster¸¦ ±¸ÃàÇÒ ¼ö ÀÖÀ¸¸ç, ¸¸ÀÏ KAIST°°Àº ´ë´ÜÀ§ ¿¬±¸ ȯ°æÀ̶ó¸é ±â°ü¿¡¼­ master node¿Í network Àåºñ¸¸ Ãʱâ Áö¿øÇØÁشٸé, °¢ ¿¬±¸½Ç¿¡¼­´Â slave node ¿ëÀ¸·Î ¸®´ª½º ¹Ú½º Çϳª¾¿ °¡Á®¿Í Ãß°¡ ¼³Ä¡ÇÏ¿© °­·ÂÇÑ ¼öÆÛÄÄÇ»Æà ȯ°æÀ» ½±°Ô ±¸ÃàÇÒ ¼ö ÀÖÀ»°ÍÀ¸·Î »ý°¢µÇ ¸ç ¶ÇÇÑ ¾ðÁ¦ µçÁö ÇØüÇÏ¿© ´Ù½Ã °¢ ¿¬±¸½Ç·Î °¡Á®°¥ ¼öµµ ÀÖÀ» °ÍÀÌ´Ù.

ÀÚ, ÀÌÁ¦ ³²Àº ÀÏÀ̶ó°í´Â °í°¡ÀÇ ¿÷½ºÅ×À̼Ǹ¸ °íÁýÇÏÁö ¸»°í ´«À» µ¹·Á 2´ëÀÇ Dual PII ¸® ´ª½º ¹Ú½º¸¦ channel bondingÇÏ¿© cross cable·Î Á÷Á¢ ¿¬°áÇغ¸ÀÚ. °í°¡ÀÇ switching hub ¾øÀ̵µ 4 processor beowulf clusterÀÇ ¼º´É¿¡ ¾Æ¸¶ °¨µ¿ÇÒ °ÍÀÌ´Ù.


ID
Password
Join
Someone is unenthusiastic about your work.


sponsored by andamiro
sponsored by cdnetworks
sponsored by HP

Valid XHTML 1.0! Valid CSS! powered by MoniWiki
last modified 2003-08-10 11:52:29
Processing time 0.0014 sec