Computer Clusters - Направете си суперкомпјутер!

[Volkswagen]

Бидејќи моментално сум на М-р и баш имам предмет ДКС (Дистрибуирани Компјутерски Системи) решив малце да го пронализирам ова поле наречено
Computer Clustering.

Што е идејата?

Идејата е да се креира суперкомпјутер т.е ДКС со мал буџет. Да речеме да добиете иста процесорска моќ за цена до 1000 евра, за што ако купите обичен мултипроцесорски компјутер (или нешто слично) да издвоите и 10000 евра (ако не и повеќе).

На овој начин буџетот за филмот Титаник бил намален за цели 10,000,000 долари, за ефектите на вода, пареа и сл.

Архитектура:

Повеќе компјутери (купете ги на старо без монитор) поврзани во LAN преку Switch/Router како сакате и со помош на софтвер MPI (Message Passing Interface) да ги синхронизирате остантатите компјутери со еден главен master компјутер.

Ова само нафрлив информации има и други работи да се опишат.

Софтвер за Message Passing:
http://www.mcs.anl.gov/research/projects/mpi/mpich1/mpich-nt/

Уште сум во фаза на истражување (нешто подетално навлегов благодарение на Andrew Tanenbaum - RESPECT \m/) и конкретно се интересирам за се во врска со ДКС.

Имате на торент Distributed Systems: Principles and Paradigms. Ја има книгата на The Pirate Bay, а на М-р и од таму учиме (резил: Учиме од англиска книга download-ирана од торент).


Ако има некој практично искуство со ова, нека пиши бидејќи навистина ме заинтригира темава.

За евтини пари можете да добиете мадафака компјутер.

 

[Aleks]

Разлгедај за LAN-MPI и за Beowulf архитектурата на супер компјутери истата која НАСА ја користи =)

 

[Volkswagen]

Разлгедај за LAN-MPI и за Beowulf архитектурата на супер компјутери истата која НАСА ја користи =)

Па, да од Beowulf најмногу црпам инфо за оваа работа. Ама таа е Линукс базирана ова погоре работи и на Windows. (Реално, потребно ми е работа на Windows - гејминг )

Beowulf е веќе застарена практика (она што читам на нет) уште од 90-тите години.

MS излезе со некој оперативен систем наводоно (ама Netscape-от ми направи Illegal Operation и не видов) мислам се вика Windows HPC :ermm:

 

[DaciSS]

на пмф, на смерот компјутерски архитектури и мрежи имаме 2 предмети од оваа област, паралелно програмирање и мрежни и дистрибуирани оперативни системи, за кластери го затупевме со теорија, али од пракса нема ни П нешто помалце open MPI се работеше само.

 

[Volkswagen]

А што требаше? Еб*ни 5 минути да се сетира цела работа.

ПМФ my ass. Државни my ass. И јас еве на М-р...пракса (само РАКСА ) )

 

[Aleks]

Кое работи под Џиндоус ? МПИ ??? МПИ ти е цел интерфејс има и за Линукс - OpenMPI и LAM-MPI

 

[Volkswagen]

Кое работи под Џиндоус ? МПИ ??? МПИ ти е цел интерфејс има и за Линукс - OpenMPI и LAM-MPI

Горе има во линкови за програмче што работи и на Windows & Linux.

 

[gdamjan]

Денеска се прилично популарни (и нашироко се користат) системите како http://hadoop.apache.org/ .. претежно базирани на map/reduce процесирање, глобални фајл системи (но најчесто без целата Posix семантика туку key->value).

Тоа е архитектурата и позади Google, Facebook (http://incubator.apache.org/cassandra/) итн.

Туку.. не сфатив, која е идејата со Windows + gaming?

 

[Aleks]

Колку што се сеќавам, кога учев за ова, и да имаш гигабитна мрежа, сепак неможеш да го процесираш дистрибуирано видео рендерингот затоа што многу ќе е споро...


Еве пример,

Играта (некоја) со процесорот комуницира да речеме со 4ГБпс. Процесорот комуницира со графичката со пример 5ГБпс.

Доколку ова го стаиш да се дистрибуира ќе треба да чекаш од клиентите податоците да се изрендерираат, па да ти вратат повратна информација, одговор па тој одговор да го процесираш т.е. да го склопиш со другите одговори од другите клиенти па пак преку твојата графичка да го прикажеш на монитор. Значи во овој случај ќе се намалува добрината на суперкомпјутерот .)

 

[gdamjan]

Еве пример,

Играта (некоја) со процесорот комуницира да речеме со 4ГБпс. Процесорот комуницира со графичката со пример 5ГБпс.

Дури и да не е тоа проблем, латенцијата (времето потребно податокот да се спакува во некој пакет, да се прати низ мрежа, да се процесира на другата страна, резулатот да се спакува пак во пакет, да се прати назад низ мрежата) е за ред величина поголемо него комуникацијата CPU-GPU-RAM

 

[FiC DoGG]

Ovoa samo za renderiranje na 3d, i simulacija na fizika itn, so odredeni programi koi mozat da gi iskoristat site procesori. Inace za gaming teska rabota

 

[Maki]

Правев ја нешо со distcc, дури пробав да го презентирам (безуспешно) на емуцијадата у гостивар. Би можел со него да пробаш

 

[ChemicalAngel]

Имам на форумот отворено тема за правење на суперкомпјутер со помош на PlayStation 3, а таму е и линкот побарајте ќе ја најдете и ако можете направете го.

 

[gdamjan]

Денес веројатно најефтино/исплатливо е да си купиш cluster на Amazon EC2 - посебно за еднократни операции за кои не ти се потребни куп компјутери цело време.

Amazon EC2 наплаќаат за процесорско време, т.е. за времето кога ти работи виртуелната машина.

http://aws.amazon.com/ec2/

 

[Garfield]

@Volkswagen

Каде си на посдипломски?

Малку надвор од темата.

 

[mile.janev89]

Ако може некој да ми прате материјал на македонски јазик за дистрибуирани компјутерски системи треба ми за семинарска работа

 

[nCounTr]

Зашто темава замрела, да не речам умрела
Инаку еве нешто што можеби ќе ја покрени темава.
Еве и уште нешто.
И еве уште нештичко.
Друго што ме интересира, што може да се прави со вака сетиран кластер, освен 3D рендерирање и дали би можело да се користи за конвертирање филмови?

 

[gdamjan]

Друго што ме интересира, што може да се прави со вака сетиран кластер, освен 3D рендерирање и дали би можело да се користи за конвертирање филмови?

може, зашто да не.. конвертирање филмови е операција која лесно се паралелизира.

На пр. го делиш фајлот на делови од по 20-30MB и секој node во кластерот, си зима дел го обработува, враќа назад резултат, зима друг дел и така додека има работа.

На делењето и спојувањето малце треба да се пази (не е просто делење на фајлови) но не тоа е помала работа.