PC/Workstation за Computer Vision

[Mechanic]

Ми треба PC (или Workstation иако ова мислам ќе биде поскапо) со прилично добри перформанси, генерално размислувам за i9-13900KS, 256GB RAM (доколку е DDR4), ќе ми требаат повеќе слотови за storage (стартните податоци кои ги имаме се околу 38ТБ и ова би се зголемувало), RTX 4090, за оперативниот систем и моделите би било доволно SSD од 2ТБ. Бекап на податоците веројатно нема да е потребен локално, имаме многу простор на Dropbox (технички неопределено, имаме Enterprise acc), па се што ќе се процесира би одело автоматски горе.

Ќе се користи за процесирање на големи сетови на податоци (автоматски класификации со Computer Vision и AI на објектите во видео, истото на слики), хостирање на обработените податоци (имаме наша апликација преку која корисниците ќе пристапуваат до серверот за да ги погледнат резултатите), и тренирање на моделите. Планираме да ги поделиме ресурсите со Proxmox на 3 одделни VMs соодветно на потребите на секоја апликација.


Не сум баш во тек со компонентите што се продаваат, и се зачудив со матичните, најголем дел гледам поддржуваат до 128 или 192гб РАМ. Мислења од ваша страна? Отворен сум за предлози за секоја компонента

 

[Mechanic]

Intel 13th Gen Core i9-13900KS 24 Cores 32 Threads 6.0GHz Unlocked Processor
ASRock Radeon RX 7900 XTX Taichi OC 24GB Graphics Card
MSI MAG Z790 TOMAHAWK MAX WIFI II DDR5 LGA1700 ATX Motherboard
G.Skill Trident Z5 RGB 64GB(2x32GB) DDR5 6400MHz CL32 RAM - Black
Samsung 990 PRO 4TB PCIe 4.0 M.2 NVMe SSD with Heatsink
2 x Seagate IronWolf Pro 22TB 3.5" NAS Hard Drive
Asus ROG Thor 1200W Platinum II Power Supply
Lian Li LANCOOL III-X Mid-Tower RGB Gaming Case - Black

На интернет од тоа што гледав ќе дојде околу 5к, сепак би преферирал повеќе РАМ, ако мислите дека има подобри опции перформанси/цена и ако нешто не се совпаѓа, пукајте, ова го составував на брза рака

 

[Astro]

Од каде имаш опција да набавиш? Исклучиво од тука? Threadripper?

 

[Mechanic]

Може и од надвор.
Threadripper ги гледав како опција, но мислам доаѓаше доста поскапо целата конфигурација.

 

[Глупав]

малку не ја разбирам поентата на on-prem over cloud?
праевте математики???
поевтино искача???
вкалкулирана е варијабилната на scaling???
итн работи за разгледување...

 

[Mechanic]

Да, правевме, во моментов не се исплати на клауд, со графички се прилично скапи, а ни треба цело време, по саат доаѓа скапо.

 

[Глупав]

пак не ми е јасно како може математиката да е така особено ако се планира скајлинг и се размислува за поголема слика секогаш...

без разлика...

имено ако е стартап има Клауд Провајдери што за добар стартап инвестираат и до 100к ресурси

а да и ако е стартап треба секако да се размислува исто како и за работи да биди во најлош случај break even пошто сѐ друго е осудено на пропаст

 

[Mechanic]

пак не ми е јасно како може математиката да е така особено ако се планира скајлинг и се размислува за поголема слика секогаш...

без разлика...

имено ако е стартап има Клауд Провајдери што за добар стартап инвестираат и до 100к ресурси

а да и ако е стартап треба секако да се размислува исто како и за работи да биди во најлош случај break even пошто сѐ друго е осудено на пропаст

Кога ќе дојде големата слика ќе се активираат инстанци на клауд, засега сликата е мала, а од математиката што ја направивме последно, на AWS доаѓаше речиси 1к евра месечно за тековните потреби. Со наш хардвер може да се покриеме во наредните неколку месеци, додека проектот е непрофитабилен, и во иднина ќе ни остане како тестна околина, или пак за некој друг проект.

 

[stefan_mkd]

AWS/Azure ти даваат кредити за стартап. 1к па следно ниво е 5к. Провери TOC и дали можеш да се квалификуваш

 

[Mechanic]

AWS/Azure ти даваат кредити за стартап. 1к па следно ниво е 5к. Провери TOC и дали можеш да се квалификуваш

Не сме стартап, ова е само еден од проектите што ги работиме и како најнов е многу далеку од било каква профитабилност.

 

[Ron26]

ладење немаш, сигурно нема со тој смешен кулер на интел да го ладиш процесорот За ова АИО 360ка минимум, арктик фризер.

 

[Overdrive]

Ако стварно ти треба толку RAM, тогаш опциите ти се Threadripper, EPYC или Xeon (само ако не сакаш AMD или не можеш да најдеш). Освен повеќе јадра, се добива и многу поголем пропусен опсег на меморијата (скок од 2 на 8-12 канали), а и стабилност. Ако јадрата треба да бидат брзи, тогаш само Threadripper.

Ако типот на работа може да се подели на повеќе графички карти, со workstation и серверски платформи доаѓаат и повеќе PCIe lanes, што значи повеќе карти кои работат со полна брзина.

Ако загубата на машината би била погубна за бизнисот, или ако секој downtime води кон губење на пари или клиенти, помножи ја цената на хардверот со 3 за уште една машина, по 2 напојувања за секоја од нив, UPS, и некаква имплементација на load balancing.

Ако истото важи и само за губење на податоците, Dropbox не е доволно добро решение за backup на 38 TB податоци.

Ако, ако, ако... $$$

 

[thrw]

Samsung 990 PRO 4TB PCIe 4.0 M.2 NVMe SSD with Heatsink

Нема потреба од ова, земи си „980 pro“ или „kc3000“, се продаваат по 4TB и чинат помалку. Овие имаат и фабрички проблеми што треба да се седнува да се решаваат со софтверот од „Samsung“ за ажурирање на контролерот.
Колку вработени ќе пристапуваат во серверот во исто време? Зошто ако се повеќе од 4 души тогаш веднаш да размислуваш на „Threadripper“ и „Epyc“. Гледав да се продаваат кај Жирафите ама не знам дали продаваат и матични плочи за нив. Ти чини едно над 190000 денари.
Дали вработените ќе имаат физички пристап на серверот или треба да се приклучуваат од дома? Ако е ретко физички не ти треба матични плочи со многу влезови за Интернет и разделници и јазли што ќе бидат дополнително време за пристап и точка на можен дефект. Исто така внимавај на математиката со нашите интернет провајдери зошто ќе те сечат ако во кратко време остваруваш сообраќај над „800GB“ што е типично еден вработен да почне да прави код за тренирање на една работа и да ги добие сите капсули и да ги намести и да ги прати назад за да ги обработи серверот.

Исто така се согласувам со членот, ќе биде потребно да се парализира работата со други машини како што ќе се зголемува бројот на вработени што ќе пристапуваат. До 15 души веќе станува нетечна работата доколку сите пристапуваат до графичката карта во исто време или во наизменично блиску време еден до друг.

Исто така ако си го вреднуваш времето за брзина на учење на модели на вештачка интелегенција и сметката за струја, 4090 ти е подобра опција за 6 пати. Серверски „Ram“ не се продава тука и треба да набавиш од надвор. Proxmox знае да забушава со 7800xt и 6950xt па би ти советувал да земеш друг софтвер ако одиш со црвените на графичка. Поубаво е дури да оставиш на интегрирана или да користиш лаптоп за пристап до серверот.

 

[kebe]

Ми треба PC (или Workstation иако ова мислам ќе биде поскапо) со прилично добри перформанси, генерално размислувам за i9-13900KS, 256GB RAM (доколку е DDR4), ќе ми требаат повеќе слотови за storage (стартните податоци кои ги имаме се околу 38ТБ и ова би се зголемувало), RTX 4090, за оперативниот систем и моделите би било доволно SSD од 2ТБ. Бекап на податоците веројатно нема да е потребен локално, имаме многу простор на Dropbox (технички неопределено, имаме Enterprise acc), па се што ќе се процесира би одело автоматски горе.

Ќе се користи за процесирање на големи сетови на податоци (автоматски класификации со Computer Vision и AI на објектите во видео, истото на слики), хостирање на обработените податоци (имаме наша апликација преку која корисниците ќе пристапуваат до серверот за да ги погледнат резултатите), и тренирање на моделите. Планираме да ги поделиме ресурсите со Proxmox на 3 одделни VMs соодветно на потребите на секоја апликација.


Не сум баш во тек со компонентите што се продаваат, и се зачудив со матичните, најголем дел гледам поддржуваат до 128 или 192гб РАМ. Мислења од ваша страна? Отворен сум за предлози за секоја компонента

Што школа имаш бате? Имам чувство дека си се зафатил со работа за која не си баш запознаен. Мислам дека поставуваш грешно прашање овде.

 

[Mechanic]

ладење немаш, сигурно нема со тој смешен кулер на интел да го ладиш процесорот За ова АИО 360ка минимум, арктик фризер.

Конфигурацијата беше дадена како пример, ќе земеме кулер, не ја тенчиме на 100-200 евра, затоа и дадов естимација за цената

Ако стварно ти треба толку RAM, тогаш опциите ти се Threadripper, EPYC или Xeon (само ако не сакаш AMD или не можеш да најдеш). Освен повеќе јадра, се добива и многу поголем пропусен опсег на меморијата (скок од 2 на 8-12 канали), а и стабилност. Ако јадрата треба да бидат брзи, тогаш само Threadripper.

Ако типот на работа може да се подели на повеќе графички карти, со workstation и серверски платформи доаѓаат и повеќе PCIe lanes, што значи повеќе карти кои работат со полна брзина.

Ако загубата на машината би била погубна за бизнисот, или ако секој downtime води кон губење на пари или клиенти, помножи ја цената на хардверот со 3 за уште една машина, по 2 напојувања за секоја од нив, UPS, и некаква имплементација на load balancing.

Ако истото важи и само за губење на податоците, Dropbox не е доволно добро решение за backup на 38 TB податоци.

Ако, ако, ако... $$$

Ти благодарам! Засега не е проблем downtime, сеуште го водиме како бета и го дадовме како опција на клиенти со кои работиме со години. Имаме уште доста работа и тренирање на моделите за да се нудат како сервис со SLA, во моментов AI-то ќе помине напред и ќе сегментира се што може да фати, а после тоа ќе ги проверуваат податоците луѓе и ќе ставаат забелешки каде е лоша сегментацијата, и каде нема воопшто. Затоа не сакав да се изложуваме на екстра трошоци за cloud.

Бтв, зошто да не е добро решение за бекап? Со нив имаме ентерпрајз договор, избришаните податоци ги чуваат до 360 денови, во 2 години не сме имале апсолутно никаков проблем.

Мислењето е автоматски споено: 5 април 2024

Нема потреба од ова, земи си „980 pro“ или „kc3000“, се продаваат по 4TB и чинат помалку. Овие имаат и фабрички проблеми што треба да се седнува да се решаваат со софтверот од „Samsung“ за ажурирање на контролерот.
Колку вработени ќе пристапуваат во серверот во исто време? Зошто ако се повеќе од 4 души тогаш веднаш да размислуваш на „Threadripper“ и „Epyc“. Гледав да се продаваат кај Жирафите ама не знам дали продаваат и матични плочи за нив. Ти чини едно над 190000 денари.
Дали вработените ќе имаат физички пристап на серверот или треба да се приклучуваат од дома? Ако е ретко физички не ти треба матични плочи со многу влезови за Интернет и разделници и јазли што ќе бидат дополнително време за пристап и точка на можен дефект. Исто така внимавај на математиката со нашите интернет провајдери зошто ќе те сечат ако во кратко време остваруваш сообраќај над „800GB“ што е типично еден вработен да почне да прави код за тренирање на една работа и да ги добие сите капсули и да ги намести и да ги прати назад за да ги обработи серверот.

Исто така се согласувам со членот, ќе биде потребно да се парализира работата со други машини како што ќе се зголемува бројот на вработени што ќе пристапуваат. До 15 души веќе станува нетечна работата доколку сите пристапуваат до графичката карта во исто време или во наизменично блиску време еден до друг.

Исто така ако си го вреднуваш времето за брзина на учење на модели на вештачка интелегенција и сметката за струја, 4090 ти е подобра опција за 6 пати. Серверски „Ram“ не се продава тука и треба да набавиш од надвор. Proxmox знае да забушава со 7800xt и 6950xt па би ти советувал да земеш друг софтвер ако одиш со црвените на графичка. Поубаво е дури да оставиш на интегрирана или да користиш лаптоп за пристап до серверот.

Нема да пристапуваат физички, само RDP, дури и кога се во канцеларија. Имаме 2 гигабитни конекции за интернет, не би требало да има проблем, сме имале работа со големи сетови на податоци и претходно.

Засега максимум ќе има пристап од 6 луѓе, со очекување да се зголеми до 8 до крај на годината.

Мислењето е автоматски споено: 5 април 2024

Што школа имаш бате? Имам чувство дека си се зафатил со работа за која не си баш запознаен. Мислам дека поставуваш грешно прашање овде.

Угостителско, ако?