• Важно
    Имате проблем со најава или регистрација на it.mk?
    Побарајте го решението на вашиот проблем ТУКА!

Tool за бекап од лаптоп на клауд (S3 и SharePoint)

Mechanic

Gaining Experience
2 мај 2016
307
227
Имам пријател што работат со снимање (дронови, инспекција на објекти и тн.) и имаат доста возила на терен (20+), но и доста мака со бекап на податоците на клауд.
Софтверот кој го користат креира цела структура на фолдери од кои 4 ги содржат податоците (извештај за направената инспекција во пдф, слики, видеа, и sqlite база со сите потребни информации кои се собрани со снимањето и се поврзано со тој проект, плус уште неколку други кои содржат други помошни податоци. Идејата е комплет цел мастер фолдер да оди на клауд.

Во моментов користат софтвер AOMEI Backuper, кој ги мрда податоците од мастер фолдерот со проекти, во фолдер кој е синхронизиран со one.drive и така им се прикачуваат на SharePoint, но покрај SharePoint сакаат да бегаат кон S3.
Тековниот процес им прави дуплирање на податоците, со што за брзо време им се полнат дисковите, втор проблем е што често се случува да мора да се вратат назад во софтверот и да направат преименување на податоците по барање на клиентот (самиот менува во базата, плус ги преименува извештаите, сликите, видеата во нивнтие папки), со што не им се проследува промената на клауд и имаат дуплирање на податоците и на клауд.
Трет проблем е ако имаат апдејт на некој од лаптопите, или при долги падови на интернет, софтверот не се подига и прекинува да прикачува, а немаат никакво известување, често знаат да фактурираат помалку од тоа што треба затоа што финансии влечат извештаи од клауд.
Четврта работа маки мачат кај нив да најдат луѓе што ќе им направат алатки за power automate, па ако треба да се направи нешто што ќе им прави анализа/пакување и преместување на податоците во посебни локации некогаш губат и недели.

Дечкото ми бара да им направам некаква апликација што ќе:
  • врши прикачување и бекап на клауд (истовремено на S3, и на SharePoint), контрола на прикачувањето дали е се како што треба.
  • rename ако истите претрпат измена во име, т.е само insert/update кон клаудот, не и delete ако се избрише од лаптоп.
  • да испрати маил ако нешто не се прикачило, е прикачено парцијално.
  • проверка и маркирање на стари податоци (постари од 6 месеци, нивно архивирање, компресирање и прикачување на посебен bucket), автоматско бришење од лаптоп.
  • проверка дали се што е на лаптопите е и горе на клауд
  • ламбда скрипти горе на с3 кои ќе кверираат во секоја база и ќе им експортираат во ексел, вклучително со линкови до секој од извештаите и како такво им го праќаат со фактурите.
  • ламбда што ќе ги дели по клиенти и проекти (првично ќе им правам скрипти за именување затоа што и тоа им е хаос, па во однос на проектите дефинирани таму ќе им креира bucket-i и ќе ги мрда таму за достава).
  • автоматизирано архивирање на поефтин storage (Glacier) за старите податоци, имаат проекти кон државата каде мора да ги чуваат податоците и до 10 години.
Го познавам цел живот и не ми е целта да го заколам со custom софтвер, доколку постои готово решение на пазарот (барем за сегменти), затоа што вака ќе ги чини многу повеќе, дури и ако им наплатам само за „работната рака“, а и сме зафатени со други проекти и тешко да му направам се за брзо.

Некоја идеја, препорака? (само мора да биде нешто што ќе биде тотално независно од „операторот“ на лаптопот, затоа што се максимално неодговорни и забораваат да направат синхронизација).
 

smole

Unbeatable
18 април 2007
3.721
4.364
Да разгледаш нешто од Synology, они освен onsite уредите имаат и свој cloud сервис (C2), а и DSM има и докер и апликации.

Е сега дали ќе се најде солуција за сите твои точки не би знаел.
 

Mechanic

Gaining Experience
2 мај 2016
307
227
Да разгледаш нешто од Synology, они освен onsite уредите имаат и свој cloud сервис (C2), а и DSM има и докер и апликации.

Е сега дали ќе се најде солуција за сите твои точки не би знаел.
Ти благодарам, ќе им ја погледнам документацијата дали е возможно да се прави интеграција, и автоматизации за кон другите системи.
 

moongose

Unbeatable
19 јули 2013
3.462
4.166
Ѕирни го mountainduck за првите две-три точки. Мапира клауд сториџ како локален драјв, со што се избегнува локално дуплирање на податоците. Нема да треба да се прави локално бекап, па бекапот да се качува на клауд туку ќе иде директно.
Друга варијанта се Rsync или Duplicati, тоа се програми за бекап директно во клауд. Може прилично да се автоматизираат.
Не знам дали би ти се вклопиле во целово ова сценарио, ама секако бара кастом софтвер или интеграција на повеќе програми.
 

smole

Unbeatable
18 април 2007
3.721
4.364
Ѕирни го mountainduck за првите две-три точки. Мапира клауд сториџ како локален драјв, со што се избегнува локално дуплирање на податоците. Нема да треба да се прави локално бекап, па бекапот да се качува на клауд туку ќе иде директно.
Друга варијанта се Rsync или Duplicati, тоа се програми за бекап директно во клауд. Може прилично да се автоматизираат.
Не знам дали би ти се вклопиле во целово ова сценарио, ама секако бара кастом софтвер или интеграција на повеќе програми.
Ова во Synology се вика Synology Drive - ем ги имаш локално ем се синхронизираат со NAS, a NAS-от со клауд ако имаш клауд бекап.
 

moongose

Unbeatable
19 јули 2013
3.462
4.166
Ова во Synology се вика Synology Drive - ем ги имаш локално ем се синхронизираат со NAS, a NAS-от со клауд ако имаш клауд бекап.
Ама не е исто. Програмите што ги посочив мапираат клауд драјв како локален. Значи локално ги гледаш, но не зафаќаат простор на дискот локално, без оглед дали дискот е внатрешен, надворешен, мрежен, нас или нешто друго.
На ОП тоа му го бараат, да не чуваат локална копија од бекапот.
 

gdamjan

Unstoppable
3 април 2008
3.200
2.010
Скопје
damjan.softver.org.mk
gdamjan's setup  
Processor & Cooler
AMD Ryzen 5 Pro 4650G / Cooler Master Hyper 212 Black
Motherboard
MSI MAG B550m Mortar Wifi
Storage
NVME: 1TB AData XPG SX8200 Pro / HDD: 2x 2TB Toshiba P300
PSU
Gigabyte G750H
RAM
G. SKILL Ripjaws V Series 2x 16GB / DDR4 3200Mhz/CL16
Video card
Vega 7 on APU
Case
Bequiet! PureBase 500
Mouse
Logitech MX Anywhere 2S
Keyboard
ThinkPad USB Keyboard With TrackPoint (sk-8855)
OS
Arch Linux
S3 има вграден versioning на фајлови (опционален), така да ако запишеш нов фајл под исто име, се задржува и старата верзија. Исто така има и lifecycle management кај што автоматски се пребацуваат податоците на Glacier под одредени услови.

Трето, со Athena (и/или Redshift) можеш да правиш кверија директно на податоци складирани во S3, секако доколку се во некоја структура (csv, json, parquet и сл).

Вака на прва, листата на requirements е малце груба - тоа што е подобро да се разбере кој workflow го имаат базиран на податоците.

За работа со S3 имаш aws s3 sync и/или rclone и секако понапредни апликации. Ко на пр. дали ќе сакаат сѐ уште да ги собираат податоците во фирма, па од таму да идат на S3 (ондак aws s3/rclone ќе вршат работа) или пак секој user/уред посебно би upload-ирал на S3 (тогаш ти треба малку покомплексна интеграција).
 

Mechanic

Gaining Experience
2 мај 2016
307
227
Ама не е исто. Програмите што ги посочив мапираат клауд драјв како локален. Значи локално ги гледаш, но не зафаќаат простор на дискот локално, без оглед дали дискот е внатрешен, надворешен, мрежен, нас или нешто друго.
На ОП тоа му го бараат, да не чуваат локална копија од бекапот.
Го тестирав денес ова што ми го прати, mountain duck во комбинација со cyber duck, и нема да брка работа :)
Мене ми треба само синхронизација од лаптоп кон драјв, а на мироринг ми прави апдејт и на лаптопот доколку нешто е променето горе (освен ако јас не ја приметив опцијата).
Друга работа на share point не ми копираше никако, а работеше на гугл драјв, дропбокс, с3, не знам дали имаат мака од нивна страна, или на овие им е лошо конфигуриран SharePoint.

S3 има вграден versioning на фајлови (опционален), така да ако запишеш нов фајл под исто име, се задржува и старата верзија. Исто така има и lifecycle management кај што автоматски се пребацуваат податоците на Glacier под одредени услови.

Трето, со Athena (и/или Redshift) можеш да правиш кверија директно на податоци складирани во S3, секако доколку се во некоја структура (csv, json, parquet и сл).

Вака на прва, листата на requirements е малце груба - тоа што е подобро да се разбере кој workflow го имаат базиран на податоците.

За работа со S3 имаш aws s3 sync и/или rclone и секако понапредни апликации. Ко на пр. дали ќе сакаат сѐ уште да ги собираат податоците во фирма, па од таму да идат на S3 (ондак aws s3/rclone ќе вршат работа) или пак секој user/уред посебно би upload-ирал на S3 (тогаш ти треба малку покомплексна интеграција).
Кај верзиите на крај од денот треба да биде еден документ, со име како што е во тој момент на лаптоп затоа што истото име ќе се води и во SQLite базата.

Во врска со Athena јасно, сум ја користел, само се обидував да им дадам некое брзо решение без да им прекуцувам се одново. Му имам дадено скрипти со квериња внатре кои ги користеа од SharePoint, прилично е комплексен бекендот на тоа што го користат, ќе треба да потрошам денови за да прекуцам се на Athena + Lambda.

Инаку таква ми ја дадоа листата и мене :)
Процесот им е: одат на терен, снимаат објект и податоците треба да се прикачат на некаков клауд.
Ако направат промена на лаптоп, идејата е истите промени да се проследат и на клауд (дополнителни снимања во истиот проект, промена на имиња, дополнителен извештај од инженерите и сл.), но да не креира втор документ, туку да го користи истиот.
Сакаат да се прикачи цело директори, затоа што како така прават достава до клиентите, ако ги прикачиш само извештаите и базите, ќе биде тешко да избилдаш проект пред достава.

Види, не се врзани со S3, иако како решение мислам дека ќе им биде најдобро за во иднина. Засега немаат луѓе внатре, а ни премногу ресурси да дигаат централни бази.
За извештаите веќе имаат скрипти, во иднина истите ќе им ги дигнам на ламбда и ќе имаат целосно автоматизиран процес.

За последното, се обидувам да им најдам нешто што е веќе готов продукт, лесен за конфигурација и поставување, а да им брка работа, инаку ќе ми ѕвонат по 20 пати на ден, а немам време за тоа :)

Најпросто workflow им е:
1.drone
2.laptop (project directory + reports)-
3. sync на cloud
4. reporting.

Проблемите им се на точка 3:
  1. им паѓа синхронизација и не се свесни за тоа и со денови (нема никаква нотификација софтверот што го користат),
  2. ако направат rename не им прави rename и на клауд, туку си креира нов документ со ~1 во името.
  3. им дуплира простор затоа што ги дуплира податоците на диск
Ако им најдам нешто што ќе бекапира без проблем на sharepoint, ќе може да гураат уште некое време, па во иднина ќе им дигнам база, и ќе изврзиме се како што треба на AWS.
 

moongose

Unbeatable
19 јули 2013
3.462
4.166
Го тестирав денес ова што ми го прати, mountain duck во комбинација со cyber duck, и нема да брка работа :)
Мене ми треба само синхронизација од лаптоп кон драјв, а на мироринг ми прави апдејт и на лаптопот доколку нешто е променето горе (освен ако јас не ја приметив опцијата).
Друга работа на share point не ми копираше никако, а работеше на гугл драјв, дропбокс, с3, не знам дали имаат мака од нивна страна, или на овие им е лошо конфигуриран SharePoint.
Чекај сега, патката не синхронизира, само прави маунтинг на клауд драјвот. Што ќе пратиш, тоа ќе се качи. Поентата на патката е да немаш локален мирор на клаудот, а пак да ти е достапен локално.
Како правиш мирор и со што синхронизираш?
За синхронизација треба посебен софтвер и таму ќе подесиш да оди еднонасочно и/или да чува верзии.

п.с. Шерпоинт не сум конектирал, не знам како оди, но Onedrive и Gdrive работат безпрекорно и тоа во комбинација со Cryptomator.
 

Mechanic

Gaining Experience
2 мај 2016
307
227
Чекај сега, патката не синхронизира, само прави маунтинг на клауд драјвот. Што ќе пратиш, тоа ќе се качи. Поентата на патката е да немаш локален мирор на клаудот, а пак да ти е достапен локално.
Како правиш мирор и со што синхронизираш?
За синхронизација треба посебен софтвер и таму ќе подесиш да оди еднонасочно и/или да чува верзии.

п.с. Шерпоинт не сум конектирал, не знам како оди, но Onedrive и Gdrive работат безпрекорно и тоа во комбинација со Cryptomator.
Внатре во патката најдов опција mirror, покрај upload/download.
Го разгледувам сега Personal Backup, ќе видиме дали ќе брка работа самостојно, или во комбо со паторот :)
 

Нови мислења

Последни Теми

Онлајн членови

Статистика

Теми
44.259
Мислења
919.956
Членови
32.914
Огласи
1.066
Најнов член
NaniEli
На врв Дно