Tool за бекап од лаптоп на клауд (S3 и SharePoint)

[Mechanic]

Имам пријател што работат со снимање (дронови, инспекција на објекти и тн.) и имаат доста возила на терен (20+), но и доста мака со бекап на податоците на клауд.
Софтверот кој го користат креира цела структура на фолдери од кои 4 ги содржат податоците (извештај за направената инспекција во пдф, слики, видеа, и sqlite база со сите потребни информации кои се собрани со снимањето и се поврзано со тој проект, плус уште неколку други кои содржат други помошни податоци. Идејата е комплет цел мастер фолдер да оди на клауд.

Во моментов користат софтвер AOMEI Backuper, кој ги мрда податоците од мастер фолдерот со проекти, во фолдер кој е синхронизиран со one.drive и така им се прикачуваат на SharePoint, но покрај SharePoint сакаат да бегаат кон S3.
Тековниот процес им прави дуплирање на податоците, со што за брзо време им се полнат дисковите, втор проблем е што често се случува да мора да се вратат назад во софтверот и да направат преименување на податоците по барање на клиентот (самиот менува во базата, плус ги преименува извештаите, сликите, видеата во нивнтие папки), со што не им се проследува промената на клауд и имаат дуплирање на податоците и на клауд.
Трет проблем е ако имаат апдејт на некој од лаптопите, или при долги падови на интернет, софтверот не се подига и прекинува да прикачува, а немаат никакво известување, често знаат да фактурираат помалку од тоа што треба затоа што финансии влечат извештаи од клауд.
Четврта работа маки мачат кај нив да најдат луѓе што ќе им направат алатки за power automate, па ако треба да се направи нешто што ќе им прави анализа/пакување и преместување на податоците во посебни локации некогаш губат и недели.

Дечкото ми бара да им направам некаква апликација што ќе:

• врши прикачување и бекап на клауд (истовремено на S3, и на SharePoint), контрола на прикачувањето дали е се како што треба.
• rename ако истите претрпат измена во име, т.е само insert/update кон клаудот, не и delete ако се избрише од лаптоп.
• да испрати маил ако нешто не се прикачило, е прикачено парцијално.
• проверка и маркирање на стари податоци (постари од 6 месеци, нивно архивирање, компресирање и прикачување на посебен bucket), автоматско бришење од лаптоп.
• проверка дали се што е на лаптопите е и горе на клауд
• ламбда скрипти горе на с3 кои ќе кверираат во секоја база и ќе им експортираат во ексел, вклучително со линкови до секој од извештаите и како такво им го праќаат со фактурите.
• ламбда што ќе ги дели по клиенти и проекти (првично ќе им правам скрипти за именување затоа што и тоа им е хаос, па во однос на проектите дефинирани таму ќе им креира bucket-i и ќе ги мрда таму за достава).
• автоматизирано архивирање на поефтин storage (Glacier) за старите податоци, имаат проекти кон државата каде мора да ги чуваат податоците и до 10 години.

Го познавам цел живот и не ми е целта да го заколам со custom софтвер, доколку постои готово решение на пазарот (барем за сегменти), затоа што вака ќе ги чини многу повеќе, дури и ако им наплатам само за „работната рака“, а и сме зафатени со други проекти и тешко да му направам се за брзо.

Некоја идеја, препорака? (само мора да биде нешто што ќе биде тотално независно од „операторот“ на лаптопот, затоа што се максимално неодговорни и забораваат да направат синхронизација).

 

[smole]

Да разгледаш нешто од Synology, они освен onsite уредите имаат и свој cloud сервис (C2), а и DSM има и докер и апликации.

Е сега дали ќе се најде солуција за сите твои точки не би знаел.

 

[Mechanic]

Да разгледаш нешто од Synology, они освен onsite уредите имаат и свој cloud сервис (C2), а и DSM има и докер и апликации.

Е сега дали ќе се најде солуција за сите твои точки не би знаел.

Ти благодарам, ќе им ја погледнам документацијата дали е возможно да се прави интеграција, и автоматизации за кон другите системи.

 

[moongose]

Ѕирни го mountainduck за првите две-три точки. Мапира клауд сториџ како локален драјв, со што се избегнува локално дуплирање на податоците. Нема да треба да се прави локално бекап, па бекапот да се качува на клауд туку ќе иде директно.
Друга варијанта се Rsync или Duplicati, тоа се програми за бекап директно во клауд. Може прилично да се автоматизираат.
Не знам дали би ти се вклопиле во целово ова сценарио, ама секако бара кастом софтвер или интеграција на повеќе програми.

 

[smole]

Ѕирни го mountainduck за првите две-три точки. Мапира клауд сториџ како локален драјв, со што се избегнува локално дуплирање на податоците. Нема да треба да се прави локално бекап, па бекапот да се качува на клауд туку ќе иде директно.
Друга варијанта се Rsync или Duplicati, тоа се програми за бекап директно во клауд. Може прилично да се автоматизираат.
Не знам дали би ти се вклопиле во целово ова сценарио, ама секако бара кастом софтвер или интеграција на повеќе програми.

Ова во Synology се вика Synology Drive - ем ги имаш локално ем се синхронизираат со NAS, a NAS-от со клауд ако имаш клауд бекап.

 

[moongose]

Ова во Synology се вика Synology Drive - ем ги имаш локално ем се синхронизираат со NAS, a NAS-от со клауд ако имаш клауд бекап.

Ама не е исто. Програмите што ги посочив мапираат клауд драјв како локален. Значи локално ги гледаш, но не зафаќаат простор на дискот локално, без оглед дали дискот е внатрешен, надворешен, мрежен, нас или нешто друго.
На ОП тоа му го бараат, да не чуваат локална копија од бекапот.

 

[gdamjan]

S3 има вграден versioning на фајлови (опционален), така да ако запишеш нов фајл под исто име, се задржува и старата верзија. Исто така има и lifecycle management кај што автоматски се пребацуваат податоците на Glacier под одредени услови.

Трето, со Athena (и/или Redshift) можеш да правиш кверија директно на податоци складирани во S3, секако доколку се во некоја структура (csv, json, parquet и сл).

Вака на прва, листата на requirements е малце груба - тоа што е подобро да се разбере кој workflow го имаат базиран на податоците.

За работа со S3 имаш aws s3 sync и/или rclone и секако понапредни апликации. Ко на пр. дали ќе сакаат сѐ уште да ги собираат податоците во фирма, па од таму да идат на S3 (ондак aws s3/rclone ќе вршат работа) или пак секој user/уред посебно би upload-ирал на S3 (тогаш ти треба малку покомплексна интеграција).

 

[Mechanic]

Ама не е исто. Програмите што ги посочив мапираат клауд драјв како локален. Значи локално ги гледаш, но не зафаќаат простор на дискот локално, без оглед дали дискот е внатрешен, надворешен, мрежен, нас или нешто друго.
На ОП тоа му го бараат, да не чуваат локална копија од бекапот.

Го тестирав денес ова што ми го прати, mountain duck во комбинација со cyber duck, и нема да брка работа
Мене ми треба само синхронизација од лаптоп кон драјв, а на мироринг ми прави апдејт и на лаптопот доколку нешто е променето горе (освен ако јас не ја приметив опцијата).
Друга работа на share point не ми копираше никако, а работеше на гугл драјв, дропбокс, с3, не знам дали имаат мака од нивна страна, или на овие им е лошо конфигуриран SharePoint.

S3 има вграден versioning на фајлови (опционален), така да ако запишеш нов фајл под исто име, се задржува и старата верзија. Исто така има и lifecycle management кај што автоматски се пребацуваат податоците на Glacier под одредени услови.

Трето, со Athena (и/или Redshift) можеш да правиш кверија директно на податоци складирани во S3, секако доколку се во некоја структура (csv, json, parquet и сл).

Вака на прва, листата на requirements е малце груба - тоа што е подобро да се разбере кој workflow го имаат базиран на податоците.

За работа со S3 имаш aws s3 sync и/или rclone и секако понапредни апликации. Ко на пр. дали ќе сакаат сѐ уште да ги собираат податоците во фирма, па од таму да идат на S3 (ондак aws s3/rclone ќе вршат работа) или пак секој user/уред посебно би upload-ирал на S3 (тогаш ти треба малку покомплексна интеграција).

Кај верзиите на крај од денот треба да биде еден документ, со име како што е во тој момент на лаптоп затоа што истото име ќе се води и во SQLite базата.

Во врска со Athena јасно, сум ја користел, само се обидував да им дадам некое брзо решение без да им прекуцувам се одново. Му имам дадено скрипти со квериња внатре кои ги користеа од SharePoint, прилично е комплексен бекендот на тоа што го користат, ќе треба да потрошам денови за да прекуцам се на Athena + Lambda.

Инаку таква ми ја дадоа листата и мене
Процесот им е: одат на терен, снимаат објект и податоците треба да се прикачат на некаков клауд.
Ако направат промена на лаптоп, идејата е истите промени да се проследат и на клауд (дополнителни снимања во истиот проект, промена на имиња, дополнителен извештај од инженерите и сл.), но да не креира втор документ, туку да го користи истиот.
Сакаат да се прикачи цело директори, затоа што како така прават достава до клиентите, ако ги прикачиш само извештаите и базите, ќе биде тешко да избилдаш проект пред достава.

Види, не се врзани со S3, иако како решение мислам дека ќе им биде најдобро за во иднина. Засега немаат луѓе внатре, а ни премногу ресурси да дигаат централни бази.
За извештаите веќе имаат скрипти, во иднина истите ќе им ги дигнам на ламбда и ќе имаат целосно автоматизиран процес.

За последното, се обидувам да им најдам нешто што е веќе готов продукт, лесен за конфигурација и поставување, а да им брка работа, инаку ќе ми ѕвонат по 20 пати на ден, а немам време за тоа

Најпросто workflow им е:
1.drone
2.laptop (project directory + reports)-
3. sync на cloud
4. reporting.

Проблемите им се на точка 3:

1. им паѓа синхронизација и не се свесни за тоа и со денови (нема никаква нотификација софтверот што го користат),
2. ако направат rename не им прави rename и на клауд, туку си креира нов документ со ~1 во името.
3. им дуплира простор затоа што ги дуплира податоците на диск

Ако им најдам нешто што ќе бекапира без проблем на sharepoint, ќе може да гураат уште некое време, па во иднина ќе им дигнам база, и ќе изврзиме се како што треба на AWS.

 

[moongose]

Го тестирав денес ова што ми го прати, mountain duck во комбинација со cyber duck, и нема да брка работа
Мене ми треба само синхронизација од лаптоп кон драјв, а на мироринг ми прави апдејт и на лаптопот доколку нешто е променето горе (освен ако јас не ја приметив опцијата).
Друга работа на share point не ми копираше никако, а работеше на гугл драјв, дропбокс, с3, не знам дали имаат мака од нивна страна, или на овие им е лошо конфигуриран SharePoint.

Чекај сега, патката не синхронизира, само прави маунтинг на клауд драјвот. Што ќе пратиш, тоа ќе се качи. Поентата на патката е да немаш локален мирор на клаудот, а пак да ти е достапен локално.
Како правиш мирор и со што синхронизираш?
За синхронизација треба посебен софтвер и таму ќе подесиш да оди еднонасочно и/или да чува верзии.

п.с. Шерпоинт не сум конектирал, не знам како оди, но Onedrive и Gdrive работат безпрекорно и тоа во комбинација со Cryptomator.

 

[Mechanic]

Чекај сега, патката не синхронизира, само прави маунтинг на клауд драјвот. Што ќе пратиш, тоа ќе се качи. Поентата на патката е да немаш локален мирор на клаудот, а пак да ти е достапен локално.
Како правиш мирор и со што синхронизираш?
За синхронизација треба посебен софтвер и таму ќе подесиш да оди еднонасочно и/или да чува верзии.

п.с. Шерпоинт не сум конектирал, не знам како оди, но Onedrive и Gdrive работат безпрекорно и тоа во комбинација со Cryptomator.

Внатре во патката најдов опција mirror, покрај upload/download.
Го разгледувам сега Personal Backup, ќе видиме дали ќе брка работа самостојно, или во комбо со паторот