Manuell filsync av innhold (deriblant RST) til Vortex

Manuell filsync til Vortex gj?r det er mulig ? overf?re et hierarki av mapper og filer til Vortex.

Om filsync

Filsync brukes normalt med kj?ring hvert annet minutt fra cron, med data fra f.eks. git. Den typen bruk beskrives i et annet dokument.

I noen tilfeller ?nsker man isteden ? styre opplastingen selv manuelt, og det er det som beskrives i dette dokumentet. 

Hvordan ta i bruk filsync manuelt

Ta kontakt med vortex-hjelp@usit.uio.no for tilgang til vortex-sync2.uio.no.

Logg inn p? vortex-sync2.uio.no. Du vil ha et lokalt hjemmeomr?de.

Overf?r data dit med rsync e.l.

Opprett en katalog for opplastingsjobben med en underliggende data katalog og en underliggende arbeidskatalog. I arbeidskatalogen skal det ligge en davsync.cfg fil.

F.eks.:

/vortex/home/testbruker/ 
/vortex/home/testbruker/opplasting1/
/vortex/home/testbruker/opplasting1/test_data/
/vortex/home/testbruker/opplasting1/test_data/test-fil.txt
/vortex/home/testbruker/opplasting1/test_work/
/vortex/home/testbruker/opplasting1/test_work/davsync.cfg 

davsync.cfg filen m? inneholde:

[davsync]
host = www-dav.vortex-demo.uio.no
dav_prefix = /test/sted
upload_src_abs_path = /vortex/home/testbruker/opplasting1/test_data 

I dette eksempelet vil filen

/vortex/home/testbruker/opplasting1/test_data/test-fil.txt

lastes opp til:

 /test/sted/test-fil.txt

Det anbefales ? bruke direkte-aksess URL til Vortex prim?rserver for opplasting. (Man kan for tiden oppleve sporadiske 503 feil p? vanlig -dav hostnavn for noen Vortex hoster.) Se vortex-hoster for ? finne riktig direkte-aksess hostnavn og port. Da brukes vanligvis host og port i davsync.cfg fila, f.eks.:

host = vortex-pr-11.uio.no
port = 11000

Kj?r scriptet

cd /vortex/home/testbruker/opplasting1/
python /vortexpy/pylibs/davsync3/davsync3/davsync.py --workingdir=test_work/

Scriptet melder fra om feil, og vil stoppe opp for enkelte typer feil. Noen ganger kan det dukke opp en WAIT_xx eller STOP_ fil i arbeidskatalogen n?r scriptet stopper pga. feil. I slike tilfeller m? man rette feilen og fjerne fila f?r man kj?rer scriptet p? nytt. Scriptet vil da starte der det stoppet sist (dvs. det holder styr p? hvor langt det har kommet).

Mens scriptet g?r kan man f?lge med p? filene operations.txt og state.txt i arbeidskatalogen. Scriptet behandler operasjonene i operations.txt etter tur. N?r en linje i operations.txt er utf?rt, kopieres den over til state.txt.

Publisert 22. apr. 2013 11:19 - Sist endret 18. mai 2022 09:49