Driftsmeldinger fra IT - Side 3

Oppgradering v?re systemer for administrasjon av brukertilganger i Unit4 ERP, SAP ERP, kundesenter p? nett.

Tilgangsportalen vil derfor v?re nede fra og med torsdag 26 oktober kl. 09.00 til og med s?ndag 29. oktober 2023 kl. 24.00.

I denne perioden f?r man ikke opprette, endre eller avslutte tilganger til brukere i DF?s l?sninger.

Se status p? driftsstatussiden til DF?

Hilsen SAF

Mellom 12:52 til 13:00 kan brukere av r?de Cloudian buckets ha opplevd ? f? 403 i retur, med melding om at lagringskvoten er n?dd.

Dette kom enkelt av at en kvote tilegnet en spesifikk bruker feilaktig ble satt p? en adminbruker som omfatter mesteparten av de r?de bucketene, som sammen overgikk kvoten betraktelig.

Nettskjema var kjappe p? ? varsle, og feilen ble fikset relativt fort. Beklager ulempene dette kan ha for?rsaket!

Educloud login is currently partially down due to network issues. We are working to resolve the problem and restore normal operation.

VMWare Horizon and FOX login is working as normal, but unfortunately user management, file import/export, and Nettskjema functionality is currently unavailable.

Det er problemer med For Ansatte-siden til UiO. Vi jobber med ? l?se problemet.

I mellomtiden er det mulig ? aksessere alle nettsidene under For ansatte ved ? navigere til omr?dene, f.eks. /for-ansatte/arbeidsstotte/

Vi har litt problemer med epost, mail.uio.no svarer ikke som den skal. Dette omfatter b?de mailklienter og webmail.

Vi jobber med ? l?se dette.

Oppdatering 12. okt: Vi er n? ganske sikre p? at problemene er l?st.

Postmaster

Vi opplever for tiden problemer med rt.uio.no, som gj?r at s?k o.l. kan time ut f?r de er lastet inn.

Vi jobber med ? l?se saken.

Oppdatering 13:25: Problemene virker ? v?re l?st, og innlastingstider b?r n? v?re tilbake til normalen.

Pga sykdom er it-hjelp ubemannet l?rdag 7. Oktober. Vi beklager ulempene dette medf?rer.

Vi er kjent med at flere brukere for ?yeblikket st?ter p? innloggingsproblemer i TSD, samt TSD Selfservice, og mottar en "Internal server error"-feilmelding.

Vi jobber med saken og setter stor pris p? deres t?lmodighet.

Vi oppgraderer Workspace ONE (Airwatch) onsdag 4. oktober, og tjenestene vil v?re delvis utilgjengelig i perioder frem til ca klokken 11.00
 

Det er problemer med oracle-ldap tjenesten - som sl?r opp connect informasjon til Oracle databaser. Dette ber?rer bl.a. Nettskjema, FS og hotellbaser. Det jobbes med problemet.

Problemet ble l?st kl 10:36

Fleire automatiske grupper i Cerebrum som baserer seg p? data fr? Felles Studentsystem (FS) har mista mange medlemmer fr? laurdag.

Vi jobber med ? feils?ke.

Grupper brukes ofte for ? gi tilgang til IT-ressurser, slik at n?r man faller ut av en gruppe s? kan det gj?re at man ikke f?r logget inn ulike IT-systemer, eller at man ikke f?r opp innholdet man vanligvis har tilgang til.

Eksempler p? systemer som er ber?rt er Mattermost (chat), GitHub (versjonskontroll), Devilry (innlevering), Vortex (nettsider) og Sympa (e-postlister).

2023-10-02 kl 12:30: Vi har funne ut at feilen er relatert til oppgraderinga av FSPROD til v9.2, og har avklart fiks med Studieadministrasjonen. Vi jobber med ? endre Cerebrum sin FS-import. Tilgangar er forh?pentlegvis tilbake rundt kl 15.

2023-10-02 kl 15:00: FS-importen skal n?...

NFS og SMB p? b?de Hypatia og Aspasia (Educloud) gikk uventet ned etter omstart av switcher p? urelatert vedlikehold.
Hendelsen inntraff 14:16, og det jobbes med ? f? opp igjen tjenestene.

Oppdatering: Lagringen ble tilgjengelig igjen rundt 14:45, og vi observerer trafikk fra brukere.
Redundante noder er oppe igjen kl 14:52, og status er tilbake som det var f?r hendelsen.

De viktigste tjeneste som ble ber?rt var:

• P? UiO:
  • Lagringshotellet
  • Fellesomr?der for Odontologi
  • Astra / personlig forskerlagring
  • Lagring for:
    • Filesender
    • MUSIT
    • ML-noder og "Light HPC"...

Lisensserver for Arcgis Pro og Desktop endres fra win-lisens02 til win-lisens01. Regn med noe nedetid inntil kall til den gamle lisensserveren blir videresendt til win-lisens01.

Brukere kan selv g? inn i lisensoppsettet og endre lisenstjener til win-lisens01.uio.no 

Vi opplever at enkelte telefonsamtaler blir brutt etter et par sekunder. Vi jobber med saken.

Oppdatert 20/9 08:00
- Feilen gjelder kun k?er og muligens menyer.
- Feilen ser ut til ? ligge utenfor UiO sitt omr?de, men hos SIKT / Telia.
Vi melder feilen videre, men har laget en fix som vi tror omg?r problemet.

- 20/9 11:00   Fungerer normalt n?.

_{Flere av DF? sine systemer vil v?re utilgjengelige i perioden for alle brukere p? l?rdag 23. september kl. 07:00 til kl 15:00 p? grunn av teknisk oppgradering.SAP basis programvare skal oppgraderes}

_{F?lgende systemer vil v?re utilgjengelige for brukere under oppgraderingen:}

_{*             Selvbetjening for ansatte og ledere}

_{*             Selvbetjening for honorarmottakere, Betalmeg}

_{*             DF?-app}

_{*             SAP kjernesystem}

Det er flere som rapporterer om at de blir bedt om ? logge inn / autentisere seg gang p? gang om Gmail-appen er satt opp til ? bruke 2-faktor mot mail.uio.no (Exchange).

Vi jobber med ? feils?ke problemet.

Opptatering 31.08.2023: Om man fjerner UiO-kontoen fra Gmail-appen og setter den opp p? nytt, s? b?r det fungere (men den vil da bli satt opp uten 2-faktor).

Brukere som ikke f?r lastet ned sertifikat p? eduroam.no/connect n?r de er koblet til uioguest m? enten:

• Lukke vinduet som automatisk ?pner seg og ?pne et nytt vindu der de g?r inn p? eduroam.no/connect, eller
• Koble seg til uioguest med mobilnummer og engangskode p? sms og manuelt ?pne eduroam.no/connect.

USIT hjemmevakttelefon fungerer n? igjen.

Det er for tiden problemer med tilkobling til FS. Vi ber brukere f?lge med p? oppdateringer hos FS' egen driftsmelding.

Oppdatering fra FS:

" Brukere som var innlogget f?r 09:47 m? logge ut av FS for s? ? logge inn p? nytt. Det er viktig at ingen brukere er innlogget med FS-klientversjon FS9.1.4.4. Versjonen som n? skal brukes er FS9.1.4.3. "

Det er en feil med p?minnelser i Nettskjema hvor lenken sendt ut ikke er korrekt og bruker ikke f?r svart p? skjema.

Det jobbes med ? rette denne feilen s? fort som mulig.

Feilen oppsto fra og med 31.08 kl 08:00.

Feilen ble rettet 08.09 kl 14:10.

URL-ene som er sendt ut vil n? ogs? fungere, slik at dersom folk svarer p? gamle p?minnelser f?r fiksen var implementert vil de fungere som forventet.

Det har oppst?tt utfordringer ifm. den planlagte nedetiden p? fillagringsl?sningene Hypatia (UiO) og Aspasia (Educloud). Vi har en p?g?ende supportsak med leverand?ren, og jobber for ? f? alt opp igjen.

Oppdatering 23.30: Hypatia (UiO) er oppe igjen.  

Oppdatering 00.10 fredag: Aspasia (Educloud) er oppe igjen. 

Det er problemer med id-porten, dette gj?r at innlogging med id-porten til Passordtjenester ikke er mulig p? dette tidspunktet. Bytte av passord er fortsatt mulig ved innlogging med brukernavn og passord.

L?st 16:03

Nyopprettede eksterne brukere av betalmeg/app vil kunne ha problemer med innlogging. Feilen er lokalisert, og det jobbes med feilretting.

L?st 14:41

E-post fra Nettskjema kommer ikke inn i RT. Vi feils?ker dette.

Feilen oppsto 30.8.2023 og ble rettet 5.9.2023 klokka 17:50.

Vi opplever for tiden problemer med ? levere filer til TSD, samt ved fors?k p? ? eksportere data. Dette gjelder spesielt bruk av dataportalen og nettskjemaer som leverer til TSD. Vi er i gang med ? identifisere og l?se problemet. En oppdatering vil bli gitt s? snart problemet er l?st.

Oppdatering: kl.11:14 ble det meldt om at feilen er rettet, og data er igjen p? vei inn og ut av TSD som normalt.

--

We are currently experiencing problems with delivering files to TSD, as well as exporting files. We are working to resolve the issue. An update will be provided as soon as the problem is resolved.

Update: at 11:14 the problem was resolved, and data is now supposed to flow in and out of TSD like normal.

DF? har valgt ? ta ned Innsikt for ? gjennomf?re kritisk teknisk vedlikehold. De oppdaterer med mer informasjon underveis p? status.dfo.no

Oppdatering 05.09.23:

Det har blitt utf?rt kritisk teknisk vedlikehold i innsikt over helgen. L?sningen forventes ? v?re operativ igjen i l?pet av Onsdag 06.09.2023.

Flytting av hjemmeomr?det til brukere mellom disker fungerer for ?yeblikket ikke. Vi jobber med ? finne en l?sning

2023-09-01: Vi har funnet feilen og jobber med en fiks.

2023-09-01 13:50: Feilen er fikset og automatikken har startet p? k?en av flytteforesp?rsler.

ID-porteninnlogging i Nettskjema virker ikke etter at Digdir gjennomf?rte DNS-endring for endepunktet kontaktregisteret.no. Nettskjema-backend-temaet sitter samlet og jobber med ? l?se saken. https://status.digdir.no/incidents/hxmk3szv0lw7

Saken ble l?st kl 1200.

Vi opplever for ?yeblikket problemer med synkronisering og henting av e-post. Dette gjelder b?de klienter og mail.uio.no.

Vi opplever for tiden utfordringer med synkronisering av mail via Outlook p? diverse enheter.

Driftsmeldingen vil oppdateres fortl?pende s? snart vi har mer informasjon om saken eller problemet blir l?st.

Oppdatering mandag 21. august: Basert p? tilbakemeldinger, s? ser Outlook ut til ? fungere igjen fra cirka 13:00 i dag (etter siste endringen p? oppsettet til mail.uio.no).

Vi opplever at mail.uio.no er vanskeligere ? n? enn til vanlig.

Det rapporteres om at siden n?s etter lang venting, eller ved nytt fors?k p? ? laste inn siden (gjerne i annet nettleservindu). Dette er alts? mulig ? pr?ve.

Vi jobber med ? finne ut hva dette kan skyldes.

Vi opplever for tiden problemer med Outlook og dens synkronisering mot mail.uio.no, og jobber med ? rette feilen.

I mellomtiden kan man benytte webmail p? mail.uio.no som normalt.

Oppdatering: Vi opplever at mail.uio.no ikke lenger fungerer helt som normalt, se driftsmelding ang?ende dette.

DF? melder at enkelte brukere kan oppleve at DF? Innsikt for HR og l?nn er utilgjengelig. Feilretting p?g?r. Vi beklager ulempen det medf?rer. Driftsstatus oppdateres p? https://status.dfo.no/ 

Vedlikehold p?g?r

P? grunn av oppgradering av systemet vil DF? Innsikt v?re nede store deler av dagen onsdag 16.08.2023.
Dette gjelder alle som har tilgang til DF? Innsikt.

F?lg med p? DF? Status (dfo.no)

Hilsen SAF

Vi opplever for tiden problemer med generering av import-lenker i TSD.

--

Oppdatering 13:40:

Problemet er n? l?st

Brukere har problemer med ? logge inn p? https://mobil.uio.no. Det jobbes med ? fikse feilen.

Problemet er l?st ca. 10:20

Vi jobber med ? l?se problemet.

Problemet ble l?st cirka 14.00.

Det meldes utilgjengelighet p? lagring fra Hypatia (lagringshotell, Astra, Filesender, ++). Vi er usikre p? n?yaktig n?r dette inntraff, og jobber med ? identifisere ?rsaken.

Oppdatering: normal drift igjen siden 13:28.

[oppdatert 11:30, 10. aug] Problemet ble l?st. 

Ved p?logging med Feide til BookitLab stagemilj?et (ecore.bookitlab.com/uiostage) f?r brukeren en feilbeskjed. Leverand?ren unders?ker ?rsaken.

Et internt signerings-sertifikat fra VMware har utl?pt og f?rer til problemer for tjenester i Workspace ONE. VMware har publisert en fiks og vi jobber med ? kj?re denne i skrivende stund

09:30 Oppdatering - Da er normal drift gjenopprettet

Det oppleves driftsforstyrrelser for TSD-skjemaer, og svaring p? TSD-skjemaer i Nettskjema. Vi jobber med ? f? l?st ?rsaken.

Oppdatering 10.40: Problemet er l?st hos TSD, det var forstyrrelser fra ca. 07.00 til 09.45 i dag. ?rsaken var nettverks relatert under en oppdatering, det skal sette opp overv?king for ? unng? flere slike tilfeller. 

Opprettingen av nye studentbrukere er forsinket grunnet semesterstart. Vi jobber med saken.

Oppdatering: Alle nye brukerkontoer var ferdig bygget innen kl 15:36 i dag. Det vil ta noe tid f?r alle systemer blir oppdatert med de siste endringene, for eksempel e-post og Azure.

Vi opplever for ?yeblikkt at rt.uio.no "ikke svarer i tide", og jobber med ? rette feilen.

Oppdatering: problemet ser ut til ? ha blitt l?st kl.08:55.

Vi ble gjort opperksomme p? manglende NFS-trafikk fra Hypatia (lagringshotell, Astra, Educloud, mm.) morgenen 16.juli.

Logger tilsier problemer p? protokollnodene som deler ut lagring til brukerne fra omtrent 05:55. Feilet har blitt identifisert, og ble utbedret klokken 10:42.

Avviksrapport kommer.

VMware access er nede. Dette p?virker bl.a programvaredistribusjon via Intelligen Hub p? Mac, iOS og Android. 

Det oppleves driftsforstyrrelser for TSD-skjemaer i Nettskjema grunnet lagringsproblemer. Dette gjelder ved svaring til TSD-skjemaer ogs?. Se driftmeldingen TSD la ut

/english/services/it/research/sensitive-data/log/storage-instability-3.html
 

1421: TSD har l?st problemene for Nettskjema sin side. Det viste seg til ? ikke v?re lagringsrelatert. 

Metadata from the Fox filesystem are being migrated to flash disk, which will improve its performance upon completion.

The file system can still be used, but be aware that the migration will most likely induce some tardiness during the process, which is expected to complete within a couple of days.

Det er for tiden problemer med fastnettet ved Sogn Arena. Det jobbes med ? rette feilen.

User have reported periods of intolerable performance in Educloud recently, to the point where it's impossible to work.

The main cause is most likely increased backup activity on the storage side as we are trying to get up on speed with initial backups on our new system. As we have been made aware of the effect this have on the users, we have taken measures to reduce the stress accordingly during working hours.

We apologize for the inconvenience this have caused.