× Benvenuti sul nostro forum su Sint Wind PI!

Postate qui domande o segnalate problemi / bug che riscontrate,

question-circle File LOG su SD unico e pesante dopo diversi giorni

Di più
7 Anni 5 Mesi fa #7351 da asy961
Salve a tutti,
ho aperto un nuovo post perchè avevo letto qualcosa da qualche parte nel forum ma dopo varie ricerche non sono riuscito a ritrovare l'argomento....

Il problema è il file LOG che viene salvato sulla SD che viene scritto in modo incrementale (cioè di continuo giorno dopo giorno) e non viene più generato un File LOG giornaliero, la cosa ci avvantaggierebbe nella ricerca in caso di problemi e/o controllo se tutto procede regolarmente.

Ho notato inoltre che il file viene generato con il giorno in cui si è creato la SD, ho anche provato a modificare manualmente la data del sistema digitando (ad esempio) da terminale il comando
'sudo data -s '10/22/2016 21:30:30'
ma ottenendo il risultato che da quel momento il file verrà generato con la nuova data inserita manulamente.

Mi pareva di aver capito che il problema era legato alla versione del tipo di SWPI che abbiamo installato (RO).

Mi chiedevo se ci fosse un modo per aggiornare la data/ora di sistema dopo che SWPI l'aggiorna la prima volta dal server NTP.

Io non sono molto ferrato in Python e non mi sento di smanettare all'interno del software, quindi la domanda (e la richiesta) è rivolta agli sviluppatori.

:huh:

Stazione Meteo: Raspberry PI B, Sensori Vento PCE, BME280, Camera PI, Web Cam HD, Huawei K3765, Pannello Fotovoltaico 50W - 1 Batteria 12V-40Ah

Si prega Accedi a partecipare alla conversazione.

Di più
7 Anni 5 Mesi fa #7357 da asy961
ma è cosi difficile??

Stazione Meteo: Raspberry PI B, Sensori Vento PCE, BME280, Camera PI, Web Cam HD, Huawei K3765, Pannello Fotovoltaico 50W - 1 Batteria 12V-40Ah

Si prega Accedi a partecipare alla conversazione.

Di più
7 Anni 5 Mesi fa #7360 da tony
Si. Perché la data viene scritta proprio in quelle partizioni che monto in sola lettura.

Si prega Accedi a partecipare alla conversazione.

Di più
7 Anni 5 Mesi fa #7362 da asy961
dico una ca@@ata...

fargliela scrivere con i permessi di root??

Stazione Meteo: Raspberry PI B, Sensori Vento PCE, BME280, Camera PI, Web Cam HD, Huawei K3765, Pannello Fotovoltaico 50W - 1 Batteria 12V-40Ah

Si prega Accedi a partecipare alla conversazione.

Di più
7 Anni 2 Mesi fa #7615 da asy961
@Tony

ciao, potresti darmi qualche indicazione sulla parte di codice che svolge la funzione di scrivere la data???

provo a smanettarci un pò

Stazione Meteo: Raspberry PI B, Sensori Vento PCE, BME280, Camera PI, Web Cam HD, Huawei K3765, Pannello Fotovoltaico 50W - 1 Batteria 12V-40Ah

Si prega Accedi a partecipare alla conversazione.

Di più
7 Anni 2 Mesi fa - 7 Anni 2 Mesi fa #7621 da SkizZO
devi impostare il reboot alle 00:01 ogni giorno, lanciare uno script bash al''avvio del raspi pressappoco così:
rw
comando x sincronizzare l'ora/data in internet
comando per nuovo file di log (mi sa che si genera solo se avvii e killi swpi)
ro

...e poi si avvierebbe swpi definitivamente

Non so se swpi, essendo la partizione in ro, scriva il log con il nomefile aggiornato.. (dunque mettendo nel bash solo 'sudo data -s 'data internet') in caso contrario devi fargli scrivere prima il file, e poi mettere il sistema in ro.

Io mi muoverei su questa strada
Ultima Modifica 7 Anni 2 Mesi fa da SkizZO.

Si prega Accedi a partecipare alla conversazione.

Di più
6 Anni 11 Mesi fa #7839 da asy961
Dopo svariati tentativi non sono riuscito ad ottenere niente.....
come al solito Tony ha sempre ragione.....

se qualcuno ha qualche idea per aggirare l'ostacolo si faccia avanti,
la lettura del file log in caso di problemi è fondamentale ma a causa delle grandi dimensioni, che purtroppo incrementano giornalmente, non è possibile nemmeno farselo spedire per email, parlo per le stazioni remote montate in montagna, per leggerlo bisogna sempre presentarsi sul posto muniti di attrezzaure (pc portatile o monitor e tastiera, inverter etc.) invece che poterlo analizzare a casa mirando con più precisione il problema prima di intervenire....

io sono fiducioso che a qualcuno di noi, prima o poi, gli venga davvero l'idea giusta.....

Stazione Meteo: Raspberry PI B, Sensori Vento PCE, BME280, Camera PI, Web Cam HD, Huawei K3765, Pannello Fotovoltaico 50W - 1 Batteria 12V-40Ah

Si prega Accedi a partecipare alla conversazione.

Di più
6 Anni 11 Mesi fa #7859 da ulisse
Valerio, eccoti un workaround poco elegante ma efficace che ti consente di avere i file non tanto in ordine di data (per quello bisognerebbe avere la certezza di essere almeno connessi ad internet prima di avviare swpi), ma perlomeno numerati progressivamente, uno per ogni avvio.

Modifica il file swpi.sh e fallo diventare così:
#! /bin/bash

cd /home/pi/swpi
logfile=./log/log`date '+%d%m%Y'`.log

if [ -e "$logfile" ]
then
    echo "$logfile exists, renaming"
    mv "$logfile" "$logfile.`ls -l $logfile* | wc -l`"
fi

sudo python -u swpi.py | tee -a $logfile

Si prega Accedi a partecipare alla conversazione.

Di più
6 Anni 11 Mesi fa #7861 da asy961
Ciao Ulisse,
grazie,
ho fatto le modifiche che hai suggerito ma dopo 5 giorni in prova sul banco non funziona, non solo non cambia la data, e quello potrebbe essere che non è ancora attiva la connessione a internet (è collegato sulla lan e non penso che non veda internet) ma come dici che dovrebbe farlo non si numera nemmeno progressivamente, il file log rimane singolo incrementandosi giorno per giorno

se ti può essere utile io uso un raspi 1 B con montato SWPI versione 2 aggiornata a 01.24.03, è collegato a internet via lan e uso una chiavetta RTL-SDR (ma potrei andare in SIMULATE tanto per prova è lo stesso) si ferma al tramonto e si riavvia la mattina intorno alle 7,30

se hai qualche altra idea resto in attesa....
grazie in anticipo

Stazione Meteo: Raspberry PI B, Sensori Vento PCE, BME280, Camera PI, Web Cam HD, Huawei K3765, Pannello Fotovoltaico 50W - 1 Batteria 12V-40Ah

Si prega Accedi a partecipare alla conversazione.

Di più
6 Anni 11 Mesi fa #7862 da tony
Il file log unico è stato introdotto dalla versione di firmare in sola lettura. É un effetto collaterale al quale comunque ho sempre dato poco peso. Non vedo il problema di avere un solo file. Se la cosa crea problemi la cosa più semplice è modificare il mount in lettuta scrittura
TT

Si prega Accedi a partecipare alla conversazione.

Di più
6 Anni 11 Mesi fa #7864 da tony
Il file log unico è stato introdotto dalla versione di firmare in sola lettura. É un effetto collaterale al quale comunque ho sempre dato poco peso. Non vedo il problema di avere un solo file. Se la cosa crea problemi la cosa più semplice è modificare il mount in lettuta scrittura
TT

Si prega Accedi a partecipare alla conversazione.

Di più
6 Anni 11 Mesi fa #7865 da asy961
OK Tony,
il problema mi nasce sulle stazioni che abbiamo in remoto (decolli, atterraggi...), quando chiedo tramite sms l'invio per email del log che, dopo diversi giorni
è diventato tanto grande, non riesce ad inviarmelo e quindi l'unico modo è recarsi alla stazione e scaricare manualmente il file....
forse è un problema di pacchetto dati della sim ma quando avevo la versione in RW e creava un log al giorno questo problema non c'era...
non è certo di vitale importanza però se si riuscisse a risolvere lasciando il sistema in RO......

Stazione Meteo: Raspberry PI B, Sensori Vento PCE, BME280, Camera PI, Web Cam HD, Huawei K3765, Pannello Fotovoltaico 50W - 1 Batteria 12V-40Ah

Si prega Accedi a partecipare alla conversazione.

Di più
6 Anni 11 Mesi fa #7867 da roberto2011
collegati via ssh e fai un tail del file e magari ogni tanto un truncate.

Sensori Davis +BME280 + Raspberry b+ webCam serrasanta.fleanet.it (Eremo di Serrasanta - Gualdo Tadino - 1.340 m s.l.m.)

Si prega Accedi a partecipare alla conversazione.

Di più
6 Anni 11 Mesi fa #7869 da ulisse

asy961 ha scritto: Ciao Ulisse,
grazie,
ho fatto le modifiche che hai suggerito ma dopo 5 giorni in prova sul banco non funziona, non solo non cambia la data, e quello potrebbe essere che non è ancora attiva la connessione a internet (è collegato sulla lan e non penso che non veda internet) ma come dici che dovrebbe farlo non si numera nemmeno progressivamente, il file log rimane singolo incrementandosi giorno per giorno

se ti può essere utile io uso un raspi 1 B con montato SWPI versione 2 aggiornata a 01.24.03, è collegato a internet via lan e uso una chiavetta RTL-SDR (ma potrei andare in SIMULATE tanto per prova è lo stesso) si ferma al tramonto e si riavvia la mattina intorno alle 7,30

se hai qualche altra idea resto in attesa....
grazie in anticipo


Hummm è strano, da me pare che funzioni... io uso la versione 3 ma non credo ci siano differenze per quel che riguarda il sistema di logging, lo script semplicemente indirizza l'output del programma su un file con la data come nome.

Si prega Accedi a partecipare alla conversazione.

Di più
6 Anni 10 Mesi fa #7870 da ulisse
Alla fine ho trovato una soluzione semplicissima, basta spostare il file dove fake-hwclock immagazzina data e ora in una partizione scrivibile e linkarlo nella posizione originale!

La sequenza dei comandi che ho usato è questa:
rw
sudo mv /etc/fake-hwclock.data /swpi/log/
sudo ln -s /swpi/log/fake-hwclock.data /etc/fake-hwclock.data
ro

Il raspi si è appena riavviato ed ha creato il file di log con la data giusta di oggi!

Si prega Accedi a partecipare alla conversazione.

Di più
6 Anni 10 Mesi fa #7871 da tony
Bene,
Grazie Ulisse
TT

Si prega Accedi a partecipare alla conversazione.

Di più
6 Anni 10 Mesi fa - 6 Anni 10 Mesi fa #7873 da Ciaschini
bene, purtroppo però ad ogni riavvio continuo ad avere problemi con la data, di conseguenza il reset ogni volta dei dati giornalieri.
la data parte dal 01/01/1970, a voi succede?
10.....9.....8.....7.....6.....5.....4.....3.....2.....1.....
[01/01/1970-01:00:43][01/01/1970-01:00:43] loading plugins
 Starting sensor reading - Sensor type is : WH1080_RTL-SDR
[01/01/1970-01:00:43] Starting plugin : <module 'AllLogger' from './plugins/AllLogger.pyc'>
[01/01/1970-01:00:43] Config Server running on port 80
[01/01/1970-01:00:43] Checking internet connetion ...
[01/01/1970-01:00:43] Internet ok
[01/01/1970-01:00:43] Checking internet connetion ...
[01/01/1970-01:00:43] Internet ok
mer 24 mag 2017, 20.42.17, CEST
[24/05/2017-20:42:17] System time adjusted from NPT server : europe.pool.ntp.org
[24/05/2017-20:42:17] Connected with IP :***

[24/05/2017-20:42:17] Starting General WatchDog
[24/05/2017-20:42:18] RTL-SDR-compatible USB DVB-T dongle detected.
mer 24 mag 2017, 20.42.18, CEST
[24/05/2017-20:42:18] System time adjusted from NPT server : europe.pool.ntp.org
[24/05/2017-20:42:22] Warning could not delete wh1080-rtl_433.txt file
[24/05/2017-20:42:22] Starting RF listening
[24/05/2017-20:42:47] First data received from WH1080_RTL-SDR, station 005A. Processing...
[24/05/2017-20:42:48] BMP085 - Temperature: 30.3 C Pressure:    1002.8 
[24/05/2017-20:42:48] Calculating Meteo data and statistics
wlan0 is up
Ultima Modifica 6 Anni 10 Mesi fa da Ciaschini.

Si prega Accedi a partecipare alla conversazione.

Di più
6 Anni 10 Mesi fa #7875 da asy961
Purtroppo confermo anch'io il problema della data.....
inoltre non incrementa nemmeno con la modifica al file swpi.sh

forse la versione 2 di swpi ha altri riferimenti per la lettura della data.....

Stazione Meteo: Raspberry PI B, Sensori Vento PCE, BME280, Camera PI, Web Cam HD, Huawei K3765, Pannello Fotovoltaico 50W - 1 Batteria 12V-40Ah

Si prega Accedi a partecipare alla conversazione.

Di più
6 Anni 10 Mesi fa #7876 da roberto2011
Io affronterei il problema in maniera diversa.
Magari aggiungendo dei comandi sms.
Con un tail di 200 righe sull'ultimo log e un truncate per azzerare il log.

Sensori Davis +BME280 + Raspberry b+ webCam serrasanta.fleanet.it (Eremo di Serrasanta - Gualdo Tadino - 1.340 m s.l.m.)

Si prega Accedi a partecipare alla conversazione.

Di più
6 Anni 10 Mesi fa #7877 da asy961
Vedi Roberto grazie per i tuoi suggerimenti ma il punto è che le modifiche che ha fatto Ulisse funzionano sulla versione 3 (cosi mi pare aver capito sia la versione che usa lui) sfruttando l'idea bisognerebbe trovare come funziona sulle versioni precedenti.....

io non sono in grado di modificare pesantemente il sw e non saprei dire se basterebbe fare un tail di 200 righe, forse ne basterebbero meno o forse di più.....
il truncate o qualcosa del genere per azzerare/cancellare il log mi pare esista già sotto comando sms.....

lo scopo è avere un log ogni giorno, analizzare i problemi in 200 righe o giù di li mi pare pochino....a volte

Stazione Meteo: Raspberry PI B, Sensori Vento PCE, BME280, Camera PI, Web Cam HD, Huawei K3765, Pannello Fotovoltaico 50W - 1 Batteria 12V-40Ah

Si prega Accedi a partecipare alla conversazione.

Di più
6 Anni 10 Mesi fa - 6 Anni 10 Mesi fa #7878 da SkizZO
Io ho la V.2 e non funziona.
Bisognerebbe effettuare queste operazioni:

PRIMA che si avvii swpi, ovviamente a raspi collegato ad internet:
sudo /etc/init.d/ntp stop
sudo ntpd -q -g
sudo /etc/init.d/ntp start

- Quale file gestisce la sequenza di boot? (Perdonate l'ignoranza)
- Con che comando si può dare un "wait x secondi" in modo da arrestare la sequenza e permettere al raspi di collegarsi (wifi o lan)?
Ultima Modifica 6 Anni 10 Mesi fa da SkizZO.

Si prega Accedi a partecipare alla conversazione.

Di più
6 Anni 10 Mesi fa #7879 da roberto2011
Piccola modifica a swpi.py in allegato
Aggiunta nuovo comando:
PASSWORD TAILLOG NUMERORIGHE
es.
admin TAILLOG 1000

File allegato:

Nome del file: swpi_2017-05-25.zip
Dimensione del file:9 KB


Ho notato un piccolo bug per l'invio completo del log adesso funziona.

Sensori Davis +BME280 + Raspberry b+ webCam serrasanta.fleanet.it (Eremo di Serrasanta - Gualdo Tadino - 1.340 m s.l.m.)
Allegati:

Si prega Accedi a partecipare alla conversazione.

Di più
6 Anni 10 Mesi fa #7880 da ulisse
Il problema è che, almeno con le connessioni in banda mobile, credo sia proprio SWPI ad iniziare la connessione, una volta avviato...
Per questo inconveniente viene incontro la funzione di fake-hwclock, che immagazzina periodicamente la data e l'ora in un file e le ripesca dopo il riavvio.
Può darsi che nell'immagine versione 2 non sia installato tale pacchetto, ma dovrebbe bastare questo comando per ovviare:

sudo apt-get install fake-hwclock

Si prega Accedi a partecipare alla conversazione.

Di più
6 Anni 10 Mesi fa #7881 da SkizZO
Fake-hwxlock è installato, nella partizione readonly! Pertanto non scrivibile.
Il suggerimento del linkaggio al file non funziona con la v2.

Sto provando ad aggiornare la data da internet prima che si avvii swpi... Vi faccio sapere dopo mezzanotte se swpi crea un nuovo logfile al reboot :-p

Si prega Accedi a partecipare alla conversazione.

Di più
6 Anni 10 Mesi fa - 6 Anni 10 Mesi fa #7883 da asy961
stamani all'avvio del raspberry durante il caricamento iniziali del OS ho notato un messaggio di errore relativo al fake-hwclock....ho dovuto riavviarlo più volte per fotografarlo.....eccolo



questo lo faceva senza aver installato il pacchetto fake-hwclock......quindi penso che sia già presente sulla V2
per scrupolo ho anche provato ad installarlo lo stesso ma il risultato non cambia...

confermo però che il file (hyperlink) è presente e punta lo stesso file nella cartella log

Stazione Meteo: Raspberry PI B, Sensori Vento PCE, BME280, Camera PI, Web Cam HD, Huawei K3765, Pannello Fotovoltaico 50W - 1 Batteria 12V-40Ah
Allegati:
Ultima Modifica 6 Anni 10 Mesi fa da asy961.

Si prega Accedi a partecipare alla conversazione.

Di più
6 Anni 10 Mesi fa #7884 da ulisse
Questo è strano... E se lanci fake-hwclock da riga di comando, ti dice lo stesso?
Il funzionamento dei symlink non dovrebbe entrarci niente con la versione del software...

Si prega Accedi a partecipare alla conversazione.

Di più
6 Anni 10 Mesi fa #7885 da tony
Credo anche io che sistemando il symlink di fake hwclock tutto debba funzionare.
TT

Si prega Accedi a partecipare alla conversazione.

Di più
6 Anni 10 Mesi fa #7886 da asy961
da riga di comando non ho problemi
ripristinando il file originale fake-hwclock nella cartella etc l'errore al caricamento scompare e carica la data esatta......



forse la V2 non vuole Hyperlink??

Stazione Meteo: Raspberry PI B, Sensori Vento PCE, BME280, Camera PI, Web Cam HD, Huawei K3765, Pannello Fotovoltaico 50W - 1 Batteria 12V-40Ah
Allegati:

Si prega Accedi a partecipare alla conversazione.

Di più
6 Anni 10 Mesi fa #7892 da asy961
volevo solo aggiornare la situazione....
dopo aver ripristinato il file originale fake-hwclock e sostituito il file swpi.sh con quello proposto da Ulisse ho installato il pacchetto ntpdate che pareva non esserci....
da allora ho notato che il file davis_xxxxxxxxx.log viene scritto con cadenza giornaliera uno per ogni giorno mentre il file logxxxxxxxx.log rimane sempre un unico file........
dico questo perché mi pareva che prima entrambi i file venissero scritti in maniera incrementale.....
non riesco però a capire il perché questo avviene solo per un file e per l'altro no.

Stazione Meteo: Raspberry PI B, Sensori Vento PCE, BME280, Camera PI, Web Cam HD, Huawei K3765, Pannello Fotovoltaico 50W - 1 Batteria 12V-40Ah

Si prega Accedi a partecipare alla conversazione.

Di più
6 Anni 10 Mesi fa #7893 da roberto2011
Il log file del davis viene creato da swpi! dopo l'aggiornamento della data.
Il log di swpi viene generato dal file /etc/profile all'avvio del raspberry.

Prova a capire come funziona fakeclock magari editando questi file trovi una soluzione.
sudo nano /sbin/fake-hwclock
sudo nano /lib/udev/hwclock-set

Sensori Davis +BME280 + Raspberry b+ webCam serrasanta.fleanet.it (Eremo di Serrasanta - Gualdo Tadino - 1.340 m s.l.m.)

Si prega Accedi a partecipare alla conversazione.

Tempo creazione pagina: 1.085 secondi