× Benvenuti sul nostro forum su Sint Wind PI!

Postate qui domande o segnalate problemi / bug che riscontrate,

question-circle File LOG su SD unico e pesante dopo diversi giorni

More
7 years 5 months ago #7351 by asy961
Salve a tutti,
ho aperto un nuovo post perchè avevo letto qualcosa da qualche parte nel forum ma dopo varie ricerche non sono riuscito a ritrovare l'argomento....

Il problema è il file LOG che viene salvato sulla SD che viene scritto in modo incrementale (cioè di continuo giorno dopo giorno) e non viene più generato un File LOG giornaliero, la cosa ci avvantaggierebbe nella ricerca in caso di problemi e/o controllo se tutto procede regolarmente.

Ho notato inoltre che il file viene generato con il giorno in cui si è creato la SD, ho anche provato a modificare manualmente la data del sistema digitando (ad esempio) da terminale il comando
'sudo data -s '10/22/2016 21:30:30'
ma ottenendo il risultato che da quel momento il file verrà generato con la nuova data inserita manulamente.

Mi pareva di aver capito che il problema era legato alla versione del tipo di SWPI che abbiamo installato (RO).

Mi chiedevo se ci fosse un modo per aggiornare la data/ora di sistema dopo che SWPI l'aggiorna la prima volta dal server NTP.

Io non sono molto ferrato in Python e non mi sento di smanettare all'interno del software, quindi la domanda (e la richiesta) è rivolta agli sviluppatori.

:huh:

Stazione Meteo: Raspberry PI B, Sensori Vento PCE, BME280, Camera PI, Web Cam HD, Huawei K3765, Pannello Fotovoltaico 50W - 1 Batteria 12V-40Ah

Please Log in to join the conversation.

More
7 years 5 months ago #7357 by asy961
ma è cosi difficile??

Stazione Meteo: Raspberry PI B, Sensori Vento PCE, BME280, Camera PI, Web Cam HD, Huawei K3765, Pannello Fotovoltaico 50W - 1 Batteria 12V-40Ah

Please Log in to join the conversation.

More
7 years 5 months ago #7360 by tony
Si. Perché la data viene scritta proprio in quelle partizioni che monto in sola lettura.

Please Log in to join the conversation.

More
7 years 5 months ago #7362 by asy961
dico una ca@@ata...

fargliela scrivere con i permessi di root??

Stazione Meteo: Raspberry PI B, Sensori Vento PCE, BME280, Camera PI, Web Cam HD, Huawei K3765, Pannello Fotovoltaico 50W - 1 Batteria 12V-40Ah

Please Log in to join the conversation.

More
7 years 2 months ago #7615 by asy961
@Tony

ciao, potresti darmi qualche indicazione sulla parte di codice che svolge la funzione di scrivere la data???

provo a smanettarci un pò

Stazione Meteo: Raspberry PI B, Sensori Vento PCE, BME280, Camera PI, Web Cam HD, Huawei K3765, Pannello Fotovoltaico 50W - 1 Batteria 12V-40Ah

Please Log in to join the conversation.

More
7 years 2 months ago - 7 years 2 months ago #7621 by SkizZO
devi impostare il reboot alle 00:01 ogni giorno, lanciare uno script bash al''avvio del raspi pressappoco così:
rw
comando x sincronizzare l'ora/data in internet
comando per nuovo file di log (mi sa che si genera solo se avvii e killi swpi)
ro

...e poi si avvierebbe swpi definitivamente

Non so se swpi, essendo la partizione in ro, scriva il log con il nomefile aggiornato.. (dunque mettendo nel bash solo 'sudo data -s 'data internet') in caso contrario devi fargli scrivere prima il file, e poi mettere il sistema in ro.

Io mi muoverei su questa strada
Last edit: 7 years 2 months ago by SkizZO.

Please Log in to join the conversation.

More
6 years 11 months ago #7839 by asy961
Dopo svariati tentativi non sono riuscito ad ottenere niente.....
come al solito Tony ha sempre ragione.....

se qualcuno ha qualche idea per aggirare l'ostacolo si faccia avanti,
la lettura del file log in caso di problemi è fondamentale ma a causa delle grandi dimensioni, che purtroppo incrementano giornalmente, non è possibile nemmeno farselo spedire per email, parlo per le stazioni remote montate in montagna, per leggerlo bisogna sempre presentarsi sul posto muniti di attrezzaure (pc portatile o monitor e tastiera, inverter etc.) invece che poterlo analizzare a casa mirando con più precisione il problema prima di intervenire....

io sono fiducioso che a qualcuno di noi, prima o poi, gli venga davvero l'idea giusta.....

Stazione Meteo: Raspberry PI B, Sensori Vento PCE, BME280, Camera PI, Web Cam HD, Huawei K3765, Pannello Fotovoltaico 50W - 1 Batteria 12V-40Ah

Please Log in to join the conversation.

More
6 years 11 months ago #7859 by ulisse
Valerio, eccoti un workaround poco elegante ma efficace che ti consente di avere i file non tanto in ordine di data (per quello bisognerebbe avere la certezza di essere almeno connessi ad internet prima di avviare swpi), ma perlomeno numerati progressivamente, uno per ogni avvio.

Modifica il file swpi.sh e fallo diventare così:
#! /bin/bash

cd /home/pi/swpi
logfile=./log/log`date '+%d%m%Y'`.log

if [ -e "$logfile" ]
then
    echo "$logfile exists, renaming"
    mv "$logfile" "$logfile.`ls -l $logfile* | wc -l`"
fi

sudo python -u swpi.py | tee -a $logfile

Please Log in to join the conversation.

More
6 years 11 months ago #7861 by asy961
Ciao Ulisse,
grazie,
ho fatto le modifiche che hai suggerito ma dopo 5 giorni in prova sul banco non funziona, non solo non cambia la data, e quello potrebbe essere che non è ancora attiva la connessione a internet (è collegato sulla lan e non penso che non veda internet) ma come dici che dovrebbe farlo non si numera nemmeno progressivamente, il file log rimane singolo incrementandosi giorno per giorno

se ti può essere utile io uso un raspi 1 B con montato SWPI versione 2 aggiornata a 01.24.03, è collegato a internet via lan e uso una chiavetta RTL-SDR (ma potrei andare in SIMULATE tanto per prova è lo stesso) si ferma al tramonto e si riavvia la mattina intorno alle 7,30

se hai qualche altra idea resto in attesa....
grazie in anticipo

Stazione Meteo: Raspberry PI B, Sensori Vento PCE, BME280, Camera PI, Web Cam HD, Huawei K3765, Pannello Fotovoltaico 50W - 1 Batteria 12V-40Ah

Please Log in to join the conversation.

More
6 years 11 months ago #7862 by tony
Il file log unico è stato introdotto dalla versione di firmare in sola lettura. É un effetto collaterale al quale comunque ho sempre dato poco peso. Non vedo il problema di avere un solo file. Se la cosa crea problemi la cosa più semplice è modificare il mount in lettuta scrittura
TT

Please Log in to join the conversation.

More
6 years 11 months ago #7864 by tony
Il file log unico è stato introdotto dalla versione di firmare in sola lettura. É un effetto collaterale al quale comunque ho sempre dato poco peso. Non vedo il problema di avere un solo file. Se la cosa crea problemi la cosa più semplice è modificare il mount in lettuta scrittura
TT

Please Log in to join the conversation.

More
6 years 11 months ago #7865 by asy961
OK Tony,
il problema mi nasce sulle stazioni che abbiamo in remoto (decolli, atterraggi...), quando chiedo tramite sms l'invio per email del log che, dopo diversi giorni
è diventato tanto grande, non riesce ad inviarmelo e quindi l'unico modo è recarsi alla stazione e scaricare manualmente il file....
forse è un problema di pacchetto dati della sim ma quando avevo la versione in RW e creava un log al giorno questo problema non c'era...
non è certo di vitale importanza però se si riuscisse a risolvere lasciando il sistema in RO......

Stazione Meteo: Raspberry PI B, Sensori Vento PCE, BME280, Camera PI, Web Cam HD, Huawei K3765, Pannello Fotovoltaico 50W - 1 Batteria 12V-40Ah

Please Log in to join the conversation.

More
6 years 11 months ago #7867 by roberto2011
collegati via ssh e fai un tail del file e magari ogni tanto un truncate.

Sensori Davis +BME280 + Raspberry b+ webCam serrasanta.fleanet.it (Eremo di Serrasanta - Gualdo Tadino - 1.340 m s.l.m.)

Please Log in to join the conversation.

More
6 years 11 months ago #7869 by ulisse

asy961 wrote: Ciao Ulisse,
grazie,
ho fatto le modifiche che hai suggerito ma dopo 5 giorni in prova sul banco non funziona, non solo non cambia la data, e quello potrebbe essere che non è ancora attiva la connessione a internet (è collegato sulla lan e non penso che non veda internet) ma come dici che dovrebbe farlo non si numera nemmeno progressivamente, il file log rimane singolo incrementandosi giorno per giorno

se ti può essere utile io uso un raspi 1 B con montato SWPI versione 2 aggiornata a 01.24.03, è collegato a internet via lan e uso una chiavetta RTL-SDR (ma potrei andare in SIMULATE tanto per prova è lo stesso) si ferma al tramonto e si riavvia la mattina intorno alle 7,30

se hai qualche altra idea resto in attesa....
grazie in anticipo


Hummm è strano, da me pare che funzioni... io uso la versione 3 ma non credo ci siano differenze per quel che riguarda il sistema di logging, lo script semplicemente indirizza l'output del programma su un file con la data come nome.

Please Log in to join the conversation.

More
6 years 10 months ago #7870 by ulisse
Alla fine ho trovato una soluzione semplicissima, basta spostare il file dove fake-hwclock immagazzina data e ora in una partizione scrivibile e linkarlo nella posizione originale!

La sequenza dei comandi che ho usato è questa:
rw
sudo mv /etc/fake-hwclock.data /swpi/log/
sudo ln -s /swpi/log/fake-hwclock.data /etc/fake-hwclock.data
ro

Il raspi si è appena riavviato ed ha creato il file di log con la data giusta di oggi!

Please Log in to join the conversation.

More
6 years 10 months ago #7871 by tony
Bene,
Grazie Ulisse
TT

Please Log in to join the conversation.

More
6 years 10 months ago - 6 years 10 months ago #7873 by Ciaschini
bene, purtroppo però ad ogni riavvio continuo ad avere problemi con la data, di conseguenza il reset ogni volta dei dati giornalieri.
la data parte dal 01/01/1970, a voi succede?
10.....9.....8.....7.....6.....5.....4.....3.....2.....1.....
[01/01/1970-01:00:43][01/01/1970-01:00:43] loading plugins
 Starting sensor reading - Sensor type is : WH1080_RTL-SDR
[01/01/1970-01:00:43] Starting plugin : <module 'AllLogger' from './plugins/AllLogger.pyc'>
[01/01/1970-01:00:43] Config Server running on port 80
[01/01/1970-01:00:43] Checking internet connetion ...
[01/01/1970-01:00:43] Internet ok
[01/01/1970-01:00:43] Checking internet connetion ...
[01/01/1970-01:00:43] Internet ok
mer 24 mag 2017, 20.42.17, CEST
[24/05/2017-20:42:17] System time adjusted from NPT server : europe.pool.ntp.org
[24/05/2017-20:42:17] Connected with IP :***

[24/05/2017-20:42:17] Starting General WatchDog
[24/05/2017-20:42:18] RTL-SDR-compatible USB DVB-T dongle detected.
mer 24 mag 2017, 20.42.18, CEST
[24/05/2017-20:42:18] System time adjusted from NPT server : europe.pool.ntp.org
[24/05/2017-20:42:22] Warning could not delete wh1080-rtl_433.txt file
[24/05/2017-20:42:22] Starting RF listening
[24/05/2017-20:42:47] First data received from WH1080_RTL-SDR, station 005A. Processing...
[24/05/2017-20:42:48] BMP085 - Temperature: 30.3 C Pressure:    1002.8 
[24/05/2017-20:42:48] Calculating Meteo data and statistics
wlan0 is up
Last edit: 6 years 10 months ago by Ciaschini.

Please Log in to join the conversation.

More
6 years 10 months ago #7875 by asy961
Purtroppo confermo anch'io il problema della data.....
inoltre non incrementa nemmeno con la modifica al file swpi.sh

forse la versione 2 di swpi ha altri riferimenti per la lettura della data.....

Stazione Meteo: Raspberry PI B, Sensori Vento PCE, BME280, Camera PI, Web Cam HD, Huawei K3765, Pannello Fotovoltaico 50W - 1 Batteria 12V-40Ah

Please Log in to join the conversation.

More
6 years 10 months ago #7876 by roberto2011
Io affronterei il problema in maniera diversa.
Magari aggiungendo dei comandi sms.
Con un tail di 200 righe sull'ultimo log e un truncate per azzerare il log.

Sensori Davis +BME280 + Raspberry b+ webCam serrasanta.fleanet.it (Eremo di Serrasanta - Gualdo Tadino - 1.340 m s.l.m.)

Please Log in to join the conversation.

More
6 years 10 months ago #7877 by asy961
Vedi Roberto grazie per i tuoi suggerimenti ma il punto è che le modifiche che ha fatto Ulisse funzionano sulla versione 3 (cosi mi pare aver capito sia la versione che usa lui) sfruttando l'idea bisognerebbe trovare come funziona sulle versioni precedenti.....

io non sono in grado di modificare pesantemente il sw e non saprei dire se basterebbe fare un tail di 200 righe, forse ne basterebbero meno o forse di più.....
il truncate o qualcosa del genere per azzerare/cancellare il log mi pare esista già sotto comando sms.....

lo scopo è avere un log ogni giorno, analizzare i problemi in 200 righe o giù di li mi pare pochino....a volte

Stazione Meteo: Raspberry PI B, Sensori Vento PCE, BME280, Camera PI, Web Cam HD, Huawei K3765, Pannello Fotovoltaico 50W - 1 Batteria 12V-40Ah

Please Log in to join the conversation.

More
6 years 10 months ago - 6 years 10 months ago #7878 by SkizZO
Io ho la V.2 e non funziona.
Bisognerebbe effettuare queste operazioni:

PRIMA che si avvii swpi, ovviamente a raspi collegato ad internet:
sudo /etc/init.d/ntp stop
sudo ntpd -q -g
sudo /etc/init.d/ntp start

- Quale file gestisce la sequenza di boot? (Perdonate l'ignoranza)
- Con che comando si può dare un "wait x secondi" in modo da arrestare la sequenza e permettere al raspi di collegarsi (wifi o lan)?
Last edit: 6 years 10 months ago by SkizZO.

Please Log in to join the conversation.

More
6 years 10 months ago #7879 by roberto2011
Piccola modifica a swpi.py in allegato
Aggiunta nuovo comando:
PASSWORD TAILLOG NUMERORIGHE
es.
admin TAILLOG 1000

File Attachment:

File Name: swpi_2017-05-25.zip
File Size:9 KB


Ho notato un piccolo bug per l'invio completo del log adesso funziona.

Sensori Davis +BME280 + Raspberry b+ webCam serrasanta.fleanet.it (Eremo di Serrasanta - Gualdo Tadino - 1.340 m s.l.m.)
Attachments:

Please Log in to join the conversation.

More
6 years 10 months ago #7880 by ulisse
Il problema è che, almeno con le connessioni in banda mobile, credo sia proprio SWPI ad iniziare la connessione, una volta avviato...
Per questo inconveniente viene incontro la funzione di fake-hwclock, che immagazzina periodicamente la data e l'ora in un file e le ripesca dopo il riavvio.
Può darsi che nell'immagine versione 2 non sia installato tale pacchetto, ma dovrebbe bastare questo comando per ovviare:

sudo apt-get install fake-hwclock

Please Log in to join the conversation.

More
6 years 10 months ago #7881 by SkizZO
Fake-hwxlock è installato, nella partizione readonly! Pertanto non scrivibile.
Il suggerimento del linkaggio al file non funziona con la v2.

Sto provando ad aggiornare la data da internet prima che si avvii swpi... Vi faccio sapere dopo mezzanotte se swpi crea un nuovo logfile al reboot :-p

Please Log in to join the conversation.

More
6 years 10 months ago - 6 years 10 months ago #7883 by asy961
stamani all'avvio del raspberry durante il caricamento iniziali del OS ho notato un messaggio di errore relativo al fake-hwclock....ho dovuto riavviarlo più volte per fotografarlo.....eccolo



questo lo faceva senza aver installato il pacchetto fake-hwclock......quindi penso che sia già presente sulla V2
per scrupolo ho anche provato ad installarlo lo stesso ma il risultato non cambia...

confermo però che il file (hyperlink) è presente e punta lo stesso file nella cartella log

Stazione Meteo: Raspberry PI B, Sensori Vento PCE, BME280, Camera PI, Web Cam HD, Huawei K3765, Pannello Fotovoltaico 50W - 1 Batteria 12V-40Ah
Attachments:
Last edit: 6 years 10 months ago by asy961.

Please Log in to join the conversation.

More
6 years 10 months ago #7884 by ulisse
Questo è strano... E se lanci fake-hwclock da riga di comando, ti dice lo stesso?
Il funzionamento dei symlink non dovrebbe entrarci niente con la versione del software...

Please Log in to join the conversation.

More
6 years 10 months ago #7885 by tony
Credo anche io che sistemando il symlink di fake hwclock tutto debba funzionare.
TT

Please Log in to join the conversation.

More
6 years 10 months ago #7886 by asy961
da riga di comando non ho problemi
ripristinando il file originale fake-hwclock nella cartella etc l'errore al caricamento scompare e carica la data esatta......



forse la V2 non vuole Hyperlink??

Stazione Meteo: Raspberry PI B, Sensori Vento PCE, BME280, Camera PI, Web Cam HD, Huawei K3765, Pannello Fotovoltaico 50W - 1 Batteria 12V-40Ah
Attachments:

Please Log in to join the conversation.

More
6 years 10 months ago #7892 by asy961
volevo solo aggiornare la situazione....
dopo aver ripristinato il file originale fake-hwclock e sostituito il file swpi.sh con quello proposto da Ulisse ho installato il pacchetto ntpdate che pareva non esserci....
da allora ho notato che il file davis_xxxxxxxxx.log viene scritto con cadenza giornaliera uno per ogni giorno mentre il file logxxxxxxxx.log rimane sempre un unico file........
dico questo perché mi pareva che prima entrambi i file venissero scritti in maniera incrementale.....
non riesco però a capire il perché questo avviene solo per un file e per l'altro no.

Stazione Meteo: Raspberry PI B, Sensori Vento PCE, BME280, Camera PI, Web Cam HD, Huawei K3765, Pannello Fotovoltaico 50W - 1 Batteria 12V-40Ah

Please Log in to join the conversation.

More
6 years 10 months ago #7893 by roberto2011
Il log file del davis viene creato da swpi! dopo l'aggiornamento della data.
Il log di swpi viene generato dal file /etc/profile all'avvio del raspberry.

Prova a capire come funziona fakeclock magari editando questi file trovi una soluzione.
sudo nano /sbin/fake-hwclock
sudo nano /lib/udev/hwclock-set

Sensori Davis +BME280 + Raspberry b+ webCam serrasanta.fleanet.it (Eremo di Serrasanta - Gualdo Tadino - 1.340 m s.l.m.)

Please Log in to join the conversation.

Time to create page: 1.052 seconds