Utiliser le langage SQL sur n'importe quel fichier texte

By ronan, 12 mars, 2014

J'en ai rêvé, Harel Ben-Attia l'a fait.

Utiliser des fichiers texte comme des tables SQL.
C'est ce que propose de faire la commande q.

Ce programme est développé en python.
Pour fonctionner, il utilise donc python 2.4 (minimum) et le module sqlite3.

Il est possible d'utiliser des fichiers texte dont le séparateur de colonne (par défaut) est l'espace.
N'importe quel autre séparateur est utilisable à condition de l'indiquer à l'aide de l'option -d
Si le fichier texte contient une ligne d'en-tête, il est possible de l'indiquer à l'aide de l'option -H et cela permet d'utiliser les en-têtes comme nom de colonne dans les requêtes SQL.
L'option -z permet d'utiliser des fichiers compressés avec gzip.

Le projet est disponible ici.

Un paquet RPM est disponible pour l'installation.
Pour les distributions Debian/Ubuntu, utiliser le programme alien pour convertir le paquet RPM en DEB.

Pour l'installtion, sous Debian/Ubuntu, après conversion du paquet :

$ dpkg --install q_xxx_all.deb

Les différentes utilisations possibles :

Utiliser la commande q derrière un pipe

Par exemple, la commande ls -l retourne le contenu d'un répertoire structuré en colonne.

Par conséquent, du fait que le retour de cette commande soit structuré, il est possible de l'envoyer à la commande q via un pipe et d'y effectuer des petites requêtes SQL.

$ ls -l /var/log
-rw-r--r-- 1 root root 3554 Mar 12 14:09 alternatives.log
-rw-r--r-- 1 root root 1208 Feb 21 10:51 alternatives.log.1
-rw-r--r-- 1 root root 246 Jan 27 18:17 alternatives.log.2.gz
-rw-r--r-- 1 root root 385 Jan 6 21:10 alternatives.log.3.gz
-rw-r--r-- 1 root root 539 Nov 22 08:16 alternatives.log.4.gz
-rw-r--r-- 1 root root 276 Oct 24 16:47 alternatives.log.5.gz
-rw-r--r-- 1 root root 948 Sep 23 22:35 alternatives.log.6.gz
drwxr-xr-x 2 root root 4096 Mar 1 05:00 apt
-rw-r----- 1 syslog adm 370529 Mar 12 14:16 auth.log

Le résultat est structuré en 9 colonnes.

$ ls -l /var/log | q -b "select * from -"

total 4164

-rw-r--r-- 1 root root 3554 Mar 12 14:09 alternatives.log

-rw-r--r-- 1 root root 1208 Feb 21 10:51 alternatives.log.1

-rw-r--r-- 1 root root 246 Jan 27 18:17 alternatives.log.2.gz

-rw-r--r-- 1 root root 385 Jan 6 21:10 alternatives.log.3.gz

-rw-r--r-- 1 root root 539 Nov 22 08:16 alternatives.log.4.gz

-rw-r--r-- 1 root root 276 Oct 24 16:47 alternatives.log.5.gz

-rw-r--r-- 1 root root 948 Sep 23 22:35 alternatives.log.6.gz

drwxr-xr-x 2 root root 4096 Mar 1 05:00 apt

-rw-r----- 1 syslog adm 370722 Mar 12 14:39 auth.log

Pour lire les données sur l'entrée standard, il faut utiliser le tiret "-" en nom de table.

L'option -b permet d'afficher le résultat aligné en colonne.

$ ls -l /var/log | q -b "select c9 from -"

alternatives.log

alternatives.log.1

alternatives.log.2.gz

alternatives.log.3.gz

alternatives.log.4.gz

alternatives.log.5.gz

alternatives.log.6.gz

apt

auth.log

On affiche uniquement le nom des fichiers correspondant donc au contenu de la colonne 9

$ ls -l /var/log | q -b "select c9, c5 from -"

alternatives.log 3554

alternatives.log.1 1208

alternatives.log.2.gz 246

alternatives.log.3.gz 385

alternatives.log.4.gz 539

alternatives.log.5.gz 276

alternatives.log.6.gz 948

apt 4096

auth.log 370722

On ajoute la taille de chaque fichier.

Effectuer des count et des sum etc etc ...

$ ls -l /var/log | sed '1d' | q -b "select count(*), sum(c5) from -"

54 4386404

Attention, j'ai ajouté la commande sed '1d' car la commande ls -l affiche sur la première ligne la taille totale des fichiers.

On peut même effectuer des opérations

$ ls -l /var/log | sed '1d' | q -b "select count(*), sum(c5)/1024 from -"

54 4283

La clause "order by" existe aussi.

$ ls -l /var/log | sed '1d' | q -b "select c9, c5 from - order by c5"

btmp 0

btmp.1 0

init.fifo 0

vsftpd.log 0

boot 1

dmesg 1

kern.log 1

lpr.log 1

mail.err 1

user.log 1

En ordre inverse

$ ls -l /var/log | sed '1d' | q -b "select c9, c5 from - order by c5 desc"

auth.log.0 1067312

mail.info 923064

mail.log 923064

messages 457260

auth.log 371108

lastlog 292292

auth.log.1.gz 70783

dpkg.log 37630

daemon.log 29013

syslog.0 24504

Idem avec la clause "where"

$ ls -l /var/log | sed '1d' | q -b "select c9, c5 from - where c9 like 'a%' order by c5 desc"

auth.log.0 1067312

auth.log 371108

auth.log.1.gz 70783

apt 4096

alternatives.log 3554

alternatives.log.1 1208

alternatives.log.6.gz 948

alternatives.log.4.gz 539

alternatives.log.3.gz 385

alternatives.log.5.gz 276

Et avec des fichiers maintenant

Je crée un fichier pour l'exemple.

$ ls -l /var/log | sed '1d' > listVarLog

Et j'effectue un "select" directement sur le fichier

$ q -b "select * from listVarLog"

-rw-r--r-- 1 root root 3554 Mar 12 14:09 alternatives.log

-rw-r--r-- 1 root root 1208 Feb 21 10:51 alternatives.log.1

-rw-r--r-- 1 root root 246 Jan 27 18:17 alternatives.log.2.gz

-rw-r--r-- 1 root root 385 Jan 6 21:10 alternatives.log.3.gz

-rw-r--r-- 1 root root 539 Nov 22 08:16 alternatives.log.4.gz

-rw-r--r-- 1 root root 276 Oct 24 16:47 alternatives.log.5.gz

-rw-r--r-- 1 root root 948 Sep 23 22:35 alternatives.log.6.gz

drwxr-xr-x 2 root root 4096 Mar 1 05:00 apt

-rw-r----- 1 syslog adm 371301 Mar 12 15:16 auth.log

-rw-r----- 1 syslog adm 1067312 Feb 23 05:00 auth.log.0

Si mon fichier n'est pas dans mon répertoire courant...

$ q -b "select * from /root/listVarLog"

-rw-r--r-- 1 root root 3554 Mar 12 14:09 alternatives.log

-rw-r--r-- 1 root root 1208 Feb 21 10:51 alternatives.log.1

-rw-r--r-- 1 root root 246 Jan 27 18:17 alternatives.log.2.gz

-rw-r--r-- 1 root root 385 Jan 6 21:10 alternatives.log.3.gz

-rw-r--r-- 1 root root 539 Nov 22 08:16 alternatives.log.4.gz

-rw-r--r-- 1 root root 276 Oct 24 16:47 alternatives.log.5.gz

-rw-r--r-- 1 root root 948 Sep 23 22:35 alternatives.log.6.gz

drwxr-xr-x 2 root root 4096 Mar 1 05:00 apt

-rw-r----- 1 syslog adm 371301 Mar 12 15:16 auth.log

-rw-r----- 1 syslog adm 1067312 Feb 23 05:00 auth.log.0

... J'indique le chemin complet dans ma requête.

Avec une ligne d'en-tête.

$ head listVarLog

PERMS INODE USER GROUP SIZE MONTH DAY TIME FILE

-rw-r--r-- 1 root root 3554 Mar 12 14:09 alternatives.log

-rw-r--r-- 1 root root 1208 Feb 21 10:51 alternatives.log.1

-rw-r--r-- 1 root root 246 Jan 27 18:17 alternatives.log.2.gz

-rw-r--r-- 1 root root 385 Jan 6 21:10 alternatives.log.3.gz

-rw-r--r-- 1 root root 539 Nov 22 08:16 alternatives.log.4.gz

-rw-r--r-- 1 root root 276 Oct 24 16:47 alternatives.log.5.gz

-rw-r--r-- 1 root root 948 Sep 23 22:35 alternatives.log.6.gz

drwxr-xr-x 2 root root 4096 Mar 1 05:00 apt

-rw-r----- 1 syslog adm 371301 Mar 12 15:16 auth.log

$ q -b -H "select * from listVarLog"

-rw-r--r-- 1 root root 3554 Mar 12 14:09 alternatives.log

-rw-r--r-- 1 root root 1208 Feb 21 10:51 alternatives.log.1

-rw-r--r-- 1 root root 246 Jan 27 18:17 alternatives.log.2.gz

-rw-r--r-- 1 root root 385 Jan 6 21:10 alternatives.log.3.gz

-rw-r--r-- 1 root root 539 Nov 22 08:16 alternatives.log.4.gz

-rw-r--r-- 1 root root 276 Oct 24 16:47 alternatives.log.5.gz

-rw-r--r-- 1 root root 948 Sep 23 22:35 alternatives.log.6.gz

drwxr-xr-x 2 root root 4096 Mar 1 05:00 apt

-rw-r----- 1 syslog adm 371301 Mar 12 15:16 auth.log

-rw-r----- 1 syslog adm 1067312 Feb 23 05:00 auth.log.0

Exécuter une requête avec le nom des champs.

$ q -b -H "select FILE, SIZE from listVarLog"

alternatives.log 3554

alternatives.log.1 1208

alternatives.log.2.gz 246

alternatives.log.3.gz 385

alternatives.log.4.gz 539

alternatives.log.5.gz 276

alternatives.log.6.gz 948

apt 4096

auth.log 371301

auth.log.0 1067312

$ q -b -H "select FILE, SIZE, MONTH from listVarLog where MONTH = 'Mar'"

alternatives.log 3554 Mar

apt 4096 Mar

auth.log 371301 Mar

btmp 0 Mar

daemon.log 29013 Mar

dpkg.log 37630 Mar

lastlog 292292 Mar

mail.info 923064 Mar

mail.log 923064 Mar

messages 457260 Mar

En utilisant un délimiteur de colonne autre que l'espace.

Avec le fichier /etc/passwd par exemple, dont le délimiteur est ":"

$ q -b -d':' -D'|' "select * from /etc/passwd"

root |x|0 |0 |root |/root |/bin/bash

daemon |x|1 |1 |daemon |/usr/sbin |/bin/sh

bin |x|2 |2 |bin |/bin |/bin/sh

sys |x|3 |3 |sys |/dev |/bin/sh

sync |x|4 |65534|sync |/bin |/bin/sync

games |x|5 |60 |games |/usr/games |/bin/sh

man |x|6 |12 |man |/var/cache/man |/bin/sh

lp |x|7 |7 |lp |/var/spool/lpd |/bin/sh

mail |x|8 |8 |mail |/var/mail |/bin/sh

news |x|9 |9 |news |/var/spool/news |/bin/sh

J'indique le délimiteur du fichier avec l'option -d':' et j'en profite pour modifier le délimiteur de sortie avec l'option -D'|'

Et les jointures entre fichier

$ q -b -d':' -D'|' "select a.c3, a.c1, a.c4, b.c1 from /etc/passwd a left join /etc/group b on a.c4 = b.c3"

0 |root |0 |root

1 |daemon |1 |daemon

2 |bin |2 |bin

3 |sys |3 |sys

4 |sync |65534|nogroup

5 |games |60 |games

6 |man |12 |man

7 |lp |7 |lp

8 |mail |8 |mail

9 |news |9 |news

Cette requête permet d'afficher l'uid, le user, le gid et le group pour chaque ligne du fichier /etc/passwd et en effectuant une jointure avec le fichier /etc/group et en indiquant les colonnes permettant d'effectuer la jointure.

Pour l'instant, seul le "SELECT" peut-être utilisé.

La syntaxe utilisée est celle du SGDB SQLite

Etiquettes

sqlite

Version imprimable

Your name

Commentaire

About text formats

Format de texte

Plain text

No HTML tags allowed.
Web page addresses and email addresses turn into links automatically.
Lines and paragraphs break automatically.

Filtered HTML

Web page addresses and email addresses turn into links automatically.
Allowed HTML tags: <a href hreflang> <em> <strong> <cite> <blockquote cite> <code> <ul type> <ol start type> <li> <dl> <dt> <dd>
Lines and paragraphs break automatically.