This article describes how you can log your apache access log entries into a MySQL database.
You need a installed and configurated Apache2 webserver and MySQL server.
Installation:
On the webserver:
aptitude install libapache2-mod-log-sql-mysql a2enmod unique_id
On the database server:
Create a new database “apachelogs” and a user for this database.
Configurate a virtual host:
Replace “PASSWORD” and “DATABASE_SERVER” with your own data.
LogSQLLoginInfo mysql://apachelogs:PASSWORD@DATABASE_SERVER/apachelogs LogSQLCreateTables on LogSQLDBParam socketfile /var/run/mysqld/mysqld.sock LogSQLTransferLogFormat IAbPcMfRhluTrmHtUapzqQsSV <virtualhost www.testsrv.local:80> ServerName www.testsrv.local ServerAdmin servermaster@testsrv.local DocumentRoot /var/www/vhost1/htdocs ErrorLog /var/www/vhost1/logs/error.log CustomLog /var/www/vhost1/logs/access.log common LogSQLTransferLogTable vhost1_access_log </virtualhost>
/etc/init.d/apache2 reload
mod-log-sql-mysql will create a table “vhost1_access_log” and log the Apache2 access there.mod-log-sql-mysql
Problems:
You can get several errors in the apache error log when running the module:
1. “No such file or directory: attempted append of local preserve file ‘/etc/apache2/logs/mod_log_sql-preserve’ but failed.”
You have to create the directory “/etc/apache2/logs” manual or create a symlink to “/var/log/apache2”.
2. “failed to create table: score_board”
There is a problem with scoreboard table creation, you have to create it:
CREATE TABLE IF NOT EXISTS `scoreboard` ( `id` int(14) NOT NULL auto_increment, `vhost` varchar(50) NOT NULL default '', `bytes_sent` int(14) NOT NULL default '0', `count_hosts` int(12) NOT NULL default '0', `count_visits` int(12) NOT NULL default '0', `count_status_200` int(12) NOT NULL default '0', `count_status_404` int(12) NOT NULL default '0', `count_impressions` int(18) NOT NULL default '0', `last_run` int(14) NOT NULL default '0', `month` int(4) NOT NULL default '0', `year` int(4) NOT NULL default '0', `domain` varchar(50) NOT NULL default '', `bytes_receive` int(14) NOT NULL default '0', PRIMARY KEY (`id`), UNIQUE KEY `vhost` (`vhost`,`month`,`year`,`domain`) ) TYPE=MyISAM;
Thanks to Alexandre Bulté for the solution !
Links:
http://blog.bulte.net/2008/04/apache-modlogsql-problem-with.html
http://www.outoforder.cc/projects/apache/mod_log_sql/
http://www.howtoforge.com/apache2-logging-to-a-mysql-database-with-mod_log_sql-on-debian-etch
Carsten Prox
16 Jul 2009Thank you for this straight forward installation 🙂
CREATE TABLE IF NOT EXISTS `scoreboard` (
I think the table name is `score_board`
CREATE TABLE IF NOT EXISTS `score_board` (
Carsten
Pingback: Apache: Logging in MySQL-Datenbank | Patrick Gotthard
Patrick
29 Jun 2010Wofür ist die Tabelle scoreboard gedacht? Um Traffic, Zugriffe und Fehlerseiten zu loggen? Weißt du zufällig, ob man pro vhost einen eigenen Scoreboard-Eintrag erzeugen kann? Bei mir steht derzeit nur default-domain.tld in der vhost Spalte.
P.S.: Danke für die Fehlerlösung 😉
sebastian
29 Jun 2010Hi,
also erstens muss die Tabelle bei mir “scoreboard” heißen und nicht “score_board” aber das könnte aber vielleicht auf einem anderen System anders sein. (Nicht Debian oder Ubuntu)
Die scoreboard ist so eine Art Zusammenfassung bzw. Übersicht. Den Wert der vhost-Spalte sowie den der Domain-Spalte kannst du mit folgenden Parametern beeinflussen:
LogSQLScoreDomain foobar.de # (domain)
LogSQLScoreSubdomain www # (vhost)
Klingt etwas komisch ist aber so 🙂
Schöner Artikel übrigens, viel Glück damit.
Für mich war das loggen in die Datenbank jedoch nicht schnell genug deswegen setze ich das nicht mehr ein.
Ich wollte es aber auf einer großeren Seite, welche auf 4-6 Apache Server lief, einsetzen.
Pingback: Apache: Logging in MySQL-Datenbank | techspread