Business Intelligence con Pentaho Suite
Instalación y configuracion de Pentaho en Linux
Objetivo
Instalar y configurar Pentaho BI Suite, en un sistema operativo Linux, en este caso openSuSE, utilizando MySQL como base de datos.
Pentaho es el resultado de la fusión de varios proyectos de código abierto y algunas herramientas adicionales, para formar un producto BI de caracteristicas world class.
Audiencia
Este documento es para personas con alguna experiencia en linux, manejo de la linea de comandos, que necesite implementar una herramienta BI 100% gratuita
Alcance
La intención es poder instalar y configurar todos los componentes de Pentaho, no haciendo una descripcion detallada de los mismos, ya que esto es motivo de otros documentos, incluso mas extensos.
Requisitos
- Una pc standard o notebook, con al menos 2Gb de RAM y un disco de 100Gb o mas y un procesador de de 2 cores o superior. Cuando mejor procesador, mejor resultado.
- Una version de linux instalada
- Un ambiente java SDK instalado (puede ser el del sistema operativo o puede ser una version de Oracle instalada a los efectos de utilizarla con Pentaho)
- Base de datos MySQL
- El proceso de instalación supodrá que trabajamos sobre la maquina que se está instalando (no en una maquina remota)
Proceso
Instalar Pentaho BI Server 4.50
Obtener el software de la pagina de pentaho.
Ingresar a la seccion Business Intelligence Server y descargar la ultima version estable.
- Crear un usuario llamado pentaho para administrar el software (no es conveniente que sea root). Salvo que se indique lo contrario, todos los comandos deben ser ejecutados con este usuario ($)
- Crear un directorio o carpeta la contener todo el software. Personalmente utilizo openSuse y me gusta instalar nuevos paquetes de software en la carpeta /local
# mkdir /local/pentaho # chown pentaho:users /local/pentaho $ cd /local/pentaho $ tar xvzf biserver-ce-4.5.0-stable.tar
Esto creara dos carpetas, una llamada biserver-ce y la otra administration-console
- Verificar los permisos para ejecutar pentaho
$ chmod +x *.sh pentaho/
Instalar Java
Particularmente prefiero bajar la ultima version de java SDK desde el site de oracle a utilizar la que viene con el sistema operativo, ya que por problemas de licencias, ésta puede no estar incluída.
- Descargar la ultima version desde la pagina Java de Oracle
- Instalar Java en /local/pentaho/java (Seguir las instrucciones de Oracle)
- Setear la variable de ambiente JAVA_HOME para el usuario pentaho
$ vi /home/pentaho/.profile
- Añadir al final del archivo
export PENTAHO_HOME=/local/pentaho export JAVA_HOME=/local/pentaho/java export JRE_HOME=/local/pentaho/java/jre
- Cerrar la sesion de pentaho e ingresar nuevamente para que el ambiente tome la nueva variable definida
- Verificar con
$ echo $JAVA_HOME
Arrancar el servidor
Realizadas esta tareas, podemos arrancar por primera vez el servidor pentaho, de la siguiente forma:
$ cd /local/pentaho/biserver-ce $ ./start-pentaho.sh
Abrimos un navegador, por ejemplo firefox y colocamos:
http://localhost:8080/pentaho
Si todo va bien deberiamos ver la siguiente pantalla
Podemos ingresar con los usuarios definidos por defecto, como ser joe/password, y verificar el funcionamiento de pentaho revisando algunos de los ejemplo que trae implementados (algunos contienen errores, que seran corregidos mas adelante en éste documento)
Si algo no funciono correctamente, podemos verificar los logs del sistema situados en:
- /local/pentaho/biserver-ce/tomcat/logs/
Configurar Pentaho para utilizar con MySQL
El servidor de Pentaho BI utiliza por defecto la base de datos HSQLDB. Esta base de datos se crea y se carga en memoria cada vez que se inicia el servidor pentaho.
La idea es cambiar al motor MySQL, para darle mas potencia y generar así un ambiente de producción, ya que el anterior (HSQLDB) es eficiente solo a los efectos de una demostración del producto.
Debemos realizar las siguientes tareas:
- Crear dos bases de datos, hibernate and quartz. La primera utilizada para configuracion y la segunda para procesos internos (scheduling).
- Crear otra base de datos, sampledata, para contener los datos de la demo de la empresa SteelWheels.
- Crear una base de datos para un ejemplo mas complejo, que viene en mondrian: foodmart
- Crear una base de datos vacía para desarrolladores: loading_area
- y por último crear una base de datos llamada datamart para reportes
que serán descriptas mas adelante
Ahora vamos a modificar la configuracion de pentaho (7 archvivos), para poder indicarle que utilice MySQL en vez de HSQLDB. Estos pasos son por un lado simple, pero por el otro tediosos y nos va a llevar un par de horas ponerlo en funcionamiento.
Vamos a necesitar:
- Una base de datos MySQL, con acceso de administrador
- Comandos de SQL para crear las bases de datos y cargar su contenido, que los podemos obtener de SteelWheels & MySQL y de Foodmart
- Driver JDBC de MySQL, que lo podemos obtener de MySQL
Los pasos a realizar son:
- Crear las bases de datos
- Cargar las bases de datos de ejemplos
- Configurar usuarios y permisos
- Modificar las conexiones pentaho hacia MySQL (hibernate y quartz)
- Redireccionar hibernate hacia MySQL
- Configurar spring-security para MySQL
- Modificar la lista de drivers a utilizar para cada conexion jndi
- Instalar el driver JDBC en tomcat
- Editar configuración para deshabilitar HSQLDB
- Configurar los datasources con la Pentaho Administration Console (PAC)
- Probar el sistema
Crear las bases de datos
Conectarse a la base de datos y crear dos bases de datos
$ mysql -u root -p Enter password: (Ingresar la contraseña del administrador de mysql) ... ... mysql> create database loading_area; Query OK, 1 row affected (0.07 sec) mysql> create database datamart; Query OK, 1 row affected (0.07 sec)
Cargar las bases de datos de ejemplos
Sin salir de la conexion anterior al servidor mysql, ejecute los comando obtenidos en la descarga realizada anteriormente de los archivos:
- 1_create_repository_mysql.sql
- 2_create_quartz_mysql.sql
- 3_create_sample_datasource_mysql.sql
- 4_load_sample_users_mysql.sql
- 5_sampledata_mysql.sql
en el orden mostrado precedentemente
mysql> source 1_create_repository_mysql.sql; mysql> source 2_create_quartz_mysql.sql; mysql> source 3_create_sample_datasource_mysql.sql; mysql> source 4_load_sample_users_mysql.sql; mysql> source 5_sampledata_mysql.sql;
Configurar usuarios mysql y permisos
Crear un usuario lamado pentaho_user y otro pentaho_admin en mysql.
mysql> create user 'pentaho_user'@'%' identified by '************'; mysql> create user 'pentaho_admin'@'%' identified by '************';
y asignar permisos en las bases de datos datamart, foodmart, hibernate, quartz y sampledata.
mysql> GRANT SELECT, INSERT, UPDATE, DELETE ON datamart.* TO 'pentaho_user'@'%' IDENTIFIED BY '*************' WITH GRANT OPTION; mysql> GRANT SELECT, INSERT, UPDATE, DELETE ON foodmart.* TO 'pentaho_user'@'%' IDENTIFIED BY '*************' WITH GRANT OPTION; mysql> GRANT SELECT, INSERT, UPDATE ON hibernate.* TO 'pentaho_user'@'%' IDENTIFIED BY '*************' WITH GRANT OPTION; mysql> GRANT SELECT, INSERT, UPDATE ON quartz.* TO 'pentaho_user'@'%' IDENTIFIED BY '*************' WITH GRANT OPTION; mysql> GRANT SELECT, INSERT, UPDATE, DELETE ON sampledata* TO 'pentaho_user'@'%' IDENTIFIED BY '*************' WITH GRANT OPTION; mysql> flush privileges;
mysql> GRANT ALL PRIVILEGES ON datamart.* TO 'pentaho_admin'@'%' IDENTIFIED BY '*************' WITH GRANT OPTION; mysql> GRANT ALL PRIVILEGES ON foodmart.* TO 'pentaho_admin'@'%' IDENTIFIED BY '*************' WITH GRANT OPTION; mysql> GRANT ALL PRIVILEGES ON hibernate.* TO 'pentaho_admin'@'%' IDENTIFIED BY '*************' WITH GRANT OPTION; mysql> GRANT ALL PRIVILEGES ON quartz.* TO 'pentaho_admin'@'%' IDENTIFIED BY '*************' WITH GRANT OPTION; mysql> GRANT ALL PRIVILEGES ON sampledata* TO 'pentaho_admin'@'%' IDENTIFIED BY '*************' WITH GRANT OPTION; mysql> flush privileges;
Modificar las conexiones pentaho hacia MySQL
Lanzar un terminal y editar el archivo /local/pentaho/bi-server/tomcat/webapps/pentaho/META-INF/context.xml
$ vi /local/pentaho/bi-server/tomcat/webapps/pentaho/META-INF/context.xml
y dejarlo de la siguiente forma:
<?xml version="1.0" encoding="UTF-8"?> <Context path="/pentaho" docbase="webapps/pentaho/"> <Resource name="jdbc/Hibernate" auth="Container" type="javax.sql.DataSource" factory="org.apache.commons.dbcp.BasicDataSourceFactory" maxActive="20" maxIdle="5" maxWait="10000" username="hibuser" password="password" driverClassName="com.mysql.jdbc.Driver" url="jdbc:mysql://localhost:3306/hibernate" validationQuery="select 1" /> <Resource name="jdbc/Quartz" auth="Container" type="javax.sql.DataSource" factory="org.apache.commons.dbcp.BasicDataSourceFactory" maxActive="20" maxIdle="5" maxWait="10000" username="pentaho_user" password="password" driverClassName="com.mysql.jdbc.Driver" url="jdbc:mysql://localhost:3306/quartz" validationQuery="select 1"/> </Context>
en negrita se colocan los parametros que se modifican.
Nota: Consultar Manual del vi
Redireccionar hibernate hacia MySQL
Ahora, editar el archivo /local/pentaho/bi-server/pentaho-solutions/system/hibernate/hibernate-settings.xml con
$ vi /local/pentaho/bi-server/pentaho-solutions/system/hibernate/hibernate-settings.xml
y cambie lo siguiente:
<config-file>system/hibernate/mysql5.hibernate.cfg.xml</config-file>
dentro de la misma carpeta editar el archivo mysql5.hibernate.cfg.xml y verificar su contenido sea el que se presenta mas abajo
<property name="connection.driver_class">com.mysql.jdbc.Driver</property> <property name="connection.url">jdbc:mysql://localhost:3306/hibernate</property> <property name="dialect">org.hibernate.dialect.MySQL5InnoDBDialect</property> <property name="connection.username">hibuser</property> <property name="connection.password">password</property> <property name="connection.pool_size">10</property> <property name="show_sql">false</property> <property name="hibernate.jdbc.use_streams_for_binary">true</property>
Configurar spring-security para MySQL
Editar el archivo /local/pentaho/biserver-ce/Pentaho-solutions/system/applicationContext-spring-security-hibernate.properties y cambiarlo por:
jdbc.driver=com.mysql.jdbc.Driver jdbc.url=jdbc:mysql://localhost:3306/hibernate jdbc.username=hibuser jdbc.password=password hibernate.dialect=org.hibernate.dialect.MySQL5Dialect
guardar el archivo y editar applicationContext-spring-security-jdbc.xml en la misma carpeta y cambiar lo siguiente
<bean id="dataSource" class="org.springframework.jdbc.datasource.DriverManagerDataSource"> <property name="driverClassName" value="com.mysql.jdbc.Driver" /> <property name="url" value="jdbc:mysql://localhost:3306/hibernate" /> <property name="username" value="hibuser" /> <property name="password" value="password" /> </bean>
Modificar la lista de drivers a utilizar para cada conexion jndi
Editar el archivo /local/pentaho/biserver-ce/pentaho-solutions/system/simple-jndi/jdbc.properties y cambiarlo a:
SampleData/type=javax.sql.DataSource SampleData/driver=com.mysql.jdbc.Driver SampleData/url=jdbc:mysql://localhost:3306/sampledata SampleData/user=pentaho_user SampleData/password=password Hibernate/type=javax.sql.DataSource Hibernate/driver=com.mysql.jdbc.Driver Hibernate/url=jdbc:mysql://localhost:3306/hibernate Hibernate/user=hibuser Hibernate/password=password Quartz/type=javax.sql.DataSource Quartz/driver=com.mysql.jdbc.Driver Quartz/url=jdbc:mysql://localhost:3306/quartz Quartz/user=pentaho_user Quartz/password=password SampleDataAdmin/type=javax.sql.DataSource SampleDataAdmin/driver=com.mysql.jdbc.Driver SampleDataAdmin/url=jdbc:mysql://localhost:3306/sampledata SampleDataAdmin/user=pentaho_admin SampleDataAdmin/password=password
para los nuevos datasources, agregar al final de l archivo:
FoodMart/type=javax.sql.DataSource FoodMart/driver=com.mysql.jdbc.Driver FoodMart/url=jdbc:mysql://localhost:3306/foodmart FoodMart/user=pentaho_user FoodMart/password=password LoadingArea/type=javax.sql.DataSource LoadingArea/driver=com.mysql.jdbc.Driver LoadingArea/url=jdbc:mysql://localhost:3306/loading_area LoadingArea/user=pentaho_user LoadingArea/password=password Datamart/type=javax.sql.DataSource Datamart/driver=com.mysql.jdbc.Driver Datamart/url=jdbc:mysql://localhost:3306/datamart Datamart/user=pentaho_user Datamart/password=password
Se pueden eliminar la 5 lineas de shark, ya que no se utilizaran mas en Pentaho
Instalar el driver JDBC en tomcat
Instalar el driver descargado en la carpeta /local/pentaho/biserver-ce/tomcat/lib/
Debe reiniciar el servidor tomcat y es quye ya estaba corriendo.
Editar configuración para deshabilitar HSQLDB
Para evitar el inicio de HSQLDB, se debe editar el archivo /local/pentaho/biserver-ce/tomcat/webapps/pentaho/WEB-INF/web.xml
$ vi /local/pentaho/biserver-ce/tomcat/webapps/pentaho/WEB-INF/web.xml
Este archivo debe ser modificado cuidadosamente, ya que posee un gran cantidad de parametros y realizar algo erroneo podria hacer que el servidor no funcione correctamente.
Localizar la linea 87 (o cercana) del archivo y comentar o borrar las lineas que tienen el siguiente contenido:
<!-- [BEGIN HSQLDB DATABASES] <context-param> <param-name>hsqldb-databases</param-name> <param-value>sampledata@../../data/hsqldb/sampledata,hibernate@../../data/hsqldb/hibernate,quartz@../../data/hsqldb/quartz</param-value> </context-param> [END HSQLDB DATABASES] -->
y en la linea 215 (o cercana) del mismo archivo, comentar o eliminar el siguiente contenido:
<!-- [BEGIN HSQLDB STARTER] <listener> <listener-class>org.pentaho.platform.web.http.context.HsqldbStartupListener</listener-class> </listener> [END HSQLDB STARTER] -->
Editar el archivo /local/pentaho/biserver-ce/tomcat/conf/Catalina/localhost/pentaho.xml y editarlo en forma similar el context.xml del apartado 4.
Configurar los datasources con la Pentaho Administration Console
Ir a la carpeta /local/pentaho/administrator-console y ejecutar:
$ ./start-pac.sh
Luego lance en navegador (firefox, chrome, etc) y coloque:
http://localhost:8099
e ingrese con usuario y contraseña (admin/password)
Click en Administration y selecciones Database Connections.
Click en el signo mas (+) para agregar nuevos datasource y agregar estos tres
Nombre | Driver | URL |
FoodMart | com.mysql.jdbc.Driver | jdbc:mysql://localhost:3306/foodmart |
Datamart | com.mysql.jdbc.Driver | jdbc:mysql://localhost:3306/datamart |
LoadingArea | com.mysql.jdbc.Driver | jdbc:mysql://localhost:3306/loading_area |
En la configuración avanzada podemos poner: maxactcon=20, idleconn=5, wait=1000, query=SELECT 1
Salir del brownser y apagar el PAC
$ ./stop-pac.sh
Probar el sistema
Si todo fue bien, procedemos a arrancar el servidor pentaho desde la carpeta /loca/pentaho/biserver-ce con el comando
$ ./start-pentaho.sh
Abrimos un navegador de internet y colocamos
http://localhost:8080/pentaho
Alli podemos probar algunos ejemplos de SteelWheel. Algunos de ellos tiene fallas que corregimos con las siguientes modificaciones:
Editar todos los xaction de la carpeta /local/pentaho/biserver-ce/pentaho-solutions/bi-developers/chartbeans
$ vi /local/pentaho/biserver-ce/pentaho-solutions/bi-developers/chartbeans/*.xaction
y reemplazar las apariciones de INTEGER por UNSIGNED.
Admas en el archivo chartbeans_scatter.xaction reemplazar DEPT por DEPARTMENT
Tambien hay que modificar el archivo /local/pentaho/biserver-ce/pentaho-solutions/steel-wheels/charts/pentahoxml_picker.xaction y cambiar INTEGER por UNSIGNED
Como OpenFlash no funciona en la CE (Community Edition), debemos cambiarlo por JFree. Para ello en el archivo /local/pentaho/biserver-ce/pentaho-solutions/bi-developers/charts/chartbeans_dialchart.xml
cambiar: <chartModel chartEngine="OpenFlashChart" por: <chartModel chartEngine="JFreeChart"
para terminar la ejecucion del servidor ponemos
$ ./stop-pentaho.sh
Agregar y mantener usuarios y permisos
Instalar el Plug-in Saiku
Customizar el server de produccion
Instalar Pentaho Data Integration
Instalar Pentaho Design Studio
Instalar Mondrian Schema Workbench
Instalar Pentaho Metadata Editor
Instalar Report Designer
Instalar el Dashboard Editor
Instalar Pentaho/Mondrian Aggregation Designer
Herramientas adicionales
Instalar Weka
Historial de Cambios
Revisión | Autor | Fecha | Descripción |
1 | Alberto Julio Yualé | 27 de abril de 2012 | Creación de documento |