jueves, 20 de junio de 2013
Controlando el Clúster de HDInsight (Hadoop) programáticamente y ahorrando costes: Con C# !!!
Después de varios posts en los que hemos estado hablando de HDInsight (Hadoop de Microsoft), aun a pesar de quedarnos pendientes muchos puntos sobre los que hablar, en esta ocasión me gustaría profundizar en la gestión automática de HDInsight.
La importancia de este tema radica principalmente en los siguientes puntos:
- El coste de HDInsight, que dependerá del tiempo que tendremos activas las máquinas de Windows Azure. Recordemos que los nodos necesarios para trabajar con el clúster de HDInsight son como mínimo 2 máquinas virtuales: Una como “Head Node” A4 [L] (8 x 1.6GHz CPU, 14GB RAM, 2,040GB Storage) y otra como “Compute Node” A3 [XL] (4 x 1.6GHz CPU, 7GB RAM, 1,000GB Storage).
- Ejecución temporal de Jobs
Teniendo en cuenta estos puntos podemos:
- Hacer un mayor aprovechamiento de HDInsight
- Conseguir una reducción de los costes o, incluso,
- Por el mismo coste, obtener una mayor velocidad de proceso, aprovisionando más máquinas durante el menor tiempo posible.
Los pasos para conseguirlo programáticamente con C#:
1) Crear un certificado e instalarlo en local con el fin de poder hacer el despliegue automático:
"C:\Program Files (x86)\Microsoft SDKs\Windows\v7.1A\Bin\makecert" -sky exchange -r -n "CN=WAHDInsight" -pe -a sha1 -len 2048 -ss My "WAHDInsight.cer"2) Crear un proyecto de tipo consola.
3) Añadir al proyecto las referencias “Microsoft .NET API For Windows Azure HDInsight Cluster Management” (versión actual: 0.8.4903.27316).
4) Incluir el siguiente código:
1: static void Main(string[] args)2: {3: // Get certificate4: var store = new X509Store();5: store.Open(OpenFlags.ReadOnly);6: var cert = store.Certificates.Cast<X509Certificate2>().First(7: item => item.Thumbprint.Equals(Subscription.Thumbprint, StringComparison.InvariantCultureIgnoreCase));8:9:10: // Create client object to connect to Azure11: var client = new ClusterProvisioningClient(Subscription.SubscriptionId, cert);12:13:14: // Specify details of the cluster to create15: var clusterInfo = new HDInsightClusterCreationDetails();16: clusterInfo.Name = Cluster.Name;17: clusterInfo.Location = Cluster.Location;18: clusterInfo.DefaultStorageAccountName = Subscription.StorageAccountName;19: clusterInfo.DefaultStorageAccountKey = Subscription.StorageAccountKey;20: clusterInfo.DefaultStorageContainer = Subscription.StorageContainer;21: clusterInfo.UserName = Subscription.UserName;22: clusterInfo.Password = Subscription.Password;23: clusterInfo.ClusterSizeInNodes = Cluster.Size;24:25: var cluster = client.CreateCluster(clusterInfo);26: Console.WriteLine("Created cluster: {0}", cluster.ConnectionUrl);27: }5) Crear un fichero de configuración “App.config” e incluir los siguientes parámetros:
1: <appSettings>2: <add key="SubscriptionId" value="###SUBSCRIPTION_ID###"/>3: <add key="Thumbprint" value="###CERTIFICATE_THUMBPRINT###"/>4:5: <add key="StorageAccountName" value="###AZURE_STORAGE_NAME###.blob.core.windows.net"/>6: <add key="StorageAccountKey" value="###AZURE_STORAGE_KEY###"/>7: <add key="StorageContainer" value="###AZURE_STORAGE_CONTAINER###"/>8:9: <add key="UserName" value="admin"/>10: <add key="Password" value="###PASSWORD_CLUSTER_HDINSIGHT###"/>11: </appSettings>6) Tras unos minutos, el Cluster estará creado y podremos trabajar con él tal y como hemos visto en post anteriores.
7) Finalizada las tareas a realizar con el Cluster, borramos el cluster para evitar el consumo innecesario de €€€ por tener activas las Maquinas virtuales que componen el Cluster.
Nota: Recordemos que se factura por hora de VM aunque estas no estén trabajando.
1: // Get certificate2: var store = new X509Store();3: store.Open(OpenFlags.ReadOnly);4: var cert = store.Certificates.Cast<;X509Certificate2>().First(5: item =>; item.Thumbprint.Equals(Subscription.Thumbprint, StringComparison.InvariantCultureIgnoreCase));6:7:8: // Create client object to connect to Azure9: var client = new ClusterProvisioningClient(Subscription.SubscriptionId, cert);10:11: // Remove cluster "mycluster"12: client.DeleteCluster(Cluster.Name);
Un ejemplo completo del código podéis encontrarlo aquí.
Después de esto, nadie puede decir que Windows Azure no es Auto-Scalable,
Continuaremos programando para HDInsight…
Saludos and happy HDInsight programming !
Juanlu, ElGuerre
Etiquetas: Hadoop, HDInsight, Windows Azure
martes, 18 de diciembre de 2012
Java + Eclipse & Apache Tomcat en Windows Azure. ¡Buceando de principio a fin…!
Cada día son más los clientes que me preguntan sobre cómo llevar sus aplicaciones Java a la Nube y, aunque conozco la teoría, me he querido enfrentar directamente al problema indagando en todo detalle para evitar así imprevistos de los que suelen surgir en el último momento. Además, creo que puede ayudarnos a estimar mejor y más claramente nuestro esfuerzo a la hora de comenzar una migración o un nuevo desarrollo en Windows Azure. De esta manera, el cliente, tendrá mucho más claro a que se enfrenta y cómo abordar este primer paso.
El tema no es para nada complicado, si bien es cierto, para los que pertenecemos al mundo Microsoft, puede resultar algo más “engorroso” de a lo que estamos acostumbrados. Es más, podemos llegar a desentendernos del tema por no tratarse de .NET y dejar al cliente sin su solución, sin embargo, se sigue tratando de una solución a un problema que Windows Azure si puede resolver y con bastante facilidad. ¡No debemos perder de vista este objetivo!
Aunque el IDE de Visual Studio .NET, proporciona grandes avances e infinidad de facilidades con respecto a cualquier otro IDE, para Java, Eclipse, está cogiendo carrera en esa misma dirección y, llega a hacer tan fácil la labor de desarrollo y despliegue en Windows Azure que no le tiene nada que envidiar.
¡Si aún no lo has intentado, esta es tu oportunidad y también el momento!
Veamos los pasos a seguir partiendo totalmente desde cero:
REQUISITOS PREVIOS Y PREPARACIÓN DEL ENTORNO DE DESARROLLO
1) Instalamos el SDK de Java desde aquí:
2) Instalamos Eclipse desde aquí u optamos directamente por “Eclipse IDE for Java EE Developers”.
3) Una vez instado Eclipse, instalamos el plugin para Windows Azure siguiendo los siguientes pasos e incluyendo este enlace: http://dl.msopentech.com/eclipse, en el campo “Work with:”
4) Una vez instalado el Plug-In chequeamos las actualizaciones para estar seguro de que tenemos la última:
5) A continuación instalamos “Apache Tomcat” desde aquí: http://tomcat.apache.org/download-70.cgi.
Importante: El instalable (.exe) para Windows no funciona. Después de tanto probar y Googlear en distintos foros Java, a este instalable le falta algo. En el último momento durante la ejecución siempre se produce el error: “Windows cannot find ‘startup.bat’. Make sure you typed the name correctly, and then try again”.
Así que, descargamos el (.ZIP) de 32bit o 64bits y lo descomprimimos por ejemplo en “C:\Program Files\Tomcat7\”
6) Establecemos y actualizamos las siguientes variables de entorno para asegurar que nuestro entorno Java funciona todo correctamente.
- Creamos estas dos:
- JAVA_HOME=C:\Program Files\Java\jdk1.7.0_09
- CATALINA_HOME=C:\Program Files\Tomcat 7.0
- Actualizamos esta otra (PATH), añadiendo los valores de acuerdo a las variables anteriores:
- PATH=<…>;%JAVA_HOME%\bin;%CATALINA_HOME%\bin
DESARROLLO
7) Desde Eclipse, creamos un proyecto “File > New > “Dinamic Web Project” con el nombre “MyJavaApp1” y pulsamos “Finish”
8) Añadimos un fichero JSP de prueba, “index.jsp” (a partir de la plantilla html), dentro de la carpeta “WebContent”:
9) Añadimos a este fichero, a modo de ejemplo, en el tag <body> la instrucción “<b><% out.println("My first Java application to run on Azure!"); %></b>”.
10) Probamos que nuestra aplicación funciona correctamente, pulsando sobre el icono de “play” () y siguiendo los siguientes pasos:
11) Creamos el proyecto de despliegue en Windows Azure. Aunque podemos hacerlos desde la opción de menú: “File > New > Windows Azure Deployment Project”, lo haremos más rápido haciendo “click derecho” sobre el proyecto Java “MyJavaApp1” y ”Windows Azure > Package for Windows Azure….” e introduciendo el nombre “MyJavaApp1Azure”. Seguidamente indicamos la información de nuestro JDK de Java y Servidor Tomcat y “Finish”.
12) Una vez tenemos nuestro desarrollo listo, aseguramos que nuestro servidor de Tomcat se ejecuta correctamente ejecutando nuestro proyecto web:
Nota: Si se produce el error: “Server Tomcat v7.0 Server at localhost was unable to start within 45 seconds. If the server requires more time, try increasing the timeout in the server editor.”, revisaremos que los puertos 8080 y 8009, no están siendo usados. Para ello podemos ejecutar el comando “netstat -n -f -a -o” desde la línea de comandos y obtener el PID del proceso que esté usando dicho puerto y a continuación actuar en consecuencia. Para esta prueba, “maté” el proceso que lo utilizaba sin más.
EJECUCIÓN EN EL EMULADOR LOCAL
13) Al fin, ejecutamos Eclipse. En este punto es necesario, sin duda, tener instalado el Emulador de Windows Azure que podemos descargar desde la página de descargas de Windows Azure (SDK Only), o directamente desde aquí.
DESPLIEGUE Y EJECUCIÓN EN WINDOWS AZURE
14) Desplegamos/Publicamos el proyecto directamente en Azure:
- En la barra de tareas de Azure seleccionamos: “Publish to Windows Azure Cloud”.
- “Download…”. Descargamos el fichero “.publishsettings” con la información de nuestra subscripción de Azure.”
- “Import…” Importamos el fichero descargado.
- “Next >”. Configuramos la venta de “Remote Desktop Settings”.
- “Publish” Esperamos a que finalice el despliegue. Recordemos que ANT, es la herramienta de empaquetado, configuración y preparación del entorno de despliegue, tanto en el Emulador como en el propio Azure.
Nota: ¡Aunque he dejado el password del certificado por defecto, Password1, las credenciales de conexión remota las he modificado a mi antojo!.
Tengamos en cuenta también, que la configuración anterior, puede ser modificada en cualquier momento, haciendo uso de las propiedades del proyecto de Azure (“MyJavaApp1Azure”):
Durante el despliegue puede ocurrir que no se llegue a realizar. ¿Por qué? Pues muy buena pregunta, porque al menos yo no he encontrado ningún fichero de log en el que mirar.
Si el error persiste, hacemos el despliegue manual (a partir de los ficheros “.cspkg” y “.cscfg” generados desde la opción “Build Cloud Package for Windows Azure”) desde el portal de Windows Azure, bien desde local o bien desde el storage, donde previamente habremos realizado la subida, por ejemplo con “Azure Storage Explorer”.
15) Esperamos a que finalice el proceso de subida de los ficheros al Storage de Azure y el despliegue, y tras ello, al acceder a la url “http://juanluelguerre.cloudapp.net/”, podremos ver como el Servidor Apache Tomcat ha sido instalado. Si a la misma añadimos la ruta de nuestra aplicación, “http://juanluelguerre.cloudapp.net/MyJavaApp1/index.jsp”, Voilá, tenemos nuestra aplicación Java ejecutándose en Azure !!!
16) Si accedemos al portal, podremos ver nuestras instancias en ejecución. Y, además, podremos conectarnos vía terminal server con cada una de ellas.
Por último, ¿Qué ocurre si el servidor Web en lugar de ser Tomcat es otro, ej.: Jetty, etc….? Aunque el automatismo no es exactamente igual, las posibilidades son las mismas. Aquí os dejo por el momento algunos enlaces relacionados con Jetty:
- http://blogs.msdn.com/b/windowsazure/archive/2010/04/14/run-java-with-jetty-in-windows-azure.aspx
- http://archive.msdn.microsoft.com/winazurejetty
Espero una vez más, haber despertado el interés y, por supuesto, que el post haya sido y sea de utilidad.
Saludos and Happy Azure from Java. FELIZ NAVIDAD A TOD@S
Juanlu
Etiquetas: Eclipse, Java, Tomcat, Windows Azure
miércoles, 7 de noviembre de 2012
Hadoop On Azure Mahout: Algoritmos de recomendación, Clasificaciones y Agrupaciones (Clustering)
Una vez que ya conocemos los conceptos y componentes principales de Hadoop según vimos en los posts anteriores:
Continuaremos probando más funcionalidad de y para Hadoop on Azure. En esta ocasíón Mahout.
“La verdad es que cuando la semana pasada me disponía a indagar sobre el tema de mahout, no me imaginaba que la Intenligencia Artifical estuviera tan cerca, durante la carrera pensaba que este tipo de algoritmos sólo eran teoría y estarían lejos de acercarse a una realidad, pero sinceramente, creo que me equivoqué”
¿Que es Mahout?
Mahout proviene del Hindi, mahaut, “montador de elefantes”, de ahí el logotipo. La labor de un Mahout es permanecer desde joven vinculado a un elefante también joven a fin de que tanto jinete como elefante se conozcan mutuamente a lo largo de toda la vida. ¡Se podría sacar de aquí una peli, seguro,jeje…! Técnicamente hablando, Apache Mahout,es una máquina de aprendizaje cuyo objetivo consiste en construir bibliotecas escalables de aprendizaje automático.
Los sistemas de recomendación son alguna de las aplicaciones de aprendizaje más conocida hoy día. Su objetivo es tratar de presentar al usuario items de información: películas, música, libros, noticias, páginas web, etc, sobre las que el usuario está interesado. Todo ello basado en su comportamiento previo. Estos algoritmos proporcionan una funcionalidad importante para muchos sitios de redes sociales , compras on-line, streaming, y otros sitios de Internet. Mahout ofrece un motor de recomendación out-of-the-box que es fácil de usar, tiene muchas características útiles, y es escalable en Hadoop. Algunas de las aplicaciones más conocidas que utilizan estos algoritmos, son Pandora Radio o Netflix o incluso la propia web de Amazon que ofrece/recomienda a sus clientes productos a partir de los ya comprados por otros.
A continuación veremos las técnicas que A continuación veremos las técnicas que por ahora nos ofrece Hadoop On Azure, es decir, Clasificación y Agrupación (Clustering).
1) Clasificación
Partamos del propio ejemplo que nos presenta Hadoop o directamente desde aquí. Este ejemplo esta basado 100% en el ejemplo del website de Mahout el cual consiste en:
“The 20 Newsgroups data set is a collection of approximately 20,000 newsgroup documents, partitioned (nearly) evenly across 20 different newsgroups. The 20 newsgroups collection has become a popular data set for experiments in text applications of machine learning techniques, such as text classification and text clustering. We will use Mahout Bayes Classifier to create a model that would classify a new document into one of the 20 newsgroup.”
Para ello tal y como nos dice el tutorial y desde el Head Node al que accedemos remotamente:
1) Descargamos del fichero de datos en la ruta ““C:\apps\dist\mahout-0.5\examples\bin\work”
2) Descomprimimos el fichero “.tar.gz” en la capeta: “C:\apps\dist\mahout-0.5\examples\bin\work\20news-bydate”
3) Ejecutamos el “.cmd” c:\apps\dist\mahout-0.5\examples\bin\build-20news-bayes.cmd”
Nota: Aunque esperamos que funcione, resulta que no es así, parece que se trata de algún error de configuración en los scripts de “Mahout” para Azure on Hadoop o, incluso de alguna incompatibilidad de versiones entre los comandos Mahout y Hadoop.
Para solucionar el problema modificamos el script “build-20news-bayes.cmd” sustituyendo la llamada al comando Mahout por la llamada directa a hadoop (realmente es lo que hace internamente el comando Mahout), es decir,
Sustituimos esto:
call mahout.cmd org.apache.mahout.classifier.bayes.preparetwentynewsgroups ^
-p %work_path%\20news-bydate-train ^
-o %work_path%\bayes-train-input ^
-a org.apache.mahout.vectorizer.defaultanalyzer ^
-c utf-8call mahout.cmd org.apache.mahout.classifier.bayes.preparetwentynewsgroups ^
-p %work_path%\20news-bydate-test ^
-o %work_path%\bayes-test-input ^
-a org.apache.mahout.vectorizer.defaultanalyzer ^
-c utf-8
por esto otro:
call %HADOOP_HOME%\bin\hadoop jar %MAHOUT_BIN_PATH%..\mahout-examples-0.5-job.jar ^
org.apache.mahout.driver.MahoutDriver ^
org.apache.mahout.classifier.bayes.PrepareTwentyNewsgroups ^
-p %WORK_PATH%20news-bydate-train ^
-o %WORK_PATH%bayes-train-input ^
-a org.apache.mahout.vectorizer.DefaultAnalyzer ^
-c UTF-8call %HADOOP_HOME%\bin\hadoop jar %MAHOUT_BIN_PATH%..\mahout-examples-0.5-job.jar ^
org.apache.mahout.driver.MahoutDriver ^
org.apache.mahout.classifier.bayes.PrepareTwentyNewsgroups ^
-p %WORK_PATH%20news-bydate-test ^
-o %WORK_PATH%bayes-test-input ^
-a org.apache.mahout.vectorizer.DefaultAnalyzer ^
-c UTF-8
De todas formas, os dejo el contenido completo del fichero “build-20news-bayes.cmd” con el problema solucionado.
@echo off
@rem
@rem Licensed to the Apache Software Foundation (ASF) under one or more@rem contributor license agreements. See the NOTICE file distributed with@rem this work for additional information regarding copyright ownership.@rem The ASF licenses this file to You under the Apache License, Version 2.0@rem (the "License"); you may not use this file except in compliance with
@rem the License. You may obtain a copy of the License at
@rem
@rem http://www.apache.org/licenses/LICENSE-2.0
@rem
@rem Unless required by applicable law or agreed to in writing, software
@rem distributed under the License is distributed on an "AS IS" BASIS,@rem WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
@rem See the License for the specific language governing permissions and@rem limitations under the License.
@rem
@rem
@rem Downloads the 20newsgroups dataset, trains and tests a bayes classifier.
@rem
@rem To run: change into the mahout directory and type:@rem examples/bin/build-20news.sh
setlocal enabledelayedexpansion
set SCRIPT_PATH=%~dp0
set MAHOUT_BIN_PATH=%SCRIPT_PATH%..\..\bin\
set WORK_PATH=%SCRIPT_PATH%work\20news-bydate\
set HDFS_WORK_PATH=examples/bin/work/20news-bydate/
if not exist %WORK_PATH% (mkdir %WORK_PATH%
)
if not exist %WORK_PATH%20news-bydate-train (goto :ErrorMessage
)
if not exist %WORK_PATH%20news-bydate-test (goto :ErrorMessage
)
pushd %MAHOUT_BIN_PATH%
REM call mahout.cmd org.apache.mahout.classifier.bayes.PrepareTwentyNewsgroups ^
REM -p %WORK_PATH%\20news-bydate-train ^
REM -o %WORK_PATH%\bayes-train-input ^
REM -a org.apache.mahout.vectorizer.DefaultAnalyzer ^
REM -c UTF-8
REM call mahout.cmd org.apache.mahout.classifier.bayes.PrepareTwentyNewsgroups ^
REM -p %WORK_PATH%\20news-bydate-test ^
REM -o %WORK_PATH%\bayes-test-input ^
REM -a org.apache.mahout.vectorizer.DefaultAnalyzer ^
REM -c UTF-8
call %HADOOP_HOME%\bin\hadoop jar %MAHOUT_BIN_PATH%..\mahout-examples-0.5-job.jar ^
org.apache.mahout.driver.MahoutDriver ^
org.apache.mahout.classifier.bayes.PrepareTwentyNewsgroups ^
-p %WORK_PATH%20news-bydate-train ^
-o %WORK_PATH%bayes-train-input ^
-a org.apache.mahout.vectorizer.DefaultAnalyzer ^
-c UTF-8
call %HADOOP_HOME%\bin\hadoop jar %MAHOUT_BIN_PATH%..\mahout-examples-0.5-job.jar ^
org.apache.mahout.driver.MahoutDriver ^
org.apache.mahout.classifier.bayes.PrepareTwentyNewsgroups ^
-p %WORK_PATH%20news-bydate-test ^
-o %WORK_PATH%bayes-test-input ^
-a org.apache.mahout.vectorizer.DefaultAnalyzer ^
-c UTF-8
@rem mapreduce test method used on hadoop
set TEST_METHOD="mapreduce"call hadoop.cmd dfs -rmr ^
%HDFS_WORK_PATH%bayes-train-input
call hadoop.cmd dfs -rmr ^
%HDFS_WORK_PATH%bayes-test-input
call hadoop.cmd dfs -put ^
%WORK_PATH%\bayes-train-input ^
%HDFS_WORK_PATH%bayes-train-input
call hadoop.cmd dfs -put ^
%WORK_PATH%\bayes-test-input ^
%HDFS_WORK_PATH%bayes-test-input
REM call mahout.cmd trainclassifier ^
REM -i %HDFS_WORK_PATH%bayes-train-input ^
REM -o %HDFS_WORK_PATH%bayes-model ^
REM -type bayes ^
REM -ng 1 ^
REM -source hdfs
REM call mahout.cmd testclassifier ^
REM -m %HDFS_WORK_PATH%bayes-model ^
REM -d %HDFS_WORK_PATH%bayes-test-input ^
REM -type bayes ^
REM -ng 1 ^
REM -source hdfs ^
REM -method %TEST_METHOD%
call %HADOOP_HOME%\bin\hadoop jar %MAHOUT_BIN_PATH%..\mahout-examples-0.5-job.jar ^
org.apache.mahout.driver.MahoutDriver ^
trainclassifier ^
-i %HDFS_WORK_PATH%bayes-train-input ^
-o %HDFS_WORK_PATH%bayes-model ^
-type bayes ^
-ng 1 ^
-source hdfs
call %HADOOP_HOME%\bin\hadoop jar %MAHOUT_BIN_PATH%..\mahout-examples-0.5-job.jar ^
org.apache.mahout.driver.MahoutDriver ^
testclassifier ^
-m %HDFS_WORK_PATH%bayes-model ^
-d %HDFS_WORK_PATH%bayes-test-input ^
-type bayes ^
-ng 1 ^
-source hdfs ^
-method %TEST_METHOD%
popd
goto :eof
:ErrorMessage
echo Please download 20news-bydate.tar.gz from:
echo http://people.csail.mit.edu/jrennie/20Newsgroups/20news-bydate.tar.gz
echo and extract it under:
echo %WORK_PATH%
4) Solucionado el problema ahora si, el resultado esperado es la siguiente “Confusion Matrix”. Esta misma matriz puede verse en el ejemplo de partida de Apache Mohout que indicábamos antes.
En este ejemplo, puede verse como funciona una “Confusion Matrix” y un poco de teoría.
Adicionalmente, aquí tenemos otro ejemplo de clasificación (en este caso más concretamente, un ejemplo de algoritmo de recomendación).
2) Agrupación(Clustering)
Partimos nuevamente del propio ejemplo que nos presenta Hadoop o directamente desde aquí. Este ejemplo esta basado 100% en el ejemplo del website de Mahout el cual consiste en:
“The example will demonstrate clustering of control charts which exhibits a time series. Control charts are tools used to determine whether or not a manufacturing or business process is in a state of statistical control. Such control charts are generated / simulated over equal time interval and available for use in UCI machine learning database. The data is described here .”
Para ello y como nos dice el tutorial:
1) Descargamos el fichero “http://archive.ics.uci.edu/ml/databases/synthetic_control/synthetic_control.data” y lo situamos en la carpeta “C:\apps\dist\mahout-0.5\examples\bin\work\clustering\”
2) Ejecutamos “C:\apps\dist\mahout-0.5\examples\bin\build-cluster-syntheticcontrol.cmd” y elegimos el tipo de “clustering”:
3) De la misma manera que para el ejemplo anterior, volvemos a tener problemas así que tenemos que hacer algunos ajustes:
Sustituyendo esto:
call mahout hadoop fs -rmr %HDFS_WORK_PATH%
call mahout hadoop fs -mkdir %HDFS_WORK_PATH%
call mahout hadoop fs -put %WORK_PATH%\synthetic_control.data %HDFS_WORK_PATH%
call mahout org.apache.mahout.clustering.syntheticcontrol.%_clustertype%.Job
Por esto otro:
call %HADOOP_HOME%\bin\hadoop jar %MAHOUT_BIN_PATH%..\mahout-examples-0.5-job.jar org.apache.mahout.driver.MahoutDriver ^
hadoop fs -rmr %HDFS_WORK_PATH%
call %HADOOP_HOME%\bin\hadoop jar %MAHOUT_BIN_PATH%..\mahout-examples-0.5-job.jar org.apache.mahout.driver.MahoutDriver ^
hadoop fs -mkdir %HDFS_WORK_PATH%
call %HADOOP_HOME%\bin\hadoop jar %MAHOUT_BIN_PATH%..\mahout-examples-0.5-job.jar org.apache.mahout.driver.MahoutDriver ^
hadoop fs -put %WORK_PATH%\synthetic_control.data %HDFS_WORK_PATH%
call %HADOOP_HOME%\bin\hadoop jar %MAHOUT_BIN_PATH%..\mahout-examples-0.5-job.jar org.apache.mahout.driver.MahoutDriver ^
org.apache.mahout.clustering.syntheticcontrol.%_clustertype%.Job
Nuevamente, aquí dejo el fichero “build-cluster-syntheticcontrol.cmd” con el problema ya solucionado.
@echo off
@rem
@rem Licensed to the Apache Software Foundation (ASF) under one or more@rem contributor license agreements. See the NOTICE file distributed with@rem this work for additional information regarding copyright ownership.@rem The ASF licenses this file to You under the Apache License, Version 2.0@rem (the "License"); you may not use this file except in compliance with
@rem the License. You may obtain a copy of the License at
@rem
@rem http://www.apache.org/licenses/LICENSE-2.0
@rem
@rem Unless required by applicable law or agreed to in writing, software
@rem distributed under the License is distributed on an "AS IS" BASIS,@rem WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
@rem See the License for the specific language governing permissions and@rem limitations under the License.
@rem
@rem
@rem Downloads the Synthetic control dataset and prepares it for clustering@rem
@rem To run: change into the mahout directory and type:@rem examples/bin/cluster-syntheticcontrol.sh
setlocal enabledelayedexpansion
set SCRIPT_PATH=%~dp0
set MAHOUT_BIN_PATH=%SCRIPT_PATH%..\..\bin\
set WORK_PATH=%SCRIPT_PATH%work\clustering\
set HDFS_WORK_PATH=testdata
if not exist %WORK_PATH% (mkdir %WORK_PATH%
)
if not exist %WORK_PATH%synthetic_control.data (echo Please downloading Synthetic control data from:
echo http://archive.ics.uci.edu/ml/databases/synthetic_control/synthetic_control.data
echo and put it under:
echo %WORK_PATH%synthetic_control.data
goto :end
)
:main
echo "Please select a number to choose the corresponding clustering algorithm"echo "1. canopy clustering"echo "2. kmeans clustering"echo "3. fuzzykmeans clustering"echo "4. dirichlet clustering"echo "5. meanshift clustering"set /p _choice="Enter your choice:"@rem set _algorithms=canopy kmeans fuzzykmeans dirichlet meanshift
if [%_choice%] == [1] (set _clustertype=canopy
) else ( if [%_choice%] == [2] (set _clustertype=kmeans
) else ( if [%_choice%] == [3] (set _clustertype=fuzzykmeans
) else ( if [%_choice%] == [4] (set _clustertype=dirichlet
) else ( if [%_choice%] == [5] (set _clustertype=meanshift
) else ( echo "Invalid choice %_choice%. Please try again"goto :end
)))))
echo "ok. You chose %_choice% and we'll use %_clustertype% Clustering"pushd %MAHOUT_BIN_PATH%
echo "DFS is healthy... "echo "Uploading Synthetic control data to HDFS"@REM call mahout hadoop fs -rmr %HDFS_WORK_PATH%
@REM call mahout hadoop fs -mkdir %HDFS_WORK_PATH%
@REM call mahout hadoop fs -put %WORK_PATH%\synthetic_control.data %HDFS_WORK_PATH%
call %HADOOP_HOME%\bin\hadoop jar %MAHOUT_BIN_PATH%..\mahout-examples-0.5-job.jar org.apache.mahout.driver.MahoutDriver ^
hadoop fs -rmr %HDFS_WORK_PATH%
call %HADOOP_HOME%\bin\hadoop jar %MAHOUT_BIN_PATH%..\mahout-examples-0.5-job.jar org.apache.mahout.driver.MahoutDriver ^
hadoop fs -mkdir %HDFS_WORK_PATH%
call %HADOOP_HOME%\bin\hadoop jar %MAHOUT_BIN_PATH%..\mahout-examples-0.5-job.jar org.apache.mahout.driver.MahoutDriver ^
hadoop fs -put %WORK_PATH%\synthetic_control.data %HDFS_WORK_PATH%
echo "Successfully Uploaded Synthetic control data to HDFS "@REM call mahout org.apache.mahout.clustering.syntheticcontrol.%_clustertype%.Job
call %HADOOP_HOME%\bin\hadoop jar %MAHOUT_BIN_PATH%..\mahout-examples-0.5-job.jar org.apache.mahout.driver.MahoutDriver ^
org.apache.mahout.clustering.syntheticcontrol.%_clustertype%.Job
:end
popd
4) Una vez que hemos lanzado este script, ejecutamos los dos siguientes para la comprobación y obtención de resultados:
Para verificar que el resultado se encuentra en HDFS, ejecutamos:
- “hadoop fs -lsr output”, o,
- “#ls output”, desde la consola interactiva de Java Script.
Para descargar el resultado desde HDFS en un directorio local del Head Node del cluster de Hadoop:
- “hadoop fs -get output C:\apps\dist\mahout-0.5\examples\bin\work\clustering”
- Veremos que la ruta “C:\Apps\dist\mahout-0.5\examples\bin\work\clustering” contiene la carpeta “output” como resultado del comando anterior.
5) A continuación, analizaremos los datos obtenidos utilizando el parámetro de Mahout “clusterdump”.
- Creamos un nuevo script:
@echo off
setlocal enabledelayedexpansion
set SCRIPT_PATH=%~dp0
set MAHOUT_BIN_PATH=%SCRIPT_PATH%..\..\bin\
set MAHOUT_HOME=%MAHOUT_BIN_PATH%..\
pushd %MAHOUT_BIN_PATH%
call %HADOOP_HOME%\bin\hadoop jar %MAHOUT_BIN_PATH%..\mahout-examples-0.5-job.jar ^
org.apache.mahout.driver.MahoutDriver ^
clusterdump ^
--seqFileDir output/clusters-0 ^
--pointsDir output/clusteredPoints ^
--output clusteranalyze.txt
popd
Nota: En vista de que el resultado esperado para este ejemplo no es satisfactorio, puesto que no obtendremos resultados, en este enlace podemos ver un análisis de los resultados de manera genérica así como el contenido del fichero de salida, “clusteranalyze.txt”. Este fichero lo encontraremos en la carpeta “C:\apps\dist\mahout-0.5\bin\” una vez hayamos ejecutado este último script.
Adicionalmente, de las 5 opciones que presenta este último ejemplo sólo la primera y las dos últimas funcionan, el resto producen errores y como ya hemos comentado, es posible que sea debido a las incompatibilidades para las versiones actuales entre Hadoop y Mahout. Siempre que ocurran estos problemas podemos intentar solucionarlo descargando y actualizando sus nuevas versiones: Hadoop y Mahout.
Importante: Si optamos por actualizar las versiones, tengamos en cuenta lo siguiente:
- Es posible que las nuevas versiones no contengan los mismo ejemplos.
- Los script (.cmd) adaptados a Windows, tendremos que generarlos manualmente a partir de los “.sh” de Linux/unix que se distribuyen con la versión original de apache. Por ejemplo, para mahout descargaremos la nueva versión, mahot-distribution-0.7, y la renombraremos por “mahout-0.7” ubicándola en “C:\apps\dist\” al mismo nivel que “mahout-0.5”, así podremos intentar reutilizar los script (.cmd) de la versión anteriores.
- A partir de aquí, toca probar y cruzar los dedos, por eso, no recomiendo esto a menos que los cambios a realizar fueran mínimos. Esperemos a que Microsft vaya realizando y adaptando las versiones adecuadamente.
Aunque estos algoritmos y ejemplos están cambiando constantemente y Hadoop aun está en “Preview”, espero haber aclarado incógnitas sobre este nuevo mundo de la Inteligencia Artificial con Mahout… !
Saludos y feliz “cacharreo” con Mahout…
Juanlu,ElGuerre
Etiquetas: Hadoop, Mahout, Windows Azure