BLOG IT

                                                                    Hace ya tiempo hice un   post , sobre los  Data Model , pero me deje una cosa en el tintero, y creo que viene perfecto para poder hacer un post, y explicar uno de los grandes beneficios de los Data Model , la  normalización . Creo que es uno de los puntos clave cuando nos encontramos un entorno con varias fuentes, por ejemplo dos fabricantes distintos de  firewall  (F1 y F2 en este caso) y nuestro  LDAP , nos podemos encontrar diferentes campos con el mismo significado pero diferente nombre, por ejemplo, puede que el campo usuario se llame  user_name  en el F1  user_n  en el F2 y en el LDAP sea  account_name . Todo esto Splunk lo tiene más que pensado, y para ello dispone de una App llamada  CIM , la cual dispone de una estructura de campos bastante grande, donde podemos apoyarnos para esta  normalización , además dispone de una  documentación  bastante completa, donde nos muestra el nombr

Unos de los momentos críticos y que deben ser planificados son las actualizaciones de versión. Hace unos días Splunk liberó la versión 7.3, la cual trae bastantes novedades, aunque en este post no voy a explicar estas novedades, sino algunas cosas que debemos tener en cuenta antes de actualizar. La idea de este post me vino a la cabeza después de leer este articulo del blog de Splunk, desde luego esta bien pasarse de forma regular a ojear los post. En este post explican algunas de las mejores practicas, como leerse primero siempre los siguientes enlaces: Leer las novedades y cambios en la versión, aqui   Crear un plan detallado de la migración, identificando los componentes, aquí un ejemplo muy bueno, aqui me gustaria destacar dos puntos Backup, backup, backup, esto nunca sobra, Splunk tiene sus particularidades, ya lo explicaré en un futuro post Entorno de pre-producción, no siempre es posible, pero cuanto mas compleja sea nuestra arquitectura más necesario es Revis

Siempre que realizamos una implementación de Splunk , u otro producto, una de las cosas que debemos cuidar es el tuning y aplicar las mejores practicas recomendadas por el fabricante. A continuación os pongo unas configuraciones básicas que siempre realizo al desplegar/montar un sistema Splunk Ulimits https://answers.splunk.com/answers/13313/how-to-tune-ulimit-on-my-server.html https://docs.splunk.com/Documentation/Splunk/7.2.6/Troubleshooting/ulimitErrors HTTP thread https://docs.splunk.com/Documentation/Splunk/7.2.6/Troubleshooting/HTTPthreadlimitissues Transparent huge memory https://docs.splunk.com/Documentation/Splunk/7.2.6/ReleaseNotes/SplunkandTHP Aquí se explican algunas consideraciones básicas

Uno de los puntos mas importante en despliegues de Splunk , y algo que debería ser una costumbre en todos los primeros pasos de despliegues, es la instalación y configuración de certificados. En toda instalación de Splunk, podríamos distinguir tres puntos donde instalar certificados: Web: He llamado así al certificado que publicaremos para acceso de nuestros usuarios, es decir, para que la información entre el navegadores de los usuarios y nuestro SH este cifrada. Este certificado lo configuramos en nuestro web.conf y server.conf . Aquí os dejo unos enlaces donde explica como hacerlo: https://docs.splunk.com/Documentation/Splunk/7.2.6/Security/AboutsecuringauthenticationtoSplunkWeb https://answers.splunk.com/answers/506572/installing-a-ssl-certificate-in-splunk.html Envío de datos al IDX : Por defecto, al información que mandamos a nuestro indexador no va cifrada, para ello tenemos que habilitar en nuestros forwarder y Searh Head que este envío se haga de forma cifrada,

Cada día son mas los servicios delegados en la nube, uno de estos puede ser nuestro Directorio Activo , el cual a efectos de conectividad, no funciona de la misma forma, si lo queremos conectar con nuestro Qlik Sense para que los usuarios se logen, por ejemplo con su cuenta de correo. En el siguiente enlace se explica de forma bastante detallada los pasos a seguir, algunas de las consideraciones que debemos tener en cuenta antes de empezar: Equipo de AD , para crearnos los XML, dar de alta la App... Equipo seguridad, para dar de alta las nuevas reglas, en caso de ser necesarias, ya que tendremos que crear un nuevo Virtual Proxy , y puede darse el caso de tener que dar de alta DNS, abrir puertos... Administrador de Qlik Sense (nosotros), para poder realizar todas las configuraciones en Qlik Sense Espero que os sea de ayuda

Uno de los mayores problemas que me encontré al comenzar a trabajar con Qlik , es que por defecto, no tenia posibilidad de enviar informes por email o peor aun, enviar notificaciones de errores (problemas en la descarga de ficheros, errores de cambios de campos...) Para esto era necesario comprar otro producto, llamado Nprinting . Nprinting  permite crear informes muy chulos y enviarlos por correo, dejarlo en una ubicación de red... Pero yo no necesitaba enviar informes por email, lo que yo necesitaba es que me enviara un correo cuando una carga fallase, y para eso, puede resultar difícil justificar la compra de otro producto, así que me puse a investigar. Después de buscar, encontré este ejemplo en  github que me venia perfecto. En este ejemplo se basan en usar un conector de Qlik , el cual hace de pasarela con nuestro servidor de correo y envía el correo. El resumen de los pasos seria: Descargar el conector (actualmente se encuentra en la versión November 2018 y funcio

Uno de los mayores problemas que nos podemos encontrar para hacer pruebas de tiempo real o demos, es la falta de alguna fuente que nos provea de estos eventos. Splunk ya pensó en esto hace tiempo, y tiene una App , la cual nos genera estos eventos en tiempo real, con la que podemos hacer infinidad de pruebas, o incluso podemos llevar a una demo. En este enlace se nos explica con detalle todo el detalle de instalación, configuración...

Los " Data Model " de Splunk   nos pueden servir de gran ayuda en muchos proyectos, en el caso de tener un gran cantidad de registros (miles de millones). Aunque esta es una novedad introducida hace tiempo, aún existen despliegues donde no se usan, es bastante habitual verlo en las App de seguridad, como por ejemplo Palo Alto Algunas de las ventajas de disponer de nuestro Data Model Nos permite crear modelos de datos acelerados, podemos elegir por ejemplo disponer de los últimos 30 días acelerados. Además, poder crear campos ad hoc, crear extracciones, enriquecer la información con lookups..., y todo esto mantenerlo en un modelo aparte a los datos raw. Con esta información enriquecida, podemos usar los Pivot , estos nos permite dar acceso a usuarios a construirse sus propios informes, de una manera muy sencilla y visual, sin tener que conocer SPL, aquí os dejo un par de links Doc oficial   Video De esta manera podemos conseguir acceder a nuestra información d

No solo de Splunk vive el hombre! Otra de las herramientas con las que llevo bastante tiempo trabajando es Qlik Sense , una de las herramientas TOP dentro del mundo BI. Aunque la parte de visualización es muy potente, y a los usuarios finales les suele gustar mucho, para mi sin duda, su punto estrella es su posibilidad de ejercer de ETL, y la parte del script de carga, donde podemos programar recargas y hacer transformaciones de datos para luego presentárselas forma impecable al usuario. Pero bueno, vamos al grano, hace unos días me encontré con una problemática en un proyecto de Qlik Sense . Tenia que descargarme de varias web unos JSON para realizar unos dashboards, en principio la cosa no parecía muy complicada, salvo por la complejidad de como trata Qlik la descarga de los JSON, y la estructura que le da a estos, ademas estas descargas tenían que ser exactamente iguales, pero cambiando los credenciales, ya que en función del usuario, los datos eran diferentes, la verdad que en

El otro día encontré un articulo en el blog de Splunk titulado " Splunk Validated Architectures " el cual me pareció muy interesante, ya que explicaba los pasos a seguir a la hora de desplegar una arquitectura de Splunk , y las consideraciones que deberíamos de tomar a la hora de diseñar nuestra arquitectura... Una cosa ademas que me gusto mucho, fue el uso de códigos para definir el tipo de arquitectura por capa (SHC, single node...) os lo adjunto la URL .

Uno de los mayores problemas de Splunk es el control de versiones de una App o un dashboard , hablando siempre de la parte de presentación, ya que la parte de indexación apenas suele tener cambios. Esto se complica cuando ademas tenemos sobre una misma App a varias personas creando dashboards o reports. Splunk por desgracia no dispone de un sistema nativo de control de versiones. Hace unos meses, pusieron en Splunk base la siguiente App , la cual nos permite llevar un control de versiones, yo no la he podido probar aún, pero si alguno la probáis, podéis poner vuestros comentarios. Hace tiempo, cuando me encontré con este problema, después de buscar, encontré la  esta solución , esta muy bien si tenemos un Deployment Server, en caso de no disponer de uno, podemos intentar adaptarlo a nuestro entorno, desplegando directamente sobre el SH, o nuestro entorno StandAlone