Introduzindo: Log Parser Studio

Artigo original publicado na quinta-feira, 08 de março de 2012

• Download

Qualquer pessoa que use regularmente o Log Parser 2.2 sabe o quanto útil e poderoso pode ser para obter informações valiosas do IIS (Servidor de Informação de Internet) e outros logs. Além disso, adicionar o poder do SQL permite a pesquisa explícita de gigabytes of logs retornando apenas os dados necessários enquanto filtra o ruído. A única coisa faltando é uma ótima interface do usuário gráfico (GUI) para funcionar como um front-end para o Analisador de Log e uma “Biblioteca de Consulta” para gerenciar todas as ótimas consultas e scripts que são acumulados com o tempo.

O Log Parser Studio foi criado para suprir esta necessidade; permitindo àqueles que usam o Log Parser 2.2 (e ainda aqueles que não porque não tem uma interface) trabalharem mais rápido e eficiente para obter os dados que precisam com menos “manuseio” de scripts e pastas completas de consultas.

Com o Log Parser Studio (LPS abreviado) podemos armazenar todas as nossas consultas em um local central. Podemos editar e criar novas consultas no “Editor de Consultas” e salvá-las para uso posterior. Podemos pesquisar consultas usando a pesquisa de texto livro e também exportar e importar bibliotecas e consultas em diferentes formados, permitindo uma colaboração fácil e o armazenamento de vários tipos de bibliotecas separadas para diferentes protocolos.

Processando logs para protocolos do Exchange

Todos nós sabemos disso muito bem: o processamento de logs para diferentes protocolos do Exchange é uma tarefa demorada. Na ausência de ferramentas especiais, torna-se uma tarefa tediosa para um Administrador do Exchange passar por estes logs e processá-los usando o Analisador de Log (ou outra ferramenta), se o formato de saída é importante. Você também precisa de experiência na redação destas consultas SQL. Também é possível usar scripts especiais que podem ser encontrados na Web e analisar o resultado para tirar algum resultado naqueles logs compridos. O Log Parser Studio é principalmente projetado para processamento rápido e fácil de diferentes logs para protocolos do Exchange. Ao iniciar, você verá guias para diferentes protocolos do Exchange, isto é, Microsoft Exchange ActiveSync (MAS), Exchange Web Services (EWS), Outlook Web App (OWA/HTTP) e outros. Nestas guias existem dezenas de consultas SQL escrita para fins específicos (descrição e outros particulares de uma consulta também estão disponíveis na UI principal), que pode ser executada em apenas um clique!

Vamos falar dos detalhes de alguns recursos legais do Log Parser Studio …

Biblioteca de Consulta e Gerenciamento

No lançamento do LPS, a primeira coisa que você verá é a Biblioteca de Consulta pré-carregada com consultas. Este é o local onde gerenciamos todas as nossas consultas. A biblioteca está sempre disponível clicando na guia Biblioteca. É possível carregar uma consulta para revisar ou executar usando vários métodos. O método mais fácil é simplesmente selecionar a consulta na lista e clicar duas vezes. Após fazer isso, a consulta irá abrir automaticamente em sua própria guia Consulta. A Biblioteca de Consulta é base para consultas. Todas as consultas mantidas pelo LPS são armazenadas nesta biblioteca. Existem controles fáceis para localizar rapidamente as consultas desejadas e marque-as como favorito para acesso rápido posteriormente.

Recuperação de Biblioteca

A biblioteca inicial enviada com o LPS está embutida no aplicativo e é criada na instalação. Se você excluir, corromper ou perder a biblioteca, é possível redefinir facilmente de volta para o original usando o recurso de recuperação de biblioteca (Opções | Recuperação de Biblioteca). Ao recuperar a biblioteca todas as consultas existentes serão excluídas. Se você possui consultas personalizadas/modificadas que não deseja perder, você deve exportar e, após recuperar o conjunto padrão de consultas, poderá fundi-las de volta para o LPS.

Importar/Exportar

Dependendo da sua necessidade, toda a biblioteca ou subconjuntos da biblioteca podem ser importados e exportados como o formato XML LPS padrão ou como consultas do SQL. Por exemplo, se você possui uma pasta completa de consultas SQL do Analisador de Log, é possível importar algumas delas ou todas elas na biblioteca do LPS. Geralmente, a única coisa que você precisará fazer após a importação é alguns ajustes. Tudo que o LPS precisa é a consulta SQL base e para trocar as referências do nome de arquivo com ‘[LOGFILEPATH]’ e/ou ‘[OUTFILEPATH]’, conforme discutido em detalhe no manual em PDF incluído com a ferramenta (é possível acessar através de LPS | Ajuda | Documentação).

Consultas

Lembre-se que uma consulta estruturada bem escrita faz toda a diferença entre uma consulta de sucesso que retorna a informação exata que você precisa contra uma consulta inferior que exige do seu sistema, retorna muito mais informação do que você realmente precisa e, em alguns casos, interrompe o aplicativo.

A arte de criar uma ótima consulta SQL/Log Parser está fora do objetivo desta publicação, no entanto, todas as consultas incluídas com o LPS foram escritas para atingir os resultados mais exatos enquanto retorna poucos registros. Saber do que precisa e como obter isso com o menor número de linhas retornadas é fundamental!

Trabalhos em Lote e Multithreading

Você descobrirá que o LPS em combinação com o Log Parser 2.2 é uma ferramenta muito poderosa. No entanto, se tudo que você pode fazer é executar uma única consulta por vez e esperar pelos resultados, você provavelmente não faria tanto progresso quanto poderia. Em vez disso, o LPS contém trabalhos em lote e consultas multithreaded.

Um trabalho em lote é simplesmente um conjunto de consultas pré-definidas que podem ser executadas com a pressão de um único botão. Dentro do Gerenciador de Lote é possível remover qualquer consulta ou todas elas, assim como executá-las. É possível executá-las clicando no botão Executar várias consultas ou Executar no Gerenciador de Lote. Após a execução, o LPS irá preparar e executar cada consulta em lote. Por padrão, o LPS irá enviar TODAS as consultas para o Log Parser 2.2 assim que cada uma delas é preparada. É aqui que o multithreading trabalha em nosso favor. Por exemplo, se temos 50 consultas configuradas como um trabalho em lote e para executar o trabalho, teremos 50 threads no plano de fundo funcionando com o Analisador de Log simultaneamente, deixando o usuário livre para trabalhar em outras consultas. Conforme cada trabalho é concluído, os resultados são passados de volta para a grade ou para a saída CSV com base no tipo da consulta. Mesmo neste cenário, é possível continuar a trabalhar co outras consultas, pesquisa, modificações e execuções. Conforme cada consulta é concluída, seu thread é retirado e seus recursos liberados. Estes threads são gerenciados com muita eficiência no plano de fundo para que não haja problemas ao executar várias consultas de uma vez.

E se desejamos que as consultas em lote sejam executadas simultaneamente para melhor desempenho ou outros motivos? Esta funcionalidade já está embutida nas opções do LPS. Apenas faça uma mudança em LPS | Opções | Preferências marcando a caixa de seleção ‘Processar consultas em lote sequencialmente’. Quando marcada, a primeira consulta no lote é executada e a próxima consulta não será iniciada até que a primeira seja concluída. Este processo irá continuar até que a última consulta no lote tenha sido executada.

Automação

Em conjunto com os trabalhos em lote, a automação permite uma automação não programada dos trabalhos em lote. Por exemplo, podemos criar uma tarefa programada que irá executar automaticamente um determinado trabalho em lote que também opera em um conjunto separado de pastas personalizadas. Este processo exige dois componentes, um arquivo de lista da pasta (.FLD) e um arquivo de lista de lote (.XML). Podemos criá-los antecipadamente dentro do LPS. Para obter mais detalhes sobre como fazer isso, consulte o manual.

Gráficos

Muitas consultas que retornam dados para a Grade de Resultados podem ser colocadas em gráficos usando o recurso de gráfico embutido. Os requisitos básicos para os gráficos são os mesmos para o Log Parser 2.2, isto é,

1. A primeira coluna na grade pode ser de qualquer tipo de dado (cadeia de caracteres, número, etc.)
2. A segunda coluna deve ser algum tipo de número (inteiro, duplo, decimal), cadeias de caracteres não são permitidas

Mantenha os requisitos acima em mente ao criar suas próprias consultas para que você escreva com consciência uma consulta incluindo um número na coluna dois. Para gerar um gráfico, clique no botão gráfico após a consulta ter sido concluída. Para o número 2 acima, mesmo se você esquecer, é possível arrastar qualquer coluna numerada e soltá-la na segunda coluna. Desta forma, se você tiver várias colunas numeradas, basta arrastar aquela que lhe interessa na secunda coluna e gerar gráficos diferentes dos mesmos dados. Novamente, para obter mais detalhes sobre o recurso de gráfico, consulte o manual.

Atalhos do teclado/comandos

Existem vários atalhos do teclado embutidos no LPS. É possível exibir uma lista a qualquer momento em que estiver usando o LPS clicando em LPS | Ajuda | Atalhos do Teclado. Os atalhos incluídos atualmente são os seguintes:

Tipos de entrada e saída suportados

O Log Parser 2.2 possui a capacidade de consultar vários tipos de logs. Como o LPS é um trabalho em andamento, apenas os tipos mais usados estão disponíveis atualmente. Tipos de entrada e saída adicionais serão adicionados quando possível em próximas versões ou atualizações.

Tipos de entrada suportadas

Suporte completo para W3SVC/IIS, CSV, Erro HTTP e suporte básico para todos os formatos de entrada do Log Parser 2.2 embutidos. Além disso, alguns formatos LPS escritos personalizados como formatos específicos do Microsoft Exchange que não estão disponíveis com a instalação padrão do Log Parser 2.2.

Tipos de saída suportadas

CSV e TXT são os tipos de arquivo de saída suportados atualmente.

Log Parser Studio - Guia de Início Rápido

Deseja pular todos os detalhes e executar apenas algumas consultas agora? Comece aqui…

A primeira coisa que o Log Parser Studio precisa saber é onde estão os arquivos de log e o local padrão que você gostaria que qualquer consulta exporte seus resultados como arquivos CSV a serem salvos.

1. Configure seu caminho de saída CSV padrão:

a. Vá para LPS | Opções | Preferências | Caminho de Saída Padrão.

b. Pesquise e selecione a pasta que você gostaria de usar para os resultados exportados.

c. Clique em Aplicar.

d. Qualquer consulta que exporte arquivos CSV será salva nesta pasta.
NOTA: Se você esquecer deste caminho antes de iniciar, os arquivos CSV serão salvos em %AppData%\Microsoft\Log Parser Studio por padrão, mas é recomendado que você mova para outro local.

2. Diga ao LPS onde os arquivos de log estão abrindo o Gerenciador de Arquivos de Log. Se você tentar executar uma consulta antes de concluir esta etapa, o LPS irá solicitar para configurar o caminho do log. Após clicar em OK na janela, é aberto o Gerenciador de Arquivos de Log. Clique em Adicionar pasta para adicionar uma pasta ou Adicionar arquivo para adicionar um único ou vários arquivos. Quando adicionar uma pasta, você ainda deve selecionar pelo menos um arquivo para que o LPS saiba com qual tipo de log estamos trabalhando. Ao fazer isso, o LPS transformará automaticamente isto em um curinga (*.xxx) indicando que todos os logs correspondentes na pasta serão pesquisados.

É possível dizer facilmente quais pastas ou arquivos estão sendo pesquisados atualmente avaliando a barra de status no canto inferior direito do Log Parser Studio. Para ver o caminho completo, passe o mouse sobre a barra de status.

NOTA: O LPS e o Analisador de Log lidam com vários tipos de logs e objetos que podem ser consultados. É importante lembrar que o tipo de log que você está consultando deve corresponder com a consulta realizada. Em outras palavras, uma consulta que espera logs IIS, apenas logs IIS devem ser selecionados no Gerente de Consulta. Falha ao fazer isso (é fácil de esquecer) resultará em erros ou comportamento inesperado será retornado ao executar a consulta.

3. Escolha um consulta da biblioteca e execute-a:

a. Clique na guia Biblioteca se já não estiver selecionada.

b. Escolha uma consulta na lista e clique duas vezes nela. Isto abrirá a consulta em sua própria guia.

c. Clique no botão Executar consulta única para executar a consulta

A execução da consulta começara no plano de fundo. Quando a consulta for concluída, há duas metas de saída possíveis; a grade de resultados na metade superior de uma guia da consulta ou um arquivo CSV. Algumas consultas retornam para a grade enquanto outras consultas com maior memória são salvas no CSV.

Como uma regra geral, as consultas que podem retornar conjuntos de dados muito grandes provavelmente devem ser enviados para um arquivo CSV para mais processamento no Excel. Quando você tiver os resultados, existem vários recursos para trabalhar com estes resultados. Para obter mai detalhes, consulte o manual.

Divirta-se com o Log Parser Studio! E lembre-se sempre – Existe uma consulta para isso!

Kary Wall
Engenheiro de Escalação
Suporte do Microsoft Exchange

Esta é uma publicação localizada. Encontre o artigo original em Introducing: Log Parser Studio