10 Col·leccionistes de registre de codi obert per a la registre centralitzada

La diferència entre els productes mediocres i els grans productes és la tala. Obteniu més informació sobre com és així i com vincular-ho.


Igual que la seguretat, el registre és un altre component clau d’aplicacions web (o d’aplicacions en general) que es deixa caure a causa dels vells hàbits i la incapacitat de veure-ho. El que molts veuen com a armes de cinta digital inútils són eines potents per mirar dins de les vostres aplicacions, corregir errors, millorar les zones febles i fer les delícies dels clients.

Abans de passar al registre centralitzat, mirem primer per què el registre és tan important.

Dos tipus (nivells) de registre

Els ordinadors són sistemes deterministes, excepte quan no ho són.

Com un desenvolupador professional, He trobat molts casos en què el comportament observat de l’aplicació ha incomodat tothom durant dies, però la clau sempre ha estat en els registres. Cada programari que executem produeix (o com a mínim, hauria de generar) registres, que ens diuen què passava quan es va produir la situació problemàtica.

Ara, el registre, com ho veig, és de dos tipus: generat automàticament registres i generat per programador registres. Tingueu en compte que no es tracta de cap tipus de diferenciació de llibres de text i, si m’expresseu aquesta terminologia, tindreu problemes. ��

La imatge superior mostra el que es pot denominar com a registre generat automàticament.

En aquest cas concret, es tracta d’un sistema WordPress que registra una condició inesperada (un avís) quan s’executa algun codi PHP. Aquests registres s’estan generant incansablement tot el temps: mitjançant eines de bases de dades com MySQL, servidors web com Apache, llenguatges i entorns de programació, dispositius mòbils i fins i tot sistemes operatius.

Rarament contenen molt valor i els programadors ni tan sols es molesten en examinar-los, tret que alguna cosa vagi malament. En aquests moments, caven profundament en els troncs i intenten entendre què va passar.

Però els registres generats automàticament només poden ajudar. Si, per exemple, diverses persones tenen accés d’administració a un lloc, i a una d’elles se suprimeix una informació essencial, és impossible detectar el culpable amb l’ús de registres generats automàticament. Des de la perspectiva dels sistemes lligats com l’aplicació, només era un altre dia a la feina: algú tenia l’autoritat necessària per executar una tasca, i així el sistema la va dur a terme.

El que cal aquí és una capa addicional de registre explícit i extens que crea rutes per al costat humà de les coses. Això és el que jo anomeno registres generats per programadors, i formen l’eix vertebrador d’indústries sensibles com la banca. A continuació, es mostra un aspecte com podria semblar un esquema de registre:

Font: joomlatools.com

La tala és poder

Així doncs, tenint en compte aquests dos tipus de registres en un sistema, aquí es mostra com es poden aprofitar i augmentar l’impacte.

Mantenir-se al davant del client

La “delícia del client” ha conegut com un truc de màrqueting inútil, però gràcies al registre, es pot fer molt real. Sé de productes digitals que controlen els registres com un falcó i, tan aviat com un client trenqui alguna cosa a la pàgina, pot trucar al client i oferir-se per ajudar-lo.

Penseu-hi: als pocs segons d’haver produït un error lleig, rebeu una trucada de la companyia que diu: “Hola, entenc que estaves intentant afegir aquest article al carret, però seguia morint. Està bé per a mi afegir aquesta vegada i completar la comanda? “

Client encantat? Vostè aposta!

La moral i la productivitat dels equips

Com he dit abans, quan els errors no es veuen desapercebuts durant molt de temps, els desenvolupadors del vostre equip es frustren i perden cada cop més temps perseguint les cues. I aquí teniu el cas amb la depuració: des del primer moment cal tenir una ment fresca i curiosa. Si un WTF pensava tant com entra al teu cervell, tot el procés és efectiu.

I què dificulta la depuració? Segons la meva experiència, la manca de registre o el coneixement de la registre. Per començar, potser no us adoneu que la vostra base de dades preferida és només un altre programari que genera registres o que no esteu registrant-vos de manera extensiva a la vostra aplicació (vegeu els registres generats per programadors més amunt).

Recordo especialment un cas en què l’aplicació no responia i ningú no sabia per què. Pocs dies després, el culpable era el límit d’E / S del disc assolit a causa del trànsit excessiu. Com que ningú es molestava a mirar-hi, ningú no podia esbrinar el perquè.

Pistes d’auditoria

Què passa si el client diu que dos anys més aviat no diu que totes aquestes comandes no l’han col·locat, sinó algun pirata informàtic?

Quin argument hauria d’entretenir o rebutjar la seva sol·licitud? Si teniu un registre extens (adreça IP, data i hora, targeta de crèdit, etc.), podreu analitzar tot allò i prendre una decisió. Bo o dolent, almenys tindrà alguna base objectiva, en lloc de semblar un tret a les fosques.

Font: firma-reads.com

El mateix succeeix si teniu en compte algun objectiu regulador o si teniu que sotmetre’s a una auditoria de tercers com a part d’un nou projecte important. No tenir un sistema robust de registre us mostrarà amb mala llum.

Millora dels sistemes existents

Com us permet millorar el sistema actual??

N’hi ha prou amb llençar més RAM i fils de CPU? Què passa si la teva aplicació és lenta tot i tenir recursos suficients? On és el coll d’ampolla? Més sovint, la resposta és la resposta.

Per exemple, tots els sistemes de bases de dades principals tenen una característica de registre consultes lentes.

Font: speedawarenessmonth.com

Si visiteu regularment el registre de consultes lentes, podreu conèixer quines són les operacions i aprofitar el màxim temps i, per tant, descobrireu àrees petites però importants que necessiten feina. Sovint, un petit canvi com aquest funciona millor que duplicar la capacitat del maquinari.

Sense comptar de quantes maneres us ajuda un bon sistema de registre. Potser el millor argument és que es tracta d’una activitat automatitzada que, un cop configurada, no necessita cap control i us salvarà de la ruïna algun dia.

Amb aquesta opció, anem a veure alguns dels sorprenents Col·leccionistes de registre de codi font obert (eines de registre unificat) que hi ha. Per si us pregunteu, varem cobrir les eines de registre basades en núvol comercials en una publicació anterior.

Graylog

Graylog és un dels noms més importants del sector quan es tracta de capacitats de visualització i registre de grau de la indústria. També és exclusiu perquè analitza els registres recopilats per detectar signes de vulnerabilitat de seguretat i us notifica a l’instant.

Si bé Graylog és un sistema de registre centralitzat, té la flexibilitat que necessiteu, permetent-vos personalitzar alertes, taulers de taula i molt més.

Greylog és codi obert, però hi ha un pla d’empresa si les vostres necessitats són complexes.

Amb clients com SAP, Cisco i LinkedIn a la seva llista, Graylog és una eina de confiança amb els ulls tancats.

Logstash

Si sou fan o usuari de la pila Elastic, Logstash val la pena consultar-ho (la pila ELK ja és una cosa, per si no ho sabíeu). Igual que altres eines de registre d’aquesta llista, tanqueu la secció de dades si està completament codi obert, permetent la llibertat de desplegar i utilitzar com desitgeu.

Però no us enganyem: Logstash és una nau materna amb capacitats que superen amb prou feines qualsevol eina de registre humil. És capaç de recopilar grans quantitats de dades de diverses plataformes, us permet definir i executar els vostres pipelines de dades, tenir sentit dels abocaments de registres no estructurats i molt més.

Per descomptat, l’única limitació és que només funciona amb la suite de productes Elàstica, però si comenceu i voleu escalar aviat, Logstash és el camí a seguir!

Fluentd

Entre les eines de registre centralitzades que funcionen com a capa mitjana per a la ingesta de dades, Flutend és un primer entre iguals. Amb una excel·lent biblioteca de plugins, Fluentd és capaç de capturar dades de pràcticament qualsevol sistema de producció, amasar-la a l’estructura desitjada, construir un pipeline personalitzat i alimentar-la a la vostra plataforma d’analítica preferida, ja sigui MongoDB o Elasticsearch..

Fluentd està construït sobre Ruby codi obert, i és àmpliament popular per la seva flexibilitat i modularitat.

Amb grans empreses com Microsoft, Atlassian i Twilio que utilitzen la plataforma, Fluentd no té res a demostrar. ��

Flume

Si és realment, els conjunts de dades realment grans són el vostre repte i, finalment, voleu introduir-ho tot en quelcom com Hadoop, Flume és una de les millors opcions del voltant. Es tracta d’un projecte de codi obert “pur”, en el sentit que l’ha estimat la nostra estimada Fundació Apache, cosa que significa que no hi ha cap pla d’empresa.

És possible que sigui o no el que esteu cercant exactament. ��

Font: beyondcoder.com

Escrit en Java (que em sorprèn a l’hora de fer una tecnologia innovadora), el codi font de Flume està completament obert. Flume és el més adequat per tu si busqueu una plataforma d’ingestió de dades distribuïda i que toleri les errades per a coses pesades.

Octopussy

Li dono zero sobre deu per la denominació de productes, però Octopussy pot ser una bona elecció si les vostres necessitats són senzilles i us pregunteu sobre què tracta tot el xoc relacionat amb els canonades, la ingestió, l’agregació, etc..

Segons la meva opinió, Octopussy cobreix les necessitats de la majoria dels productes que hi ha (les estadístiques són inútils, però si hagués d’endevinar, diria que té cura del 80% dels casos d’ús del món real).

Octopussy no té una interfície d’interès excel·lent (vegeu aquí) en absolut, però compensa la velocitat i la falta de respiració. La font està disponible a GitHub, com era d’esperar, i crec que val la pena mirar-lo seriosament.

LOGalyze

LOGalyze era un producte comercial que recentment es va fer de codi obert. Tot i que no vaig poder fer el projecte a GitHub, fan que es pugui descarregar un instal·lador de Windows i tot el codi font.

Si teniu intenció d’una comunitat, podeu trobar detalls d’una llista de correu aquí.

LOGalyze és una oferta relativament flexible i potent que funcionarà molt bé per a desplegaments d’un sol sistema que busquen combinar l’enregistrament de fonts conegudes com Postfix, Apache, etc., i produir la sortida en formats CSV, PDF, HTML o similars. Sí, no ho fa tot, però com que era un producte comercial alhora, ho fa força bé.

LogPacker

A l’hora d’escollir una eina per a la feina, tinc dos criteris: s’ha d’enfocar i s’ha de recolzar en un model de negoci actiu. El problema del programari de codi obert, en general, és que uns mesos / anys al llarg del camí, les possibilitats d’estancament o mort són elevades. No hi ha un nombre de quantes eines de registre es van llançar amb molt de gust, només es poden trobar al cementiri GitHub.

Mesurat per aquesta mesura, LogPacker és un dels meus preferits.

Com es pot observar a la captura de pantalla, LogPacker es tracta de registres i de res. Sens dubte, la seva empenta cap a les seves ofertes de núvol, però és més que benvingut que la descarregueu i la instal·leu als vostres servidors (pàgina de GitHub aquí).

Hi ha disponibles agrupació i agrupació per a aquells que vulguin utilitzar-lo a una escala no trivial, i hi ha plans d’empresa que volen treballar amb l’API o que necessiten desplegaments més grans. Segons la meva opinió, una gestió minimalista (centrada, encara que no deficient en funcions) és la que utilitza!

Llotja

Estic segur que hi ha entre nosaltres que no volen tota la cerimònia associada a un sistema de registre “unificat”, “centralitzat”. Els seus negocis provenen de servidors únics i cerquen alguna cosa ràpida i eficaç per veure els seus fitxers de registre. Bé, salu Llotja.

Un cop instal·lat, LogWatch pot escanejar els registres del sistema i crear un informe del tipus que desitgeu. Tot i que es tracta d’un programari una mica datat (llegit “fiable”), escrit a Perl. Per tant, haureu de tenir Perl 5.6+ al vostre servidor per executar-lo. No tinc cap captura de pantalla que comparteixi, ja que és un procés simplement desconegut de línia de comandaments.

Si sou una brossa de CLI i us encanta la manera de fer les coses de la vella escola, us encantarà Logwatch!

Syslog-ng

El Syslog-ng L’eina es va desenvolupar com una forma de processar fitxers de dades syslog (un protocol client-servidor establert per a la registre del sistema) en temps real. Amb el pas del temps, ha anat donant suport a altres formats de dades: desestructurat, SQL i NoSQL. El funcionament del protocol syslog és bastant resumit en la il·lustració següent.

syslog-ng és una eina de classificació i classificació de registres fiable de grau de producció, escrita en C i que ha estat un nom establert a la indústria durant molt de temps. La millor part és la seva extensibilitat, que permet escriure plugins en C, Python, Java, Lua o Perl..

lnav

Short for (Registre navegador), lnav és una eina de terminal pur que funciona en un sol directori a màquina única. És per a aquells que tenen la seva registre unificada en un sol directori o volen filtrar i mostrar registres en temps real des d’una sola font.

Si pensessis que lnav no era més que glorificat tailf | grep, t’equivocaràs. Hi ha diverses funcions que us enamoraran: visualització de sèries horàries, impressió bonica (per a JSON i altres formats), fonts de registre codificades en color, filtres potents, capacitat de comprensió de diversos protocols de registre i molt més..

De vegades es vol que es realitzi una configuració de registre zero sense problemes, amb possibilitat de registre temporal i lnav s’ajusti perfectament a la factura.!

Conclusió

I allà el teniu!

Era una llista difícil de compilar, per ser sincera, ja que el registre no és tan popular com, per exemple, la gestió de continguts, i tot el compartiment mental sembla haver estat agafat per tres o quatre eines. Tot i així, les necessitats de tothom són diferents, i he intentat cobrir-les àmpliament.

Des de la línia de comandaments ximple, les eines sense configuració fins a les jugadores de dades completes, tot és aquí. Vaig trobar a faltar alguna cosa? Per descomptat, ho vaig fer! Si us plau, aviseu-me als comentaris, i tindré el gust d’afegir-ho aquí (amb crèdits, per descomptat!).

Tags:

  • Codi obert

Jeffrey Wilson Administrator
Sorry! The Author has not filled his profile.
follow me
    Like this post? Please share to your friends:
    Adblock
    detector
    map