Boehrsi.de - Blog

Auch wenn heute Sonntag ist und der geneigte Mensch an diesem Tag gerne länger schläft und am besten gar nichts tut, solltet ihr euch heute zumindest einmal bewegen. Denn die Europawahl steht an und in Bremen sogar ebenfalls die Bürgerschaftswahl.
Dabei werde ich hier keine Empfehlungen geben wen man wählen sollte, denn dies ist kein Politikblog, sondern ein IT und Gaming Blog. Wer jedoch in den letzten Wochen Meldungen rund um das Thema Europapolitik mitbekommen hat, sollte zumindest wissen wen man vielleicht nicht wählen sollte.
Doch am Ende ist es ohnehin nur relevant überhaupt wählen zu gehen. Also aufraffen, ein paar Meter Bewegung schaden ja nicht, ein paar Kreuze machen und somit seinen wichtigen Anteil am großen Ganzen leisten. Danach sollte noch genug vom Sonntag übrig bleiben, würde ich sagen.

Vor ca. 14 Tagen endeten die über zwei Wochen andauernden Probleme meines Servers, mit einem Umzug auf ein anderes System. Begonnen hatten die Probleme Ende März mit einem Update auf Ubuntu 18.04. Grund für das Update war der auslaufende Support für das bis dahin genutzte Ubuntu 14.04. Die Neuinstallation und Neueinrichtung verlief generell gut, bis zum Start meiner Java Micro-Services.
Ich konnte lediglich die Suche oder die Kommentarfunktion aktivieren und vermutete zu Beginn Java Probleme. Nach einigen weiteren Test mit nativen Programmen (ein Go Programm, welches lediglich einen simplen String in eine Datei schreibt, wurde genutzt) konnte ich allerdings feststellen, dass die Problematik das gesamte System betraf. Aus einem mir bis heute nicht komplett ersichtlichen Grund war es nicht möglich über eine bestimmte Anzahl von Threads zu kommen.
Diverse Debugging Runden mit und ohne den Strato-Support, das Auslesen aller möglichen Limits, Erhöhen von verfügbaren Ressourcen und Anpassen von Config-Dateien brachte leider keine Besserung. Nach ca. 10-20 gestarteten Threads mit meinem Standard Nutzer oder dem Root Nutzer und einem variierenden globalen Limit von ca. 200 Threads war immer Schluss. Die Hard- und Soft-Limits lagen dabei bei 400 - 800. Im Fall des Erreichens der Threadgrenze war nicht mal mehr das Forken auf der Shell möglich.

Es ist geschafft, nach zwei Wochen voller Problemen und Downtimes ist Boehrsi.de wieder komplett online. Dies gilt für den Blog an sich, die Suche, die Kommentarfunktion und ebenfalls für das automatische Deployment. Letzteres ist für mich persönlich durchaus relevant, da ich dadurch einiges an Zeit und Aufwand spare.
Auf die konkreten Probleme werde ich noch einmal gesondert eingehen, ebenso wie auf die Fehlerbehebung, welche eher rabiat ist. Denn ich habe den Server gewechselt, bin allerdings bei Strato geblieben. Denn alles in allem bin ich seit vielen Jahren sehr zufrieden und auch wenn die aktuellen Probleme sehr unschön und langwierig waren, so war der Support durchaus gut.
Doch lange Rede kurzer Sinn, Boehrsi.de ist wieder online und wird in der nächsten Zeit wieder gewohnt viele Inhalte bringen. Außerdem gibt es ein paar geplante kleine Optimierungen für den Blog, welche ich mir in den letzten zwei Wochen überlegt habe. Dies bezieht sich vor allem auf das Aussehen. Seid also gespannt, bald gibt es vielleicht die eine oder andere Änderung zu sehen.

Auch wenn hier nun wieder Content zu sehen ist, die Serverprobleme bestehen leider weiterhin und ich arbeite zusammen mit Strato an einer Lösung, welche hoffentlich bald wieder die volle Funktionalität meiner Seite und der weiteren Dienste zur Verfügung stellen wird.
Konkret bedeutet dies das aktuell wenig bis keine News veröffentlicht werden, da ich die komplette Automatisierung für das Deployment des Blogs deaktiviert habe und manuell für die Aktualisierungen sorgen muss. Zusätzlich sind alle erweiternden Dienste offline. Dies bedeutet sowohl die Suche, wie auch die Kommentare sind derzeit nicht aktiviert und entsprechend nicht nutzbar. Weitere Dienste die normalerweise auf dem Server aktiv sind, sind leider ebenfalls deaktiviert und können nicht genutzt werden.
Sobald die Seite wieder komplett online ist, wird es diversen neuen Content geben, den ich aktuell entsprechend meines normalen täglichen Rhythmus erstelle. Somit dürft ihr euch zumindest über diverse neue Beiträge freuen, sobald alles wieder online ist. Sofern möglich werde ich auch die aktuellen Serverprobleme und die dazugehörige Lösung noch einmal thematisieren. Da das letzte Gewinnspiel von den Ausfällen betroffen ist, wird es sehr zeitnah eine erweiterte Version meines bekannten monatlichen Gaming Gewinnspiels geben. Ich hoffe ich kann euch binnen der nächsten Tage meinen Blog wieder vollständig zur Verfügung stellen.

Wie bereits erwähnt plane ich ein Update meines Servers, welches mit einer kompletten Neuninstallation verbunden ist. Dadurch ergeben sich offline Zeiten und eventuelle Migrationsprobleme meiner vorhandenen Skripte und Tools auf die neue Ubuntu Version. Heute beginnt der Prozess das Backups und der Vorbereitung der Neuinstallation. Je nach Fortschritt wird es entweder heute oder am Montag die finale Umstellung geben. Geplant ist den Ausfall der Seite bei unter zwei Stunden zu halten, dies hängt allerdings stark davon ab wie schnell das neue Image vom Hoster eingespielt werden kann. Da dies aber ein automatisierter Prozess ist, hoffe ich alles geht fix von statten. Sobald alles wieder online ist wird es eine weitere News zum Thema geben. Falls euch mein geplantes Vorgehen bei diesem Prozess interessiert, schaut euch ruhig meinen etwas älteren, aber durchaus noch validen, Beitrag zu meinen Server-Update-Plänen an.

Ich versuche mich mit meinem Blog auf die Themen Gaming, Software, Hardware und die Entwicklung von Software zu beschränken. Ich schreibe bewusst wenig über die Politik und dortige Entwicklungen, was nicht daran liegt das ich keine Meinung habe, sondern eher daran das ich meinen Blog für das was ich gerne mache nutzen möchte und die Anzahl an Rants open_in_new gering halten möchte. Dies ist zwar eine bewusste Entscheidung, aber auf Artikel 13 und Konsorten und die damit verbundenen Demos möchte ich heute einfach noch einmal hinweisen.
Ich werde das Problem mit Artikel 13 und dem Uploadfilter nicht noch einmal erklären, denn ich denke die meisten haben es bereits mitbekommen und für alle anderen binde ich ein sehr gutes Erklärungsvideo im unteren Teil der News ein. Abgesehen davon dass das Konzept an sich eher fragwürdig ist und es technisch quasi nicht realistisch umsetzbar ist, wurde im Rahmen der Debatte um den Uploadfilter derart viel Schindluder seitens diverser Politiker getrieben, dass sich mir die Haare zu Berge stellen.
Alles in allem dürfte der Uploadfilter und alle Artikel + Regeln die damit verbunden sind diverse Dinge verschlechtern, Dienste komplett ins Aus treiben und generell zu einer Veränderung des Internets führen die eigentlich keiner will. Falls auch ihr wollt dass dies nicht geschieht, folgt den Related Links und werdet aktiv. Ich denke nicht dass das Internet perfekt ist, allerdings denke ich auch nicht das der Uploadfilter irgendwas positives in diesem Kontext verändern würde. In diesem Sinne #SaveYourInternet.

• SaveTheInternet Website open_in_new
• Aktion gegen Uploadfilter auf Pledge2019.eu open_in_new
• Petition gegen Uploadfilter auf Change.org open_in_new

Wie bereits am letzten Wochenende angekündigt habe ich nun alle Kommentare aus dem alten System importiert. Dadurch sind nun knapp 1800 Kommentare im neuen System vorhanden. Formatierungen und ähnliches sollten übernommen worden sein. Das Ganze wurde über ein halbautomatisches Shell-Script umgesetzt, welches den JSON Export des alten Systems mit den Referenzen des Neuen verknüpfte und kleinere Änderungen durchführte, sodass alles direkt via SQLite Befehlen importierbar war.
Ebenfalls durchgeführt habe ich das angekündigte Update des Such-Services. Dadurch ist es nun möglich erfolgreichere Suchen mit mehreren oder kürzeren Begriffen durchzuführen. Zusätzlich sind Suchen mit Wildards (*) nun umfangreicher möglich. Konkret bedeutet dies, dass man nun auch bei mehreren Suchbegriffen ein Wildcard-Zeichen am Ende des letzten Begriffes nutzen kann. Als Beispiel kann man nun also auch nach “The Divi*” suchen und erhält Ergebnisse zu “The Division”. Die Geschwindigkeit sollte dabei gewohnt performant bleiben.
Beide Dienste sind selbst entwickelt und in Java als Micro-Services geschrieben. Ich plane weiterhin selbige als Open-Source Lösungen zur Verfügung zu stellen. Aktuell teste ich allerdings gerade etwas mit Go als Programmiersprache und plane einen der beiden Dienste mit ähnlichem Umfang nach Go zu portieren, sodass ich vielleicht sowohl die Performance wie auch die Ressourcennutzung optimieren kann.

Das neue Kommentarsystem und auch die neue Website sind nun schon recht lange online, doch der Import der alten Kommentare, aus meinem damaligen MySQL open_in_new Setup, lässt aktuell noch auf sich warten. Grund dafür war einfach nur ein Mangel an Zeit und etwas Faulheit. Nun habe ich aber das schlechte Wetter am heutigen Samstag genutzt und ein kleines Shell-Script geschrieben, welches sich dem Problem annimmt. Dafür habe ich alle alten Kommentare im JSON Format aus der Datenbank exportiert. Über diese Datei lasse ich mein Script laufen.
Das Script übersetzt alle alten News-Ids in Referenzen zu den neuen Beiträgen. Dabei hilft mir meine ohnehin vorhandene Mapping-Datei, welche für das Backporting genutzt wird. Selbige ist auf der aktuellen Website im Einsatz, um die alten Links auf meine Blogbeiträge automatisch auf die neuen Endpunkte weiterzuleiten.
Die Reference werden um die weiteren Werte ergänzt, dabei wird das gespeicherte Datum in einen Timestamp umgewandelt, einige Default Werte werden ergänzt und das ganze direkt in einen SQLite open_in_new konformen String überführt. Diesen Output kann ich dann direkt auf die aktuelle Kommentardatenbank, welche im SQLite Format vorhanden ist, anwenden und schon erscheinen alle Kommentare. Der eigentliche Text wurde zuvor von HTML befreit und einige Anpassungen im Bereich der Formatierung wurden durchgeführt.
Nachdem diese Schritte durchgeführt sind tausche ich einfach die gesamte Datenbank aus und alle Kommentare sind ohne Ausfall des Dienstes online. Ein erster Test sieht gut aus, aber bevor ich das Ganze einspiele will ich es noch einen Moment reifen lassen und weiter testen. Es ist aber absehbar dass ab spätestens nächster Woche alle damals entstandenen Kommentare ebenfalls im neuen System vorhanden sind.

Der Februar ist vorbei und entsprechend gibt es im unteren Teil der News die Top Beiträge des vergangenen Monats. Zehn Stück sind es an der Zahl, sortiert in absteigender Reihenfolge nach Anzahl der Aufrufe. Dieses Mal gibt es Gewinnspiel-News, Software-Infos und neues rund um verschiedene Games. Vielleicht ist das eine oder andere interessante für euch dabei, schaut also gern mal rein.

Die Zeit schreitet wieder einmal schnell voran und entsprechend wird es mal wieder Zeit für ein umfassendes Update des Servers. Dabei spreche ich nicht von Aktualisierungen von einzelnen Paketen oder Tools, sondern von einem Upgrade auf die nächste Ubuntu Long Term Support (LTS) Version. Die aktuelle Version 14.04 erreicht bald das Ende ihrer Supportzeit und ein Update ist entsprechend ein Muss.
Das Update, welches in meinem Fall eine komplett Neuinstallation des Servers beinhaltet, wird vermutlich innerhalb der nächsten Wochen durchgeführt, könnte aber bereits sehr zeitnah stattfinden. Diesbezüglich befinde ich mich gerade noch in der Planungsphase, denn mit dem Update ist eine mehr oder weniger lange Downtime verbunden. Da diverse Dienste auf dem Server laufen, welche unterschiedliche Prioritäten haben, muss das Ganze also ordentlich geplant werden. Diese Planung erledigte ich bereits vor einigen Jahren und berichtete darüber hier im Blog. Selbige hat sich über die Zeit allerdings etwas verändert und einen entsprechend aktualisierten Update-Plan werde ich in einem weiteren Beitrag veröffentlichen.
Falls ihr euch fragt warum ich eine komplette Neuinstallation wähle, die Antwort ist eine Mischung aus verschiedenen Komponenten. Zum ersten habe ich die eine oder andere schlechte Erfahrung mit Updates der Distribution gehabt, zweitens ist Plesk aktuell noch nicht in der Lage ein Dist-Upgrade auf 18.04 durchzuführen und zuletzt kann man dadurch viele unnötige und teilweise auch gefährliche Altlasten loswerden. Entsprechend hat man natürlich auch signifikant mehr Aufwand.