Changelog Crawler

Aus SiteparkWiki
Zur Navigation springen Zur Suche springen

Changelog

1.7 (28.11.2014)

Neue Funktion / Neues Feature Konfiguration von HTTP-Headern für die HTTP-Requests des Crawlers
Geänderte Funktion / Geändertes Feature Update auf net-API 1.4.1
Korrgierter Fehler Gleiche Url's mit mit unterschiedlichen Parameter werden bei Crawler.update() nicht aktualisiert
Korrgierter Fehler Crawler.update läuft nicht korrekt
Korrgierter Fehler Crawler Status zeigt nicht die korrekten 'fetched'-Werte
Neue Funktion / Neues Feature Berechnung der kumulativen Werte nicht korrekt

1.6 (12.09.2014)

Feature-Release

Korrgierter Fehler Bei Webseiten mir dem proaktiven Spamschutz werden die Texte ohne das '@' zusammen als ein Wort interpretiert.
Neue Funktion / Neues Feature Update-Technik für den Crawler
Korrgierter Fehler Bei den Seiten eines Hosts, die auf externe Webseiten redirecten, werden die URL-Filter nicht auf die Ziel-Url des Redirects angewendet.
Geänderte Funktion / Geändertes Feature CrawlerContext einführen

1.5.2 (31.07.2014)

Hotfix-Release

Korrgierter Fehler Tiefe einer Seite wird nicht korrekt ermittelt wenn mehrere Seiten auf sie verlinken

1.5.1 (21.03.2014)

Hotfix- Release

Geänderte Funktion / Geändertes Feature Anpassung des WelcomNormalizers
Geänderte Funktion / Geändertes Feature Umstellung auf Net-API 1.3 um direkte Abhängigkeit zur Apache-HttpCommons-APi zu verhindern

1.5 (05.02.2014)

Feature Release

Neue Funktion / Neues Feature Möglichkeit der Angabe eines optionalen Encodings am key eines Feldes. z.B. sp_geo_json.base64: "..."
Neue Funktion / Neues Feature Unterstützung von Encoding-Angaben am json-key
Neue Funktion / Neues Feature Anpassung des HtmlParsers zur besseren Filterung von HTML

1.4.1 (06.12.2013)

Bugfix Release

Korrgierter Fehler Die Startseite ist zwei mal im Index. Einmal mit und einmal ohne '/' am Ende

1.4 (25.06.2013)

1.3.1 (18.02.2013)

Bugfix Release

Korrgierter Fehler Die JVM kann beim Crawlen von Webseiten abstürzen.

1.3 (30.01.2013)

Bugfix

Neue Funktion / Neues Feature Verallgemeinerung von Parser zu Processor