Changelog Crawler

Aus SiteparkWiki
Zur Navigation springen Zur Suche springen

Changelog

1.16 (06.09.2017)

Feature-Release

Geänderte Funktion / Geändertes Feature Alle Fehlercodes < 400 sind in Ordnung
Geänderte Funktion / Geändertes Feature Bei Request-Fehlern bei denen eine ServerException eine IOException kapselt, wird die IOException weitergegeben.

1.15 (23.08.2017)

Release

Neue Funktion / Neues Feature abort-Methode für den Crawler
Geänderte Funktion / Geändertes Feature XML-Parser soll keine DTD laden und XML nicht validieren

1.14.1 (28.03.2017)

Hotfix-Version

Neue Funktion / Neues Feature Link-Header auslesen und zur Verfügung stellen

1.14 (27.02.2017)

Release

Neue Funktion / Neues Feature Methode Crawler.initStartUrls() hinzugefügt um sie überschreiben zu können
Geänderte Funktion / Geändertes Feature Kein Links wie mailto: und tel: im LinkChecker prüfen
Neue Funktion / Neues Feature URL-Filter für LinkChecker

1.13.1 (18.11.2016)

BugfixRelease

Korrgierter Fehler URL-Parameter werden nicht korrekt decoded

1.13 (25.10.2016)

Release

Neue Funktion / Neues Feature Erweiterung des UrlParameterNormalizer: Prefix für Parameter-Namen definierbar
Korrgierter Fehler Links mit QueryParameter ohne Gleichheitszeichen erzeugt einen Fehler

1.12 (07.06.2016)

Release

Neue Funktion / Neues Feature Funktionen zum Auslesen von Header-Daten ergänzt

1.11 (27.05.2016)

Release

Neue Funktion / Neues Feature Validator Support
Neue Funktion / Neues Feature Protocol-relative URL Support
Neue Funktion / Neues Feature Robots Meta-Tags unterstützen

1.10 (11.02.2016)

Feature-Release

Korrgierter Fehler Url's, die durch redirects geändert werden, müssen auch den/die Url-Normalizer durchlaufen.
Neue Funktion / Neues Feature rel-Attribut des a-Tags wird auf nofollow geprüft um zu entscheiden, ob dem Link gefolgt werden soll.

1.9.4 (18.08.2015)

Bugfix Release

Korrgierter Fehler Das Aufsummieren der indizierten Seiten ist Fehlerhaft.

1.9.3 (28.04.2015)

Hotfix-Release

Geänderte Funktion / Geändertes Feature Update auf XSLT-lib 1.1

1.9.2 (28.04.2015)

Bugfix Release

Korrgierter Fehler Seiten, die im Datei (oder Pfad) Namen den Begreff 'empfehlung' enthalten werden beim Indizieren fehlerhaft behandelt

1.9.1 (27.04.2015)

Hotfix-Release

Neue Funktion / Neues Feature Preloading von Resourcen

1.9 (27.04.2015)

Feature-Release

Korrgierter Fehler Update auf Net-API 1.6
Geänderte Funktion / Geändertes Feature Crawl- und Update-Status in der Statuszeile des Crawlers unterscheiden
Korrgierter Fehler Crawl-Result zeigt ungültige kumulativ-Werte an (Overflow)
Neue Funktion / Neues Feature XSLT-Support für XmlParser

1.8.1 (02.03.2015)

Hotfix-Release

Korrgierter Fehler Basic-Authentication-Handling funktioniert nicht korrekt mit parallelen Agents

1.8 (19.02.2015)

Feature Release

Neue Funktion / Neues Feature Untersützung von Basic-Authentication
Geänderte Funktion / Geändertes Feature Die in der Konfiguration angegebenen Start-Url's sollen von der (in der Konfiguration angegebenen) Filterung ausgeschlossen werden.

1.7 (28.11.2014)

Neue Funktion / Neues Feature Konfiguration von HTTP-Headern für die HTTP-Requests des Crawlers
Geänderte Funktion / Geändertes Feature Update auf net-API 1.4.1
Korrgierter Fehler Gleiche Url's mit mit unterschiedlichen Parameter werden bei Crawler.update() nicht aktualisiert
Korrgierter Fehler Crawler.update läuft nicht korrekt
Korrgierter Fehler Crawler Status zeigt nicht die korrekten 'fetched'-Werte
Neue Funktion / Neues Feature Berechnung der kumulativen Werte nicht korrekt

1.6 (12.09.2014)

Feature-Release

Korrgierter Fehler Bei Webseiten mir dem proaktiven Spamschutz werden die Texte ohne das '@' zusammen als ein Wort interpretiert.
Neue Funktion / Neues Feature Update-Technik für den Crawler
Korrgierter Fehler Bei den Seiten eines Hosts, die auf externe Webseiten redirecten, werden die URL-Filter nicht auf die Ziel-Url des Redirects angewendet.
Geänderte Funktion / Geändertes Feature CrawlerContext einführen

1.5.2 (31.07.2014)

Hotfix-Release

Korrgierter Fehler Tiefe einer Seite wird nicht korrekt ermittelt wenn mehrere Seiten auf sie verlinken

1.5.1 (21.03.2014)

Hotfix- Release

Geänderte Funktion / Geändertes Feature Anpassung des WelcomNormalizers
Geänderte Funktion / Geändertes Feature Umstellung auf Net-API 1.3 um direkte Abhängigkeit zur Apache-HttpCommons-APi zu verhindern

1.5 (05.02.2014)

Feature Release

Neue Funktion / Neues Feature Möglichkeit der Angabe eines optionalen Encodings am key eines Feldes. z.B. sp_geo_json.base64: "..."
Neue Funktion / Neues Feature Unterstützung von Encoding-Angaben am json-key
Neue Funktion / Neues Feature Anpassung des HtmlParsers zur besseren Filterung von HTML

1.4.1 (06.12.2013)

Bugfix Release

Korrgierter Fehler Die Startseite ist zwei mal im Index. Einmal mit und einmal ohne '/' am Ende

1.4 (25.06.2013)

1.3.1 (18.02.2013)

Bugfix Release

Korrgierter Fehler Die JVM kann beim Crawlen von Webseiten abstürzen.

1.3 (30.01.2013)

Bugfix

Neue Funktion / Neues Feature Verallgemeinerung von Parser zu Processor