Changelog Crawler

Changelog

1.16.2 (21.09.2017)

Hotfix-Version

Es werden Links geprüft, die bereist als Seite gecrawled wurden

1.16.1 (20.09.2017)

Hotfix-Version

NoSuchMethodError aufgrund von Abhängigkeits-Konflikten

1.16 (06.09.2017)

Feature-Release

	Alle Fehlercodes < 400 sind in Ordnung
	Bei Request-Fehlern bei denen eine ServerException eine IOException kapselt, wird die IOException weitergegeben.

1.15 (23.08.2017)

Release

	abort-Methode für den Crawler
	XML-Parser soll keine DTD laden und XML nicht validieren

1.14.1 (28.03.2017)

Hotfix-Version

Link-Header auslesen und zur Verfügung stellen

1.14 (27.02.2017)

Release

	Methode Crawler.initStartUrls() hinzugefügt um sie überschreiben zu können
	Kein Links wie mailto: und tel: im LinkChecker prüfen
	URL-Filter für LinkChecker

1.13.1 (18.11.2016)

BugfixRelease

URL-Parameter werden nicht korrekt decoded

1.13 (25.10.2016)

Release

	Erweiterung des UrlParameterNormalizer: Prefix für Parameter-Namen definierbar
	Links mit QueryParameter ohne Gleichheitszeichen erzeugt einen Fehler

1.12 (07.06.2016)

Release

Funktionen zum Auslesen von Header-Daten ergänzt

1.11 (27.05.2016)

Release

	Validator Support
	Protocol-relative URL Support
	Robots Meta-Tags unterstützen

1.10 (11.02.2016)

Feature-Release

	Url's, die durch redirects geändert werden, müssen auch den/die Url-Normalizer durchlaufen.
	rel-Attribut des a-Tags wird auf nofollow geprüft um zu entscheiden, ob dem Link gefolgt werden soll.

1.9.4 (18.08.2015)

Bugfix Release

Das Aufsummieren der indizierten Seiten ist Fehlerhaft.

1.9.3 (28.04.2015)

Hotfix-Release

Update auf XSLT-lib 1.1

1.9.2 (28.04.2015)

Bugfix Release

Seiten, die im Datei (oder Pfad) Namen den Begreff 'empfehlung' enthalten werden beim Indizieren fehlerhaft behandelt

1.9.1 (27.04.2015)

Hotfix-Release

Preloading von Resourcen

1.9 (27.04.2015)

Feature-Release

	Update auf Net-API 1.6
	Crawl- und Update-Status in der Statuszeile des Crawlers unterscheiden
	Crawl-Result zeigt ungültige kumulativ-Werte an (Overflow)
	XSLT-Support für XmlParser

1.8.1 (02.03.2015)

Hotfix-Release

Basic-Authentication-Handling funktioniert nicht korrekt mit parallelen Agents

1.8 (19.02.2015)

Feature Release

	Untersützung von Basic-Authentication
	Die in der Konfiguration angegebenen Start-Url's sollen von der (in der Konfiguration angegebenen) Filterung ausgeschlossen werden.

1.7 (28.11.2014)

	Konfiguration von HTTP-Headern für die HTTP-Requests des Crawlers
	Update auf net-API 1.4.1
	Gleiche Url's mit mit unterschiedlichen Parameter werden bei Crawler.update() nicht aktualisiert
	Crawler.update läuft nicht korrekt
	Crawler Status zeigt nicht die korrekten 'fetched'-Werte
	Berechnung der kumulativen Werte nicht korrekt

1.6 (12.09.2014)

Feature-Release

	Bei Webseiten mir dem proaktiven Spamschutz werden die Texte ohne das '@' zusammen als ein Wort interpretiert.
	Update-Technik für den Crawler
	Bei den Seiten eines Hosts, die auf externe Webseiten redirecten, werden die URL-Filter nicht auf die Ziel-Url des Redirects angewendet.
	CrawlerContext einführen

1.5.2 (31.07.2014)

Hotfix-Release

Tiefe einer Seite wird nicht korrekt ermittelt wenn mehrere Seiten auf sie verlinken

1.5.1 (21.03.2014)

Hotfix- Release

	Anpassung des WelcomNormalizers
	Umstellung auf Net-API 1.3 um direkte Abhängigkeit zur Apache-HttpCommons-APi zu verhindern

1.5 (05.02.2014)

Feature Release

	Möglichkeit der Angabe eines optionalen Encodings am key eines Feldes. z.B. sp_geo_json.base64: "..."
	Unterstützung von Encoding-Angaben am json-key
	Anpassung des HtmlParsers zur besseren Filterung von HTML

1.4.1 (06.12.2013)

Bugfix Release

Die Startseite ist zwei mal im Index. Einmal mit und einmal ohne '/' am Ende

1.3.1 (18.02.2013)

Bugfix Release

Die JVM kann beim Crawlen von Webseiten abstürzen.

1.3 (30.01.2013)

Bugfix

Verallgemeinerung von Parser zu Processor