Changelog Crawler

Changelog

1.8 (19.02.2015)

Feature Release

	Untersützung von Basic-Authentication
	Die in der Konfiguration angegebenen Start-Url's sollen von der (in der Konfiguration angegebenen) Filterung ausgeschlossen werden.

1.7 (28.11.2014)

	Konfiguration von HTTP-Headern für die HTTP-Requests des Crawlers
	Update auf net-API 1.4.1
	Gleiche Url's mit mit unterschiedlichen Parameter werden bei Crawler.update() nicht aktualisiert
	Crawler.update läuft nicht korrekt
	Crawler Status zeigt nicht die korrekten 'fetched'-Werte
	Berechnung der kumulativen Werte nicht korrekt

1.6 (12.09.2014)

Feature-Release

	Bei Webseiten mir dem proaktiven Spamschutz werden die Texte ohne das '@' zusammen als ein Wort interpretiert.
	Update-Technik für den Crawler
	Bei den Seiten eines Hosts, die auf externe Webseiten redirecten, werden die URL-Filter nicht auf die Ziel-Url des Redirects angewendet.
	CrawlerContext einführen

1.5.2 (31.07.2014)

Hotfix-Release

Tiefe einer Seite wird nicht korrekt ermittelt wenn mehrere Seiten auf sie verlinken

1.5.1 (21.03.2014)

Hotfix- Release

	Anpassung des WelcomNormalizers
	Umstellung auf Net-API 1.3 um direkte Abhängigkeit zur Apache-HttpCommons-APi zu verhindern

1.5 (05.02.2014)

Feature Release

	Möglichkeit der Angabe eines optionalen Encodings am key eines Feldes. z.B. sp_geo_json.base64: "..."
	Unterstützung von Encoding-Angaben am json-key
	Anpassung des HtmlParsers zur besseren Filterung von HTML

1.4.1 (06.12.2013)

Bugfix Release

Die Startseite ist zwei mal im Index. Einmal mit und einmal ohne '/' am Ende

1.3.1 (18.02.2013)

Bugfix Release

Die JVM kann beim Crawlen von Webseiten abstürzen.

1.3 (30.01.2013)

Bugfix

Verallgemeinerung von Parser zu Processor