Changelog Crawler
Version vom 27. April 2015, 15:15 Uhr von Iesdev (Diskussion | Beiträge)
Changelog
1.9.1 (27.04.2015)
Hotfix-Release
 |
Preloading von Resourcen |
1.9 (27.04.2015)
Feature-Release
 |
Update auf Net-API 1.6 |
 |
Crawl- und Update-Status in der Statuszeile des Crawlers unterscheiden |
|
Crawl-Result zeigt ungültige kumulativ-Werte an (Overflow) |
|
XSLT-Support für XmlParser |
1.8.1 (02.03.2015)
Hotfix-Release
1.8 (19.02.2015)
Feature Release
|
Untersützung von Basic-Authentication |
|
Die in der Konfiguration angegebenen Start-Url's sollen von der (in der Konfiguration angegebenen) Filterung ausgeschlossen werden. |
1.7 (28.11.2014)
|
Konfiguration von HTTP-Headern für die HTTP-Requests des Crawlers |
|
Update auf net-API 1.4.1 |
|
Gleiche Url's mit mit unterschiedlichen Parameter werden bei Crawler.update() nicht aktualisiert |
|
Crawler.update läuft nicht korrekt |
|
Crawler Status zeigt nicht die korrekten 'fetched'-Werte |
|
Berechnung der kumulativen Werte nicht korrekt |
1.6 (12.09.2014)
Feature-Release
|
Bei Webseiten mir dem proaktiven Spamschutz werden die Texte ohne das '@' zusammen als ein Wort interpretiert. |
|
Update-Technik für den Crawler |
|
Bei den Seiten eines Hosts, die auf externe Webseiten redirecten, werden die URL-Filter nicht auf die Ziel-Url des Redirects angewendet. |
|
CrawlerContext einführen |
1.5.2 (31.07.2014)
Hotfix-Release
|
Tiefe einer Seite wird nicht korrekt ermittelt wenn mehrere Seiten auf sie verlinken |
1.5.1 (21.03.2014)
Hotfix- Release
|
Anpassung des WelcomNormalizers |
|
Umstellung auf Net-API 1.3 um direkte Abhängigkeit zur Apache-HttpCommons-APi zu verhindern |
1.5 (05.02.2014)
Feature Release
|
Möglichkeit der Angabe eines optionalen Encodings am key eines Feldes. z.B. sp_geo_json.base64: "..." |
|
Unterstützung von Encoding-Angaben am json-key |
|
Anpassung des HtmlParsers zur besseren Filterung von HTML |
1.4.1 (06.12.2013)
Bugfix Release
|
Die Startseite ist zwei mal im Index. Einmal mit und einmal ohne '/' am Ende |
1.4 (25.06.2013)
1.3.1 (18.02.2013)
Bugfix Release
|
Die JVM kann beim Crawlen von Webseiten abstürzen. |
1.3 (30.01.2013)
Bugfix
|
Verallgemeinerung von Parser zu Processor |