Lernen bingbot und yahooslurp irgendwann SNI?

[Harald Effenberg]

Hi!

Seit meine Website auf SSL umgestellt wurde, ist sie
aus den Indexen von bing und yahoo verschwunden.

Ich habe lange gegoogelt und gebingt, aber nichts
dazu gefunden: Weiss jemand, ob bing und/oder yahoo planen,
ihren Helferlein irgendwann SNI beizubringen?

Viele Grüße
Harald

[Kai Garlipp]

Post by Harald Effenberg
Seit meine Website auf SSL umgestellt wurde, ist sie
aus den Indexen von bing und yahoo verschwunden.
Ich habe lange gegoogelt und gebingt, aber nichts
dazu gefunden: Weiss jemand, ob bing und/oder yahoo planen,
ihren Helferlein irgendwann SNI beizubringen?

Keine Probleme hier. Die auf SSL und SNI umgestellten Websites sind normal im
Index drin und auch der Bingbot und "Yahoo! Slurp" sind munter dabei die Sites
zu crawlen.

Bye Kai

[Harald Effenberg]

Post by Kai Garlipp

Post by Harald Effenberg
Seit meine Website auf SSL umgestellt wurde, ist sie
aus den Indexen von bing und yahoo verschwunden.

Keine Probleme hier. Die auf SSL und SNI umgestellten Websites sind normal im
Index drin und auch der Bingbot und "Yahoo! Slurp" sind munter dabei die Sites
zu crawlen.

Das ist seltsam, denn auf
https://www.ssllabs.com/ssltest/analyze.html?d=www.effenberg.de
lese ich:

|BingBot Dec 2013 No SNI Protocol or cipher suite mismatch Fail

und

|Yahoo Slurp Jun 2014 No SNI Protocol or cipher suite mismatch Fail

Es gibt zwar

|BingPreview Jun 2014 TLS 1.0 TLS_RSA_WITH_AES_128_CBC_SHA (0x2f) No FS 128

aber das scheint meinen Seiten bei Bing nichts zu nützen.
Bing meckert auch immer, meine Sitemap wäre fehlerhaft, für google ist sie aber okay.

Sehr rätselhaft. Wie finden sie Deine Seiten, wenn sie kein SNI können?
Nur um sicher zu gehen: Deine Websites haben keine eigenen IP-Nummern? ;-)

Viele Grüße
Harald

[Kai Garlipp]

Post by Harald Effenberg

Post by Kai Garlipp
Keine Probleme hier. Die auf SSL und SNI umgestellten Websites sind normal im
Index drin und auch der Bingbot und "Yahoo! Slurp" sind munter dabei die Sites
zu crawlen.

Das ist seltsam, denn auf
https://www.ssllabs.com/ssltest/analyze.html?d=www.effenberg.de
|BingBot Dec 2013 No SNI Protocol or cipher suite mismatch Fail

Das habe ich bei mir auch, scheint also kein Problem zu sein aber in der Ecke
dürfte die Ursache zu suchen sein.

Post by Harald Effenberg
Bing meckert auch immer, meine Sitemap wäre fehlerhaft, für google ist sie aber okay.

Die Sitemaps sind auch nicht. Interessant wäre es jetzt ob die die Crawler im
Logfile siehst.

Post by Harald Effenberg
Sehr rätselhaft. Wie finden sie Deine Seiten, wenn sie kein SNI können?
Nur um sicher zu gehen: Deine Websites haben keine eigenen IP-Nummern? ;-)

Nein, das ist alles "Server Name Indication" und außerdem wird auch das HSTS
Cookie (HTTP Strict Transport Security) bei mir gesetzt.

Aber du liegst bei Strato. Und ich fand eben auch eine weitere normale
Webhosting-Site sie ebenfalls dort ist und auch SSL verwendet. Auch die ist bei
bing nicht drin. Also ist irgendwas bei der SSL-Konfiguration von Strato so
kaputt das die Crawler nicht rein kommen. Wenn ich es von Hand versuche, sehe
ich da normalerweise den SSL-Handshake mit den ganzen Zertifikaten undso, bei
dir aber kommt nichts zurück

% openssl s_client -connect www.effenberg.de:443
CONNECTED(00000003)
139670420653896:error:14077458:SSL routines:SSL23_GET_SERVER_HELLO:tlsv1
unrecognized name:s23_clnt.c:744:
---
no peer certificate available
---
No client certificate CA names sent
---
SSL handshake has read 7 bytes and written 249 bytes
---
New, (NONE), Cipher is (NONE)
Secure Renegotiation IS NOT supported
Compression: NONE
Expansion: NONE
---


Das wäre also ein Fall für den Strato-Service. Aber da jemanden kompetentes zu
finden...

Bye Kai

[Peter J. Holzer]

Post by Kai Garlipp
% openssl s_client -connect www.effenberg.de:443
CONNECTED(00000003)
139670420653896:error:14077458:SSL routines:SSL23_GET_SERVER_HELLO:tlsv1

Aus einem ältern curl-Bugreport:

| This problem has to do with the TLS SNI extension.
|
| If curl sends an SNI hostname that the server does not recognize, the
| server will send back a TLS Alert record with Level 1 (Warning) and
| Code 112 (Unrecognized name) to notify the client that the server may
| not do what the client is expecting (that's what reason(1112) is
| referring to).
|
| In the case of Apache, if your VirtualHost does not contain a
| ServerName or ServerAlias statement which explicitly matches the
| specified domain name, Apache will send back this TLS Alert. It then
| continues to process the request normally (it defaults to using the
| first defined VirtualHost), so if curl were to ignore the Alert,
| everything would work as expected. (You can see the code for this on
| line 2170 of
| http://svn.apache.org/viewvc/httpd/httpd/trunk/modules/ssl/ssl_engine_kernel.c?revision=1162103&view=markup)
|
| All browsers seem to ignore this alert, so it seems that curl probably
| should too (or at least just print a warning instead of quitting when
| it gets this alert).

Hilft das weiter?

hp

[Kai Garlipp]

Post by Peter J. Holzer

Post by Kai Garlipp
% openssl s_client -connect www.effenberg.de:443
CONNECTED(00000003)
139670420653896:error:14077458:SSL routines:SSL23_GET_SERVER_HELLO:tlsv1

| This problem has to do with the TLS SNI extension.
Hilft das weiter?

Ja, wobei natürlich die Frage ist warum das mit SNI ausgerechnet bei Strato ein
Problem ist und nicht anderswo. Der Strato-Service kann natürlich einfach seinen
Kunden sagen "ist nicht unserer Problem, der andere Anbieter soll doch SNI so
implementieren das es auch bei uns läuft" wie in

https://twitter.com/timo_he/status/563311047566966785

(und ja, http://validator.w3.org läuft natürlich mit anderen SNI Hosts) und auch
die Anbindung von PayPal soll damit so ihre Probleme haben

https://schnurpsel.de/das-strato-ssl-zertifikat-gut-fuer-den-nutzer-und-fuer-google-2011/#comment-3779

Bye Kai