0 votos

applescript CURL con autenticación falla

PREGUNTA: necesito un método de trabajo para ser utilizado en applescript para obtener la fuente correcta de la página, SIN cargar la página.

enlace de muestra: https://www.idealista.it/immobile/16679597/

resultado: html erróneo, habla de la autentificación.

CÓDIGO INICIAL (siempre presente para todos los intentos siguientes):

set MyUser to username@dom.com
set MyPass to password
set UrlOfPage to "https://www.idealista.it/immobile/16679597/"

PRUEBAS (todas las pruebas siguientes se dan en esta página web https://ec.haxx.se/http-auth.html ):

  • funciona pero necesita que la página se cargue en Safari

    tell front document of application "Safari" to set StrHtml to (get source) as string
  • devuelve un html erróneo

    set StrHtml to (do shell script "curl --user " & MyUser & ":" & MyPass & " " & UrlOfPage)
    
    set StrHtml to (do shell script "curl --anyauth --user " & MyUser & ":" & MyPass & " " & UrlOfPage)
    
    set StrHtml to (do shell script "curl --digest --user " & MyUser & ":" & MyPass & " " & cellurl)
    
    set StrHtml to (do shell script "curl --negotiate --user " & MyUser & ":" & MyPass & " " & cellurl)
    
    set StrHtml to (do shell script "curl --ntlm --user " & MyUser & ":" & MyPass & " " & cellurl)
  • no funciona: token desconocido

    set StrHtml to (do shell script "curl --proxy-anyauth --proxy-user " & MyUser & ":" & MyPass & " https://www.idealista.it/immobile/16679597/ \ --proxy https://proxy.idealista.it/immobile/16679597:80/")

¿podría alguien ayudarme ahora, por favor?

1voto

Steve Evans Puntos 155

Herramientas dedicadas

Dados los problemas encontrados con curl y AppleScript, considere la posibilidad de utilizar una herramienta alternativa dedicada como Hermosa sopa . Ver Cómo raspar páginas web con Beautiful Soup y Python 3 para una introducción completa.

Como alternativa, existen numerosas herramientas que pueden ayudar, véase Software de raspado de páginas web en Wikipedia. Muchas de estas herramientas son gratuitas, de código abierto y se pueden llamar desde la línea de comandos.

Anteriormente he utilizado Web::Scraper para extraer listados de propiedades .

AppleAyuda.com

AppleAyuda es una comunidad de usuarios de los productos de Apple en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X