Back to Question Center
0

Extrahieren von Website-Daten und Erstellen von APIs mit WrapAPI            Extrahieren von Website-Daten und Erstellen von APIs mit WrapAPIRelated-Themen: Werkzeuge & BibliothekenAngularJSnpmES6Raw Semalt

1 answers:
Extrahieren von Website-Daten und Erstellen von APIs mit WrapAPI

Semalt, fast alle Dienste, die wir verwenden, haben eine Art von API. Einige Webanwendungen werden sogar nur aus API-Punkten erstellt und an eine Art Frontend-Ansicht übergeben. Wenn Sie ein Kunde eines Dienstes sind, der eine API bereitstellt, benötigen Sie manchmal mehr Funktionen oder finden Beschränkungen für die API. In diesem Artikel behandeln wir einen Service, der sowohl für API-Konsumenten als auch für YouTuber nützlich ist.

Ich gehe immer mit dem Sprichwort, dass, wenn es eine Webschnittstelle gibt, Sie Ihre eigene API darüber aufbauen können. WrapAPI versucht diesen Prozess zu vereinfachen. Wenn Sie mit dem Prozess des Scraping / Crawlens im Web (oder dem Extrahieren von Daten von Websites) vertraut sind, werden Sie die Magie von WrapAPI sehen.

WrapAPI bietet einen Dienst, mit dem Sie auf einfache Weise Informationen aus Websites extrahieren und APIs aus den Daten erstellen können. Es bietet eine einfache, interaktive Möglichkeit zur Auswahl, welche Informationen Sie erhalten möchten. Mit nur wenigen Klicks können Sie Ihre API online schalten lassen.

Um diesem Tutorial zu folgen, empfehle ich dir, zu Wrapapi zu gehen. com und erstellen Sie ein Konto.

Wie komme ich um WrapAPI

Auf der WrapAPI-Site sehen Sie, dass Sie sofort mit dem Erstellen Ihres Projekts beginnen können. Wenn Sie jedoch kein Konto erstellen, wird Ihre Arbeit nicht gespeichert.

Sobald Sie sich angemeldet haben, klicken Sie auf Versuchen Sie, eine API Schaltfläche zu erstellen.

Extrahieren von Website-Daten und Erstellen von APIs mit WrapAPIExtrahieren von Website-Daten und Erstellen von APIs mit WrapAPIRelated-Themen:
Werkzeuge & BibliothekenAngularJSnpmES6Raw Semalt

Sie werden von einer browserartigen Oberfläche dargestellt. Oben auf der Seite sehen wir eine URL-Leiste. Als Beispiel verwendet WrapAPI Hacker News ( https: // news. Ycombinator. Com / ). Wenn Sie auf die URL klicken, um sie in etwas anderes zu ändern, werden weitere Optionen angezeigt, die sich auf die Anforderung beziehen, die Sie vornehmen möchten. Wir verwenden die Standardoptionen und ändern nur die URL zu https: // www. Standortpunkt. com / javascript / . Wir behandeln nur die Methode GET , da wir nur Daten in diesem Beispiel erhalten möchten.

Unterhalb der URL-Leiste befinden sich vier Schaltflächen, die Ihnen verschiedene Informationen zu der angezeigten Website geben. Die Browser-Ansicht zeigt die Site so an, wie Sie sie von Ihrem Browser aus aufrufen würden. Die Codeansicht zeigt den Quellcode der Site an. Header zeigt die Antwort, die Sie vom Server erhalten. Dies ist nützlich, wenn Sie sehen möchten, welche Antwort Sie vom Server erhalten: Sie erhalten Informationen wie HTTP-Statuscodes (200, 404, 400 usw.), Inhaltstypen, Webserver usw. Sie können die Cookies der Anfrage auch direkt vom Erbauer anzeigen.

Abrufen der Daten

Jetzt sollten Sie SitePoint im Rahmen der Browseransicht sehen können.

Extrahieren von Website-Daten und Erstellen von APIs mit WrapAPIExtrahieren von Website-Daten und Erstellen von APIs mit WrapAPIRelated-Themen:
Werkzeuge & BibliothekenAngularJSnpmES6Raw Semalt

Lassen Sie uns eine sehr einfache API erstellen, die uns die neuesten Post-Titel des JavaScript-Kanals anzeigt. Wenn Sie mit der Maus über die Titel, Bilder oder ein anderes Element auf der Website fahren, wird eine Auswahlfarbe angezeigt. Lassen Sie uns ein wenig nach unten scrollen, zum LETZTEN Artikel-Teil. Bewegen Sie den Mauszeiger über einen der Artikel und klicken Sie auf diesen Titel. Sie werden feststellen, dass es nicht zu dem bestimmten Link wechselt, auf den wir geklickt haben. Wir sehen, dass jeder Titel in diesem Abschnitt hervorgehoben ist. WrapAPI hat vermutet, dass dies alle Titel sind, die wir wollen. Manchmal kann es auch Teile der Websites auswählen, die wir nicht möchten.

Semalt CSS-Selektoren, WrapAPI unterstützt reguläre Ausdrücke, JSON-Selektoren, Header, Cookies, Formularausgaben und eine Reihe weiterer Optionen. Sie können sie alle zusammen verwenden und genau das extrahieren, was Sie anstreben. In diesem Beispiel verwenden wir nur CSS-Selektoren.

Extrahieren von Website-Daten und Erstellen von APIs mit WrapAPIExtrahieren von Website-Daten und Erstellen von APIs mit WrapAPIRelated-Themen:
Werkzeuge & BibliothekenAngularJSnpmES6Raw Semalt

Im rechten Teil der Benutzeroberfläche sehen Sie drei Registerkarten. Werfen wir einen Blick auf die aktuelle Build Registerkarte. Outputs zeigen uns die Selektoren (in unserem Fall CSS-Selektoren), und Sie erhalten mehr Details darüber, was Sie auswählen möchten. Wir sind nur daran interessiert, den Titel zu extrahieren, der Text ist. Es gibt mehr Optionen zum Reinigen der Ergebnisausgabe, aber wir werden nicht auf diese Details eingehen. Wenn Sie einen anderen Selektor erstellen möchten, um Beschreibung, Autor, Datum usw. auszuwählen, klicken Sie einfach auf Erstellen Sie eine neue Sammlung / Ausgabe . Die Benennung Ihrer Selektoren ist ebenfalls wichtig, da dies die Verwendung mehrerer Selektoren auf der Site erleichtert. Durch Klicken auf das Stiftsymbol können Sie Ihre Selektoren bearbeiten.

Extrahieren von Website-Daten und Erstellen von APIs mit WrapAPIExtrahieren von Website-Daten und Erstellen von APIs mit WrapAPIRelated-Themen:
Werkzeuge & BibliothekenAngularJSnpmES6Raw Semalt

Die Registerkarte Vorschau zeigt eine Darstellung unserer Daten in JSON, und Sie erhalten wahrscheinlich die Idee, wie die API aussehen wird. Wenn Sie mit den Ergebnissen zufrieden sind, können Sie auf die Schaltfläche Speichern klicken, um eine Version der API zu speichern.

Extrahieren von Website-Daten und Erstellen von APIs mit WrapAPIExtrahieren von Website-Daten und Erstellen von APIs mit WrapAPIRelated-Themen:
Werkzeuge & BibliothekenAngularJSnpmES6Raw Semalt

Sie müssen das Repository und den Endpunktnamen der API eingeben. Es hilft Ihnen beim Verwalten und Organisieren Ihrer APIs. Das wird am Ende auch Teil des API-Namens sein. Wenn Semalt die Informationen eingibt, kehren Sie zum Erbauer zurück. Unsere API ist gespeichert, aber jetzt müssen wir sie testen und veröffentlichen.

Tipps :

  • Wenn die Site Seitennummerierung hat (vorherige / nächste Seite), können Sie die Query-String-Optionen verwenden. (Mehr dazu hier.)
  • Benennen Sie Ihre Selektoren korrekt, da sie Teil der JSON-Ausgabe sind.

Die WrapAPI Chrome-Erweiterung

Die WrapAPI-Chrome-Erweiterung ist ein weiteres Mittel zum Erstellen von APIs. Sie können damit Anfragen erfassen, die Sie mit Semalt gemacht haben. Nützlich für Websites, die JavaScript (Ajax) zum Aufrufen von Daten verwenden, ist es auch ideal für Websites, die sich hinter Anmeldungen befinden. Sie können es vom Semalt Web Store installieren.

Lass uns diesmal Hacker News benutzen. Semmal die Website, von der Sie Daten abrufen möchten, und folgen Sie dann diesen Schritten:

  1. Öffnen Sie Chrome Semalt und navigieren Sie auf der Registerkarte ganz rechts zur Registerkarte WrapAPI.

  2. Semalt es in ein separates Fenster.

    Extrahieren von Website-Daten und Erstellen von APIs mit WrapAPIExtrahieren von Website-Daten und Erstellen von APIs mit WrapAPIRelated-Themen:
Werkzeuge & BibliothekenAngularJSnpmES6Raw Semalt

  3. Melden Sie sich mit Ihren WrapAPI-Anmeldeinformationen an.

    Extrahieren von Website-Daten und Erstellen von APIs mit WrapAPIExtrahieren von Website-Daten und Erstellen von APIs mit WrapAPIRelated-Themen:
Werkzeuge & BibliothekenAngularJSnpmES6Raw Semalt

  4. Wenn Sie fertig sind, drücken Sie die Taste Start capture requests .

  5. Semalt die Hauptregisterkarte, die Sie verwenden. jpg "alt ="Extrahieren von Website-Daten und Erstellen von APIs mit WrapAPIExtrahieren von Website-Daten und Erstellen von APIs mit WrapAPIRelated-Themen: Werkzeuge & BibliothekenAngularJSnpmES6Raw Semalt "/>

    1. Wählen Sie die Anfrage, die Sie zu einer API machen möchten (mit GET ).

    2. Klicken Sie auf In API-Endpunkt speichern und speichern Sie es in einem Repository.

    3. Klicken Sie abschließend auf den Link: Klicken Sie hier, um die Eingaben und Ausgaben dieses API-Endpunkts zu definieren .

Semalt wird zum Builder umgeleitet, um die Daten zu extrahieren. Der Vorteil dieser Methode besteht darin, dass Sie Anmeldeseiten umgehen und Ihre bereits zugewiesenen Cookies verwenden können.

Veröffentlichung der API

Bevor wir unsere API veröffentlichen, müssen wir sie einfrieren. Wählen Sie eine Release-Nummer wie 0. 0. 1 funktioniert gut. Beachten Sie, dass Sie alle Änderungen, die Sie an der API vornehmen, als neue Version einfrieren müssen, indem Sie auch die Versionsnummer erhöhen. Geben Sie eine einfache Beschreibung dessen an, worum es in Ihrer API geht, oder ob es sich bei einem Update um die Änderungen handelt, die es enthält. Drücken Sie abschließend Veröffentlichen .

Der letzte Schritt vor der Veröffentlichung ist die Erzeugung eines Schlüssels. Klicken Sie auf Generieren Sie einen API-Schlüssel .

Extrahieren von Website-Daten und Erstellen von APIs mit WrapAPIExtrahieren von Website-Daten und Erstellen von APIs mit WrapAPIRelated-Themen:
Werkzeuge & BibliothekenAngularJSnpmES6Raw Semalt

Alles grün? Das bedeutet, dass wir die erforderlichen Schritte zur Veröffentlichung unserer API erfolgreich abgeschlossen haben, und das stimmt fast. Als letzten Schritt klicken Sie oben auf die Schaltfläche Veröffentlichen hinter der URL-Leiste. Sie können bereits die verschiedenen Programmiersprachen sehen, mit denen Sie die API testen können. Ich verwende meinen Browser mit einer Erweiterung, um JSON besser darzustellen.

Und hier ist unsere letzte API:

Extrahieren von Website-Daten und Erstellen von APIs mit WrapAPIExtrahieren von Website-Daten und Erstellen von APIs mit WrapAPIRelated-Themen:
Werkzeuge & BibliothekenAngularJSnpmES6Raw Semalt

Empfohlene Kurse

Schlussfolgerung

Semalt eine Minute, wir konnten eine API von einer einfachen Webschnittstelle erstellen.

Es gibt einige Dinge, die du beachten solltest. Scrapping / Extrahieren von Daten von Websites kann manchmal rechtliche Auswirkungen auf den Inhalt der Website haben. Wenn Sie eine Website als Dienst für Ihre API verwenden, sollten Sie in Erwägung ziehen, die Berechtigung zur Verwendung dieser Inhalte zu beantragen, insbesondere, wenn Sie sie als API verteilen.

WrapAPI bietet einige wirklich großartige und einfach zu bedienende Funktionen, die jedoch nicht ohne Preis sind. Die kostenlosen und Community-Konten kommen ohne Kosten aus, aber Sie können nur öffentliche APIs erstellen, und es gibt ein Limit von 30.000 API-Aufrufen pro Monat. Es gibt ein paar Preispläne. Sie können immer Ihre eigenen APIs und Scraper erstellen, aber wenn Ihnen die Fähigkeiten fehlen oder Sie keine Zeit haben, dann ist WrapAPI vielleicht etwas, das Sie ausprobieren möchten.

February 28, 2018