Artikel

Geschichte von Spark I - Geschichte

Geschichte von Spark I - Geschichte



We are searching data for your request:

Forums and discussions:
Manuals and reference books:
Data from registers:
Wait the end of the search in all databases.
Upon completion, a link will appear to access the found materials.

Funke I

(Brig: t. 310; Ibp. 103'; T. 25'4N; dph. 12'8"; kpl. 90;
A. 10 18-pdr. Auto., 2 lange 18-pdr.)

Der erste Spark – ein 1813 in Sag Harbor, Long Island, N.Y. gebauter Freibeuter – wurde 1814 von der Marine in Baltimore für den Dienst im Krieg mit England gekauft. Der Krieg endete jedoch, bevor die Brigg zum aktiven Dienst gegen die Royal Navy in See stechen konnte.

Spark, kommandiert von Lt. Thomas Gamble, verließ New York am 20. Mai 1815 und segelte in Richtung Mittelmeer für Operationen im Geschwader von Commodore Stephen Decatur gegen Piraten von Algier. Sie erreichte Gibraltar am 15. Juni und half zwei Tage später bei Operationen, die zur Einnahme des algerischen Flaggschiffs Mashuda in der Nähe von Cape de Gatt führten. Am 19. half sie Epervier, Torch und Spitfire dabei, Estedo an Land zu bringen, wo sie an Bord ging und gefangen genommen wurde. Nach einer Kreuzfahrt im Mittelmeer durch den Sommer segelte Spark am 6. Oktober in einem Geschwader unter dem Kommando von Commodore William Bainbridge nach Hause und erreichte am 15. November Newport, R.I., und wurde zur Reparatur aufgelegt.

Am 1. Juli 1816 wieder in Dienst gestellt, segelte die Brigg am 6. September erneut in Richtung Mittelmeer mit einem Brief des Präsidenten der Vereinigten Staaten zum Tag von Algier und der Ernennung von Kommodore Isaac Chauncey und Generalkonsul Shalter zu Friedensverhandlungen. Spark kreuzte im Mittelmeer, bis er 1821 nach Hause zurückkehrte.

Im Herbst 1821 verließ Spark, jetzt unter dem Kommando von Lt. John H. Elton, Boston für Operationen gegen Piraten in die Karibik. Im Januar 1822 erbeutete er eine holländische Schaluppe und brachte sie und sieben Piraten zum Prozess nach Charleston, SC. Sie kehrte in die Karibik zurück und verbrachte über drei Jahre damit, Freibeuter zu unterdrücken. Die Brigg kehrte 1825 nach Hause zurück und wurde 1826 in New York verkauft.


Jeder SparkContext startet standardmäßig eine Web-Benutzeroberfläche auf Port 4040, die nützliche Informationen über die Anwendung anzeigt. Das beinhaltet:

  • Eine Liste der Planungsphasen und -aufgaben
  • Eine Zusammenfassung der RDD-Größen und der Speichernutzung
  • Umweltinformationen.
  • Informationen zu den laufenden Executoren

Sie können auf diese Schnittstelle zugreifen, indem Sie einfach http://<driver-node>:4040 in einem Webbrowser öffnen. Wenn mehrere SparkContexts auf demselben Host ausgeführt werden, werden sie an aufeinanderfolgende Ports beginnend mit 4040 (4041, 4042 usw.) gebunden.

Beachten Sie, dass diese Informationen standardmäßig nur für die Dauer der Anwendung verfügbar sind. Um die Web-UI nachträglich anzuzeigen, setzen Sie spark.eventLog.enabled auf true, bevor Sie die Anwendung starten. Dadurch wird Spark so konfiguriert, dass Spark-Ereignisse protokolliert werden, die die in der Benutzeroberfläche angezeigten Informationen im persistenten Speicher codieren.


Unsere Geschichte

Seit 25 Jahren nachhaltige Arbeitsplätze für junge Menschen in fragilen Staaten schaffen. Lesen Sie unsere Geschichte.

Jugendsolidarität in Aktion
1994 ging der Bosnienkrieg in sein zweites Jahr. Obwohl Kriegsverbrechen und Gräueltaten weitergingen, verblasste die Berichterstattung in den westlichen Medien schnell. Eine Gruppe junger Studenten in Amsterdam gründete die Jugendsolidarität mit dem ehemaligen Jugoslawien (SPARK), um die Geschehnisse hervorzuheben. Sie führten riesige Märsche durch die Straßen der niederländischen Hauptstadt und riefen dazu auf, die Gewalt zu beenden.

1996-2008

Lernmöglichkeiten schaffen

Nach dem Bosnienkrieg und dem Zerfall des ehemaligen Jugoslawiens wollten junge Menschen die Dinge selbst in die Hand nehmen und ihre Länder wieder aufbauen. Dafür fehlten ihnen jedoch die Bildungschancen.

SPARK begann mit der Organisation der ersten internationalen Sommerschulen in der Region. Dozenten aus der ganzen Welt reisten an, um junge Menschen beider Seiten der Konflikte inmitten von Stromknappheit, Mangel an angemessenen Unterkünften und Unruhen zu unterrichten.

Wachsende Unternehmen in Palästina

Während die Sommerschulen in Tuzla, Pristina und Mitrovica, 2000 km östlich des Balkans, florierten, sahen sich junge Absolventen im Westjordanland und im Gazastreifen vergeblichen Berufsaussichten gegenüber.

Durch die Zusammenarbeit mit lokalen Organisationen hat SPARK Gründerzentren gegründet, um jungen Start-ups zu helfen, erfolgreich zu sein und neue Arbeitsplätze in einem Umfeld mit 70 % Arbeitslosigkeit zu schaffen.

Ländliche Landwirte zu Agrarunternehmern

Inmitten sporadischer gewaltsamer Konflikte und wirtschaftlicher Instabilität stellte SPARK fest, dass in Ländern wie dem Jemen und dem Südsudan die Verbesserung des Agrarsektors die Arbeitslosigkeit bekämpfte und die dringend benötigte Ernährungssicherheit steigerte. Speziell auf lokale Wertschöpfungsketten zugeschnittene Unterstützungsprogramme für die Agrarindustrie haben Subsistenzbauern in vielbeschäftigte Handelsunternehmen und Genossenschaften verwandelt.

10.000 Stipendien

Der Konflikt in Syrien bedroht weiterhin den Zugang junger Menschen zu Bildung und menschenwürdiger Arbeit.

Als Reaktion darauf hat SPARK mit Hunderten von Bildungsinstituten, staatlichen und lokalen Organisationen zusammengearbeitet, um Stipendien für Hochschul- und Berufsbildung für Jugendliche in benachbarten Gastländern bereitzustellen.

SPARK ist mittlerweile der größte Stipendiengeber für syrische Flüchtlinge im Nahen Osten.

Heute

Nach 25 Jahren Anpassung an herausfordernde Kontexte hat sich SPARK zu einem Experten für sechs Schlüsseldienste entwickelt, die Wege zur Beschäftigung in fragilen und von Konflikten betroffenen Regionen schaffen.

Indem wir den privaten und öffentlichen Sektor, politische Entscheidungsträger und NGOs vereinen, geben wir jungen Menschen die Werkzeuge an die Hand, die sie brauchen, um in Regionen erfolgreich zu sein, die von Konflikten, Klimakrisen und Vertreibung betroffen sind.


Inhalt

Der Postal Services Act 1987 teilte die damalige neuseeländische Post in New Zealand Post Limited (handelnd als NZPost), Telecom New Zealand Limited (handelnd als Telecom) und Post Office Bank Limited (handelnd als PostBank, verkauft an ANZ 1989) und alle drei Branchen schrittweise dereguliert. Der Verkaufspreis von Telecom wurde von einigen als extrem niedrig angesehen, da Telecom zu dieser Zeit das Monopol aller Telefonleitungen in Neuseeland hatte. [8]

1990er Bearbeiten

1990 wurde Telecom für 4,25 Milliarden NZ$ an zwei in den USA ansässige Telekommunikationsunternehmen Verizon Communications (ehemals Bell Atlantic) und Ameritech verkauft. [9] Nach der Privatisierung von Telecom wurde der Kiwi Share-Vertrag ausgearbeitet, der eine Bestimmung enthielt, dass das Unternehmen kostenlose Ortsgespräche für Privatkunden behielt. [10]

1991 wurde Telecom an den neuseeländischen, australischen und New Yorker Börsen notiert. Im folgenden Jahr implementierte Telecom eine Glasfaserkabelverbindung im Wert von 200 Millionen NZ$ zwischen Australien und Neuseeland. Ebenfalls 1991 wurde Roderick Deane zum CEO des Unternehmens ernannt. 1993 reduzierten Ameritech und Bell Atlantic ihren Anteil an Telecom auf zusammen 49,6 %, und BellSouth New Zealand Limited (BellSouth), die später von Vodafone übernommen wurde, errichtete das erste Mobilfunknetz, das mit Telecom konkurrierte.

1995 schloss Clear Communications mit Telecom eine Vereinbarung über die Zusammenschaltung lokaler Dienste. Ebenfalls 1995 gründete Telecom First Media Ltd, um ein Kabelfernsehnetz in Auckland und Wellington, genannt First TV, aufzubauen. 1996 richtete Telecom in den Vereinigten Staaten eine Telefonzentrale für den internationalen Verkehr ein und startete Xtra, den heute größten Internetdienstanbieter Neuseelands. [ Zitat benötigt ]

1997 kaufte Telecom 1 Milliarde NZ$ seiner Aktien zurück. Im folgenden Jahr verkaufte Ameritech seine 24,8 %-Beteiligung an einem internationalen öffentlichen Angebot, und Bell Atlantic gab Umtauschanleihen aus, die in die von ihm gehaltenen Telekom-Aktien umgewandelt werden konnten. Ebenfalls 1998 kündigte Southern Cross Cables Limited (zur Hälfte im Besitz von Telecom) Pläne zum Bau eines Glasfaserkabels an, das Neuseeland mit Australien und Nordamerika verbindet, und Vodafone New Zealand kaufte BellSouth und startete eine Kampagne, um Telekommunikationskunden für sein Netz zu gewinnen. [ Zitat benötigt ]

Im Dezember 1997 [11] wurde Patricia Reddy in den Telekom-Vorstand berufen. Sie blieb bis 2008 dabei. [12] Im März 2016 wurde sie als Dame Patsy Reddy zum designierten Generalgouverneur von Neuseeland ernannt.

1999 gründete Telecom eine Präsenz in Australien und kaufte 78 % von AAPT, Australiens drittgrößtem Telekommunikationsunternehmen. Telecom hat sein landesweites Münztelefonnetz auf Smartcard-Technologie aufgerüstet. Der auf der ADSL-Technologie basierende Breitband-Internetdienst von Telecom, JetStream genannt, wurde eingeführt und schrittweise in lokalen Vermittlungsstellen eingeführt. Zu dieser Zeit begann Telecom auch, Kunden, die über eine lokale Einwahlnummer mit dem Internet verbunden waren, Gebühren in Rechnung zu stellen, wodurch alle ISPs in Neuseeland gezwungen wurden, auf eine 0867-Einwahlnummer umzusteigen. Dies führte zu Beschwerden, dass dies gegen die Kiwishare-Vereinbarung von Telecom verstieß, bei der Privatkunden kostenlose Ortsgespräche gestattet sind. Abgerundet wurde das Jahrzehnt mit der Ernennung von Theresa Gattung zur neuen CEO von Telecom und Rod Deane zum Vorsitzenden. [ Zitat benötigt ]

2000er Bearbeiten

Im Jahr 2000 konnte Xtra seinen 300.000sten Kunden gewinnen. Telecom hat auch ihre Beteiligung an AAPT auf 100 % erhöht.

Anfang 2002 gab es Beweise dafür, dass Telecom einen unüberlegten oder betrügerisch auf Bestellung gefertigten Rechnungslegungsstandard (FRS38) ausgenutzt hatte, um den für das Jahr 2001 ausgewiesenen Gewinn um etwa 263 Mio. USD zu erhöhen. [13] Dieser Standard verlangt von Holdinggesellschaften, Gewinne und Verluste von assoziierten Unternehmen im Wege der „Equity Accounting“ in ihre Konzernrechnung aufzunehmen, es sei denn, das assoziierte Unternehmen ist zahlungsunfähig. Die Insolvenz wurde fälschlicherweise als wesentlicher Beweis dafür angesehen, dass die Holdinggesellschaft nicht mehr an den Gewinnen und Verlusten des assoziierten Unternehmens beteiligt ist. Das verbundene Unternehmen Southern Cross Cables zahlte Telecom 263 Mio. USD an Dividenden gemäß (Anmerkung 2 des) Jahresabschlusses 2001 von Telecom [14] 200 Mio. USD gemäß dem Jahresabschluss von Southern Cross. [15] Southern Cross wurde im November 2000 für das (eingeschränkte) Geschäft eröffnet und seine Betriebseinnahmen betrugen bis zum 30. Juni 2001 nur 13 Mio. US-Dollar (55 Mio. US-Dollar für das Jahr 2002). Southern Cross war zum 30. Juni 2000 in Höhe von 24 Mio. US-Dollar zahlungsunfähig und erhöhte sich im Juni 2001 aufgrund der Dividenden und sonstigen (Netto-)Aufwendungen auf 280 Mio. US-Dollar (328 Mio. US-Dollar im Jahr 2002). Die Dividenden wurden in den Konten von Telecom als Einkünfte behandelt, wobei in FRS 28 nichts darauf hinweist, dass dies nicht der Fall sein sollte, obwohl eine solche Einbeziehung gegen eine allgemeine Anforderung verstieß, dass die Konten ein angemessenes Bild darstellen.

2003 wurde ein neues Logo eingeführt. [16] [ bessere Quelle benötigt ]

2004 kaufte Telecom Gen-i Ltd (im Mai) und Computerland Ltd (im September). Das Unternehmen gewann auch den Roger Award für The Worst Transnational Corporation, die in Neuseeland tätig ist.

Im Jahr 2005 führte Telecom "Bitstream" ein, einen 256-kbit-ADSL-Dienst, der zu Großhandelspreisen (etwa 10 % unter dem Einzelhandelspreis) an andere ISPs verkauft wird. Telecom erzielte ebenfalls einen Gewinn von 916 Millionen NZ$. Das Unternehmen startete auch den Online-Einzelhandelsshop Ferrit mit rund 150 Einzelhändlern. [17]

  • 9. Mai: Ein am 2. März aufgenommener Audioclip wurde veröffentlicht, in dem Theresa Gattung, CEO von Telecom, zugibt, dass Verwirrung als wichtigstes Marketinginstrument in der Branche verwendet wird. In der Aufzeichnung vom März wurde die neuseeländische Regierung auch als „zu schlau, um etwas Dummes zu tun“ in Bezug auf die Regulierung abgetan. [18]
  • Ende Mai: Roderick Deane tritt als Vorsitzender zurück und wird im folgenden Monat durch Wayne Boyd ersetzt.
  • Juli: Matt Crockett wird zum CEO der neu gegründeten Wholesale-Division von Telecom ernannt. [19]
  • Alle Computerland-Filialen in ganz Neuseeland werden in Gen-i umbenannt.
  • 16. Januar: Die Librarians Association of New Zealand reicht eine Beschwerde über eine Telekom-Werbung ein, in der 3 junge Schulkinder sagen: "Nur dumme Kinder lesen Bücher, kluge Kinder haben Breitband." Ursprünglich gab Telecom an, dass dies die Ansichten der kleinen Kinder und nicht die von Telecom sind und die Werbung nicht geschrieben wurde. Später in dieser Woche entschied sich Telecom, die Werbung zu bearbeiten, um die von den Kindern gemachten Kommentare zu entfernen. [Zitat benötigt]
  • 19. Januar: Es wird berichtet, dass Paritai Drive, Orakei, eine der reichsten Straßen in Auckland, immer noch nicht in der Lage ist, einen BreitbandSL-Dienst zu empfangen, und es gibt viele andere gut besiedelte Gebiete in Neuseeland, die immer noch nicht in der Lage sind, Breitband zu empfangen. Oppositionelle Woosh Wireless testete sofort ihren Dienst in der Gegend und gab den Bewohnern die Möglichkeit, sich ihrem drahtlosen Breitbanddienst anzuschließen. [20][21]
  • 5. Februar: Telecom gibt bekannt, dass sie ab März 2007 mit der Einführung von ADSL2+ beginnen werden, mehr als ein Jahr nach der ursprünglichen Einführung.
  • 31. März: Die Telekom schaltet ihr altes 025 D-AMPS/TDMA-Netz ab, alle 025-Telefone werden auf 027 (CDMA) umgestellt.
  • Mai 2007: British Telecom hat mit der neuseeländischen Regierung über die Monopolkontrolle der Telekom über das neuseeländische Breitbandnetz gesprochen. Drei bis vier Jahre zuvor befand sich British Telecom in einer ähnlichen Position wie NZ Telecom jetzt im britischen Breitbandnetz ist inzwischen aufgelöst und die neuseeländische Regierung ist bestrebt, das von die britische Firma.
  • Die Handelskammer von Auckland erklärte öffentlich, dass Telecom, wenn sie nicht in ein Hochgeschwindigkeitsnetz der nächsten Generation investieren würde, das mit dem anderer westlicher Nationen vergleichbar ist, einen privaten glasfaserbasierten Dienst im 100-Megabit-Geschwindigkeitsbereich finanzieren würde. Die geplante Abdeckung hierfür würde sich innerhalb von 200 m von einem Weg befinden, der südlich von Auckland CBD verläuft (so gelegen, dass so viele Unternehmen wie möglich verbunden werden können). Jeder Firma oder Privatperson in diesem Bereich würde ein Anschluss angeboten.
  • 28. Juni: Telecom gab bekannt, dass Paul Reynolds, CEO von BT Wholesale, zum neuen CEO gewählt wurde, der am 27. September an den Start geht. [22]Simon Moutter wurde zwischenzeitlich zum stellvertretenden CEO ernannt. [23]
  • 30. Juni: Theresa Gattung tritt als CEO zurück, [24] mit einer gemeldeten Austrittszahlung von 5,125 Millionen US-Dollar. [25]
  • 27. September: Dr. Paul Reynolds tritt als CEO von Telecom an.
  • 21. November: Mark Ratcliffe, Chief Operating Officer für Technologie, wird zum CEO der bald ausgegliederten Netzwerksparte von Telecom ernannt.
  • 16. Januar: Telecom gibt die Gründung von Chorus, ihrer neuen Abteilung für Netzinfrastruktur, bekannt. [26][27]
  • 31. März: Telekom teilt sich offiziell in drei Divisionen (Chorus, Telecom Wholesale, Telecom Retail)
  • 1. April: Russ Houlden, ein Kollege von Reynolds bei BT, wird zum Chief Financial Officer ernannt. Er ersetzt Marko Bogoievski, der zu Infratil kam.
  • 12. Januar: Telekom gibt die Schließung ihres Online-Einzelhandelsgeschäfts bekannt Ferrit. [17]
  • August: Zwischen Chorus und der Engineering, Printing and Manufacturing Union kam es zu einem Arbeitskampf, nachdem Wartungsverträge in den Regionen Auckland und Northland an das australische Unternehmen Visionstream vergeben wurden, das plante, die Arbeitsverträge der Techniker in ein abhängiges Vertragsmodell umzuwandeln. [28][29]

Im Oktober wurde ein neues Logo angekündigt.

2010er Bearbeiten

  • November: Telekom zieht in ihr neu gebautes World HQ in der Victoria Street im CBD von Auckland. Es kostet den Entwickler 280 Millionen US-Dollar, wird aus 2700 Mitarbeitern bestehen und der größte Unternehmensumzug in der neuseeländischen Geschichte sein.
  • 24. Mai: Crown Fibre Holdings gab bekannt, dass Telecom bei der Partnerschaft mit der Regierung beim Aufbau eines Glasfasernetzes erfolgreich war.
  • 9. Juni: Die National Business Review enthüllt, dass das Department of Internal Affairs in OIA-Dokumenten der Ansicht ist, dass mindestens eine von der Telekom gesendete SMS gegen den Unsolicited Electronic Messages Act 2007 verstößt. [30]
  • 1. Dezember: Telecom veräußert sich von Chorus, dem Geschäftsbereich Network Infrastructure, im Rahmen eines One-for-Five-Share Deals, wobei Chorus ein separat börsennotiertes Unternehmen wird.
  • 9. Dezember: Telekom gibt Verkauf von AAPT für 450 Millionen AUD bekannt [31]
  • 21. Februar: Telecom gibt eine Namensänderung in „Spark“ bekannt, die am 8. August 2014 wirksam wurde [32], um die neue Ausrichtung und die neuen Bestrebungen des Unternehmens besser widerzuspiegeln. [7]
  • 25. Juni 2014: Spark kündigt Lightbox an, einen Online-Streaming-Dienst für Filme und Fernsehsendungen, der in Konkurrenz zu Netflix und SkyTV steht. [33] Lightbox ging am 27. August 2014 live. [34]
  • 8. August: Telekom wird in Spark umbenannt. Einzelne Tochtergesellschaften des Unternehmens werden umbenannt, um die Namensänderung widerzuspiegeln: Telecom Mobile wird zu Spark Mobile, Telecom Foundation wird zu Spark Foundation, Gen-i wird in Spark Digital umbenannt. Das Unternehmen behielt das bestehende sternförmige Logo bei, wobei jede Abteilung eine andere Farbe für das Logo verwendete, z. B. Silber für Spark New Zealand, Orange oder Pink für Spark Home & Mobile Stores, Grün für Spark Business und Lila für Spark Digital.
  • 5.-7. September: Spark erleidet landesweite Ausfälle aufgrund einer Denial-of-Service-Attacke, von der angenommen wird, dass sie größtenteils von Malware stammt, die sich auf den Computern von Kunden installiert hat, wenn diese auf bösartige Links zu Prominentenfotos geklickt haben, die im August durchgesickert waren. [35]
  • 12. August: Spark veröffentlicht einen neuen Cloud-basierten Verbraucherdienst namens Morepork, der Smart-Home-basierte Sicherheitsdienste anbietet. Dies ermöglichte es Verbrauchern, Sicherheitshardware und -dienste über ein monatliches Abonnement für die Heimüberwachung zu erwerben, das mit ihrem Mobiltelefon verbunden war. [36]
  • 7. Dezember: Spark kauft Computer Concepts Ltd, ein auf der Südinsel ansässiges IT-Dienstleistungsunternehmen, für 50 Millionen NZD. [37]
  • 14. März: Spark startet seinen abonnementbasierten Sport-Streaming-Dienst Funkensport. Der Dienst würde gegen Sky Sport (Neuseeland) konkurrieren, das zu dieser Zeit ein nahezu Monopol auf Bezahl-TV-Sportrechte in Neuseeland hatte.
  • 19. Dezember: Es wurde bekannt gegeben, dass Spark seinen Streaming-Dienst Lightbox an das Satellitenfernsehunternehmen Sky Television verkauft, das Lightbox 2020 in seinen eigenen Online-Streaming-Dienst Neon verschmelzen will. Nach der Fusion wird Spark mit Sky zusammenarbeiten, um die Service, der Spark-Kunden über die Unterhaltungsangebote des Telekommunikationsunternehmens zur Verfügung steht. [38][39][40]

Mobilfunknetz Bearbeiten

Die Telekom begann 1987 mit den ersten Mobilfunknetzdiensten, die AMPS nutzten. Anfang der 90er Jahre ging dies zu digitalen D-AMPS-TDMA-Diensten über. Der Dienst im 800-MHz-Band bot eine hervorragende geografische Abdeckung und setzte viele Jahre lang die Messlatte für die Dienstleistung.

Im Jahr 1996 führte Telecom ein innovatives und erstes auf den Markt gebrachtes drahtloses Datenzellularnetzwerk namens CDPD (Cellular Digital Packet Data) ein, das IP-Verbindungen mit Mobilität ermöglichte. Von Produktmanager David Beale auf den Markt gebracht, gelang ihnen die allererste Verbindung von iOT-Geräten in der Region, die unter anderem Coke's Vending Machines, NZ Posts Couriers und Parcel Tracking and Telemetry Data von den Americas Cup Yacht Races in Auckland verbindet um einen Echtzeit-TV-Grafikdienst zu füttern.

Telecom Mobile, die Mobilfunksparte von Telecom, erreichte 1998 500.000 Mobilfunkkunden, die mit ihrem Netz verbunden waren, die sich bis 2000 auf eine Million Kunden verdoppelten als Reaktion auf Bedenken bezüglich Datenschutz und Sicherheit an die Voicemail eines anderen Benutzers gesendet werden, wurde dieses Netzwerkproblem behoben.

Am 31. März 2007 wurde das Mobilfunknetz 025 D-AMPS ("TDMA") geschlossen. [41] Am 8. Juni dieses Jahres kündigte Telecom Mobile dann Pläne an, ein hybrides W-CDMA/UMTS-CDMA-850-MHz-Netz zu bauen, [42] basierend auf der WCDMA-HSPA-Technologie, um schließlich das aktuelle CDMA EV-DO-Netz zu ersetzen . Am 29. Mai 2009 hat Telecom sein neues Netz unter der Marke "XT" der Öffentlichkeit vorgestellt. [43]

Im Dezember 2009 [44] und Februar 2010 [45] [46] erlebte das neue XT-Mobilfunknetz von Telecom für viele Kunden an Standorten im Süden von Taupo aufgrund eines Ausfalls des Funknetzwerk-Controllers in Christchurch hochkarätige Ausfälle. Als Folge des Dienstausfalls bot Telecom seinen Kunden ein Entschädigungspaket in Höhe von fünf Millionen Dollar an. [47]

Im April 2010 veröffentlichte Telecom sein erstes Android-Handy im XT Mobile Network, das LG GW620.

Am 31. Juli 2012 wurde das Mobilfunknetz von Telecom CDMA geschlossen. [48]

Im September 2013 hat Telecom offiziell ein neues Ultra Mobile-Branding und -Pläne eingeführt. Diese Pläne beinhalten ein kostenloses 4G-Upgrade (4G wurde später im November 2013 verfügbar gemacht) mit 1 GB Daten pro Tag von Telekom-WLAN-Hotspots. [49] Im Oktober 2013 beantragte Telecom die Genehmigung zum Erwerb von Verwaltungsrechten für Teile des 700-MHz-Spektrums mit der Absicht, den Ausbau seines 4G-Mobilfunknetzes zu unterstützen. [50]

Branchenregulierung und Unternehmensumstrukturierung Bearbeiten

Im Jahr 2000 führte die neuseeländische Regierung eine umfassende Überprüfung des Regulierungssystems in der Telekommunikationsbranche durch. Anschließend wurde 2001 das Telekommunikationsgesetz verabschiedet, das unter anderem die Funktion eines Telekommunikationsbeauftragten festlegte.

In einer Entscheidung der Regierung vom 3. Mai 2006 wurde Telecom gezwungen, den Teilnehmeranschluss zu entbündeln, um "den Zugang zu einem schnellen Breitband-Internet zu wettbewerbsfähigen Preisen" zu ermöglichen. [51] Die Entscheidung hatte erhebliche Auswirkungen auf den Marktanteil des Unternehmens [52] und ermöglichte es Wettbewerbern (wie TelstraClear, Orcon und Ihug), Breitband- und andere Kommunikationsdienste in ganz Neuseeland anzubieten, indem sie ihre eigenen Geräte in Vermittlungsstellen installieren. [53] [54] Die Bekanntgabe dieser Entscheidung erfolgte überstürzt, da die Dokumente an die Telekom durchgesickert waren, die die Regierung über das Leck informierte. Es wurde allgemein berichtet, dass die Regierung beabsichtigt hatte, die Ankündigung während des Haushalts 2006 zu machen. Die meisten Konkurrenten von Telecom und viele unabhängige Kommentatoren wie InternetNZ und Paul Budde begrüßten die Entscheidung, wobei der Business Roundtable, Federated Farmers und Bruce Sheppard (die Aktionäre von Telecom vertraten) Widerstand gegen die Entbündelung leisteten. Gesetze wurden eingeführt, um die regulatorischen Änderungen zu ermöglichen. Drei andere politische Parteien (New Zealand First, [55] die Green Party [56] und United Future) [57] unterstützten die Entscheidung, die der Regierung mindestens 66 Stimmen geben würde, wenn es keine Stimmen gegen die Parteilinie gäbe. Die größte Oppositionspartei National Party war zunächst gegen die Entflechtungsentscheidung, stimmte aber später nach einer Anhörung im Sonderausschuss dafür. Dies ließ die ACT-Partei allein, sich der Entscheidung zu widersetzen.

Das Unternehmen war dann von einer Reihe weiterer Regierungsentscheidungen betroffen. Erstens entschied die Handelskommission Anfang Juni 2006 zum strittigen Thema der Mobilfunk-Terminierungsgebühren und kündigte an, dass Anrufe zwischen einem Festnetz- und einem Mobiltelefon innerhalb einer geografisch definierten Grenze terminierungsgebührenfrei verbunden werden können. Dieses Urteil ermöglichte es Vodafone New Zealand, ein Mobiltelefonprodukt zu etablieren, das auch kostenlose Ortsgespräche ermöglicht. Dann gewährte die Handelskommission zwei Konkurrenten von Telecom, CallPlus und ihug, Zugang zu einem uneingeschränkten, entbündelten Bitstream-Dienst, der es ihnen ermöglichen würde, wettbewerbsfähige Breitbanddienste bereitzustellen. [ Zitat benötigt ]

Am 27. Juni 2006 gab das Unternehmen bekannt, dass es sein Geschäft freiwillig in zwei separate operative Geschäftsbereiche – Großhandel und Einzelhandel – aufteilen wird. [58] Die Regierung führte im November 2006 das Gesetz zur Änderung der Telekommunikation ein, um die Telekom zu zwingen, ihr Netz für Konkurrenten zu öffnen. Der Gesetzentwurf teilte die Telekom ab 31. März 2008 offiziell in drei Geschäftsbereiche auf, wobei der Netzzugang von den Großkunden- und Endkundeneinheiten getrennt wurde. [59]

Im Januar 2012 hat Telecom ein neues Mobilfunknetz für den Jugendmarkt mit dem Namen Dünnes Handy [60]

Am 28. März 2013 kündigte Telecom an, den Personalbestand durch Beschränkungen der Einstellungsaktivitäten und Entlassungen zu reduzieren. Dies folgte aus Spekulationen der Abgeordneten Clare Curran, dass bis zu 1500 Stellen im Unternehmen gestrichen würden. [61]

Spark ist Neuseelands größter Internetdienstanbieter. Es hieß früher Xtra. Der nächstgrößte ISP auf dem neuseeländischen Markt ist Vodafone NZ, eine Position, die es mit dem Kauf von TelstraClear im Jahr 2012 erworben hat. [62] [ bessere Quelle benötigt ]

Spark bietet asymmetrische digitale Teilnehmeranschlüsse (ADSL), digitale Teilnehmeranschlüsse mit sehr hoher Bitrate (VDSL) und Festnetz-Breitband über Glasfaser bis zum Standort (FTTP). FTTP-Kunden können zwischen 30/10 Mbit/s, 100/20 Mbit/s, 200/20 Mbit/s, 200/200 Mbit/s oder in ausgewählten Gebieten 900/400 Mbit/s Maximalgeschwindigkeit (down/up .) wählen ) Die Download-Geschwindigkeiten von ADSL- und VDSL-Kunden sind nur auf die Leistung ihres Anschlusses und ihrer Geräte beschränkt. Alle drei bieten sowohl datenbegrenzte als auch unbegrenzte Pläne an. Kunden mit Datenlimit können wählen, ob sie pro GB (oder einem Teil davon) über ihr Datenlimit hinaus zahlen oder ihre Geschwindigkeit kostenlos auf 128 kbit/s drosseln lassen, sobald sie das Limit überschreiten. Unbegrenzte Pläne haben keine Datenobergrenzen.

Spark Ultra Mobile ist nach Vodafone der zweitgrößte Mobilfunkanbieter Neuseelands nach Marktanteil. [63] Das Mobilfunknetz von Telecom wurde als "XT" bezeichnet und arbeitet landesweit mit 850 MHz (mit etwa 2100 MHz Overlay in städtischen Gebieten) und bietet überall dort, wo Abdeckung vorhanden ist, 3G-Datenkonnektivität.

Telecom betrieb ursprünglich ein TDMA (AMPS, Digital D-AMPS/TDMA)-Mobilfunknetz, das durch sein CDMA-Netz abgelöst wurde. Das TDMA-Netzwerk wurde am 31. März 2007 abgeschaltet, und die meisten seiner Kunden wechselten zu CDMA. Das CDMA EV-DO-Netzwerk wurde als T3G vermarktet, ein 2 MB mobiles System der dritten Generation. Telecom kündigte am 8. Juni 2007 die Absicht an, ein W-CDMA/UMTS-Netz [42] mit dem Namen XT Mobile Network auf der Grundlage der WCDMA-HSPA-Technologie aufzubauen, um sein derzeitiges CDMA EV-DO-Netz zu ersetzen. Das Netz wurde am 29. Mai 2009 in Betrieb genommen. Die Spezifikationen von XT wurden ausgewählt, um es mit einer Reihe anderer Netze in Überseegebieten in Einklang zu bringen, wie z dringen effektiver in Gebäude ein als höhere Frequenzen. Das CDMA-Netz lief parallel zu XT, bis es am 31. Juli 2012 abgeschaltet wurde.

Das TDMA-Netz verwendete die Mobilfunkvorwahl 025 mit einer Mischung aus sechs- und siebenstelligen Teilnehmernummern. Mit dem Wechsel zu CDMA migrierte Telecom auf das Präfix 027 und standardisierte die Teilnehmernummern auf sieben Ziffern, wobei eine 4 an den Anfang der alten sechsstelligen Nummern angehängt wurde.

Kundenzahlen und Marktanteil Bearbeiten

Im Jahr 2005 führte Telecom das erste 3G-Netz Neuseelands unter dem Markennamen T3G ein. Als erster Anbieter auf dem 3G-Markt konnte Telecom zusammen mit aggressivem Marketing und einem SMS-Paket von 10 US-Dollar pro Monat einen Teil des Marktanteils von Vodafone zurückgewinnen. Im November 2005 meldete Telecom 72.000 neue Mobilfunkkunden, gegenüber 27.000 bei Vodafone.

Im Jahr 2009 ging der Mobilfunkanteil weiter zurück, da der Newcomer 2degree in den Markt eintrat, sowohl Vodafone als auch Telecom verloren Kunden (25.000 bzw. 19.000), von denen Telecom einige aufgrund ihres unzuverlässigen Images nach ihren Ausfällen verlor. Als Reaktion darauf verstärkte Telecom ihr Marketing und verbesserte ihre Tarifangebote.

Im Folgenden sind Kundenzahlen und Marktanteilsinformationen für Telecom Mobile aufgeführt, die sowohl die jetzt abgeschalteten TDMA- und CDMA-Netze als auch das aktuelle XT-Netz abdecken.

Quartal Anzahl Kunden Marktanteil %
Dezember 1999 858,000 68.37%
Dezember 2000 1,150,000 60.43%
Dezember 2001 1,379,000 56.94%
Dezember 2002 1,229,000 50.18%
Dezember 2003 1,298,000 49.95%
November 2005 1,600,000 46%
März 2007 1,900,000 49%
Februar 2010 2,152,000 44.4%
August 2012 1,600,000 32.2%

Spark Sport ist ein neuseeländischer Sport-Streaming-Dienst, der Spark besitzt und von ihm betrieben wird. Der Dienst wurde am 14. März 2019 gestartet, nachdem Spark die neuseeländischen Übertragungsrechte für verschiedene World Rugby-Events einschließlich der Rugby-Weltmeisterschaft 2019 ein Jahr zuvor erhalten hatte. Während dieser Zeit erhielt Spark Sport die Rechte an mehreren anderen Sportarten, um seinen Katalog zu erstellen, bis der Streaming-Dienst zum Start bereit war, wurde die Berichterstattung an TVNZ unterlizenziert. Seine erste große Live-Sportübertragung war das Streaming des australischen F1 Grand Prix 2019.

Es gab Bedenken, dass die Übertragung der Rugby-Weltmeisterschaft durch Spark unter den neuseeländischen Internetkapazitäten insbesondere in ländlichen Gemeinden Probleme haben könnte, und erwartete Zuschauerzahlen beim Streamen von Spielen, die zu ähnlichen Problemen wie bei der Übertragung der FIFA Fussball-Weltmeisterschaft 2018 von Optus Sport in Australien führen würden. Am zweiten Tag der Rugby-Weltmeisterschaft litt Spark Sport während des Live-Streams des Spiels zwischen Neuseeland und Südafrika unter technischen Problemen, sodass die Zuschauer das Spiel nicht sehen konnten TVNZ Duke im Rahmen eines Notfallplans mit dem frei empfangbaren Sender TVNZ für Probleme während der Rugby-Weltmeisterschaft. Die Zuschauer meldeten während des gesamten Turniers weiterhin Probleme, obwohl Spark antwortete, dass es keine Probleme von ihrem Ende im Broadcast-Feed gab und dass die aufgetretenen Probleme auf die Konfiguration der Streaming-Geräte des einzelnen Zuschauers zurückzuführen seien.

Nach der Übertragung der Rugby-Weltmeisterschaft 2019 gab Spark Sport bekannt, einen sechsjährigen Übertragungsvertrag mit New Zealand Cricket für alle in Neuseeland gespielten nationalen und internationalen Cricket-Spiele abgeschlossen zu haben. Die Rechte wurden zuvor über 25 Jahre von Sky Sport gehalten. Die Berichterstattung von Spark Sport über Cricket wird von Scotty Stevenson präsentiert, mit regelmäßigen Analysten und Kommentatoren wie Mark Richardson, Craig McMillan, Craig Cumming, Brendon McCullum, Grant Elliott, Stephen Fleming, Rebecca Rolls und Frances Mackay.

Spark Sport wird der Host Broadcaster der Rugby-Weltmeisterschaft der Frauen 2021 in Neuseeland sein.

Spark hatte zuvor Sport über seinen Abonnement-Video-On-Demand-Dienst Lightbox übertragen, der mit Coliseum Sports Media zusammenarbeitete, um einen abonnementbasierten Sport-Streaming-Dienst namens Lightbox Sport bereitzustellen, der Golf, Fußball der englischen Premier League und französisches Top-14-Rugby streamt.

Sport Bearbeiten

    Nationales und internationales Cricket spielte in Neuseeland. Nationales und internationales Cricket spielte in Großbritannien.
  • Highlights von ICC-Veranstaltungen.

Als Telecom ein allgemeines Monopol in der neuseeländischen Telekommunikation innehatte, wurde es dafür kritisiert, dass es seinen etablierten Status nutzte, um hohe Preise zu verlangen. Die Preise sind in der Folge gesunken, da der Wettbewerb auf dem Markt zugenommen hat.

Wettbewerber behaupteten, Telecom habe unlautere Praktiken angewandt, um zu verhindern, dass sie an Boden gewinnen, indem sie beispielsweise Breitbandkapazitäten an Xtra zu niedrigeren Preisen als an andere ISPs weiterverkauft. [ Zitat benötigt ] Im Juli 2005 beschwerten sich zwei Dutzend Internetdienstanbieter formell per Brief bei der neuseeländischen Handelskommission. [64] Auf der Liste der Unterzeichner fehlten insbesondere der ISP von Telecom, Xtra, und mehrere ISPs, die sich im Besitz des Hauptkonkurrenten TelstraClear befinden. Am 1. Februar 2007 verlieh das Consumers' Institute Telecom seinen "Supreme Ass Award" für schlechte Produkte für seinen Xtra-Breitbanddienst Beschwerden über langsamere Geschwindigkeiten und frustrierende Ausschnitte". [65] Telecom wurde 2004 und 2007 mehr als einmal mit dem Roger Award ausgezeichnet – und erst das zweite Unternehmen, das als solcher ausgezeichnet wurde, wobei die nicht mehr existierende TranzRail das erste war. [66]

Das neuseeländische Finanzministerium schätzte den wirtschaftlichen Verlust aus dem (jetzt ehemaligen) Monopol der Telekom einmal auf 50 bis 250 Millionen Dollar pro Jahr. [ Zitat benötigt ] Eine andere Studie, die 1998 vom Konkurrenten Clear (später TelstraClear) in Auftrag gegeben wurde, schätzte den Verlust auf 400 Millionen US-Dollar pro Jahr. Auf Einzelhandelsebene sieht sich die Telekom nun in allen Bereichen dem Wettbewerb ausgesetzt – Mobilfunk, Internet, gebührenpflichtige Anrufe und, vorbehaltlich laufender Entwicklungen, bei Ortsgesprächen. Auf Netzwerkebene verkaufen diese Einzelhandelsdienste häufig Telekommunikations-Großhandelsprodukte weiter.

Telecom behauptete, [67] ein Grund für die schlechte Breitbandnutzung in Neuseeland sei die Tatsache, dass neuseeländische Privatkunden kostenlose Ortsgespräche genießen. Telecom erklärte: "Kunden haben die Möglichkeit, zu schnelleren Breitbanddiensten zu wechseln, aber kostenlose Ortsgespräche sind abschreckend, da sie die Einwahl so lange nutzen können, wie sie möchten" (dh sie müssen keine Gesprächsminutengebühr zahlen, während sie im Gegensatz zu vielen anderen Ländern, in denen Ortsgespräche kostenpflichtig sind). Einige Experten und Konkurrenten waren jedoch anderer Meinung – darunter der Sekretär der OECD. [68]

Telecom failed to reach their self-imposed goal of around 83,333 wholesale broadband customers by the end of 2005. During her opening address to parliament, Prime Minister Helen Clark criticised the state of the internet in New Zealand. [69] This was followed by extensive criticism in the media such as in two high-profile television programmes, in two episodes of Campbell Live (whose past major sponsors include Telecom), during which CEO Theresa Gattung was challenged by host John Campbell, and an episode of the New Zealand edition of Sonntag. Critical articles had been published by various magazines and newspapers, including the largest newspaper, Der New Zealand Herald. Of significance, many of these were lengthy and high-profile articles compared to many previous articles critical of Telecom — among the most noticeable of these was published by the National Business Review, in which it was stated that "Far from being 'Xtraordinary', as its multimillion dollar advertising would have you believe, Telecom is strangling the nation's advancement." While in Wellington for an ICANN meeting, Vint Cerf was reported to have made a personal visit to David Cunliffe, the telecommunications minister where it is believed he recommended that Telecom be unbundled. [70] [71] The government investigated whether it needed to force Telecom to unbundle the network, thereby allowing other companies access and improving broadband service for consumers.

From 2007, Yahoo! provided Telecom's email service, which came under heavy criticism in early 2013 following a spam and phishing attack described as the biggest to have ever hit the country. [72] Telecom and Yahoo! automatically reset tens of thousands of users' passwords. [73] In April, Telecom announced that despite the issue, it would keep Yahoo! on as an email provider. [74] Problems with Telecom's YahooXtra email continued into December 2013 and further into 2014 with the latest problems reported on 10 January. [75] They later moved their mail service to SMX, a New Zealand-based provider, in May 2017. [76]


History Server Configurations

In order to store event logs for all submitted applications, first, Spark needs to collect the information while applications are running. By default, the spark doesn’t collect event log information. You can enable this by setting the below configs on spark-defaults.conf

  • Enable by setting the configuration spark.eventLog.enabled to true .
  • Specify where to store the event log history using spark.history.fs.logDirectory and spark.eventLog.dir , by default the location is file:///tmp/spark-events . You need to create the directory in advance.

Spark keeps a history of every application you run by creating a sub-directory for each application and logs the events specific to the application in this directory.

You can also set the location like an HDFS directory so history files can be read by the history server.


Spark runs on Hadoop, Apache Mesos, Kubernetes, standalone, or in the cloud. It can access diverse data sources.

You can run Spark using its standalone cluster mode, on EC2, on Hadoop YARN, on Mesos, or on Kubernetes. Access data in HDFS, Alluxio, Apache Cassandra, Apache HBase, Apache Hive, and hundreds of other data sources.

Gemeinschaft

Spark is used at a wide range of organizations to process large datasets. You can find many example use cases on the Powered By page.

There are many ways to reach the community:

  • Use the mailing lists to ask questions.
  • In-person events include numerous meetup groups and conferences.
  • We use JIRA for issue tracking.

Contributors

Apache Spark is built by a wide set of developers from over 300 companies. Since 2009, more than 1200 developers have contributed to Spark!

The project's committers come from more than 25 organizations.

If you'd like to participate in Spark, or contribute to the libraries on top of it, learn how to contribute.

Einstieg

Learning Apache Spark is easy whether you come from a Java, Scala, Python, R, or SQL background:


Understanding the spark gap transmitter

One of the key issues with the spark gap transmitter was that few people really understood its operation. In 1906, Professor Max Wein of Danzig in Germany published a paper in which he detailed his thorough analysis of the mechanisms behind the generation of radio signals using spark gap transmitters.

One of the main issues was that Wein showed that it was not necessary to use a long spark to generate a powerful radio signal. He also showed that it was possible to create a high level of efficiency and a single frequency by having close coupling between the spark circuit and the antenna circuit.


History of Spark I - History

Donations to Segue are exclusively designated to support Passion Spark.

History of Passion Spark and Segue

The history of Passion Spark began with Segue Career Guidance Program, Inc., a 501(c)(3) nonprofit. Passion Spark shares the same core mission as Segue, &ldquoTo engage people today to support their career successes tomorrow.&rdquo Now, under contract to Segue, Passion Spark represents Segue's only activity to support the Segue mission. Passion Spark engages those of different ages, from high school, college, college alumni, and those in mid-career, to a much deeper and more engaging level than did Segue.

Specifically , Passion Spark's Retreat Workshops occur over 20 hours, whereas Segue's in-class career speakers presented for just 20 minutes. Participants in mid-career already know what's it's like work in a dissatisfying career. Younger participants who are not yet in a career are gently guided, preemptively, to "Do what you love AND earn a good living."

To support these outcomes, foundations and philanthropists have donated to Segue and specifically designated that their funds be used to support participants to attend Passion Spark Retreats.

Historically, Segue provided over 90,000 Student Career Exposures (SCE: One SCE is one exposure to one career option by one live in-class speaker). Over 50,000 of the Segue participants were from low to very low income households. Segue produced outstanding outcomes as measured by Harvard University and California Lutheran University, as well as by student and teacher testimonials. Findings by these universities are summarized below under the button titled "Research."

Segue was highly regarded in the community , as described in a 4-minute summary video by a Superior Court Judge, a school Superintendent, a county District Attorney, a County Sheriff, a Probation Chief, and others, as found below under the button titled "Testimonials."

Unique to Segue was its proprietary self-scheduling software system, which enabled speakers, everyday members of the workforce, to self-schedule a convenient time to speak in three consecutive high school or college classrooms, for 20 minutes each, at the frequency requested by the teachers/professors. Speakers brought students real world examples from a large variety of careers, their careers, and reported actual examples of how behaviors such as initiative and perseverance generate career success.


You can press control + R , then start typing to search for your command. You can then press enter to run, or you can edit the command before running, like in readline.

Yes It is possible to use the use HISTORY command in spark shell

scala> :history

scala> ctrl + r

dpeacock's answer is probably the best you can get currently.

If you look at this SO question you can see that you could load the history yourself, but loading and running it is another story as I cannot seem to find a way to get access to the ILoop variable, which is the interactive loop that you could run an interpret command through.

To load the history, just do

You could wrap this all up in an object, but without the ILoop you would still need to copy and paste. So. the short answer is not really

In Linux it will be present in /home/<userid>/scala_history for spark-shell


Spark Performance Monitoring with History Server

In this Apache Spark tutorial, we will explore the performance monitoring benefits when using the Spark History server. This Spark tutorial will review a simple Spark application without the History server and then revisit the same Spark app with the History server. We will explore all the necessary steps to configure Spark History server for measuring performance metrics. At the end of this post, there is a screencast of me going through all the tutorial steps.

This Spark Performance tutorial is part of the Spark Monitoring tutorial series.

What is the Spark History Server?

The Spark History server allows us to review Spark application metrics after the application has completed. Without the History Server, the only way to obtain performance metrics is through the Spark UI while the application is running. Don’t worry if this doesn’t make sense yet. I’m going to show you in examples below.

The Spark History server is bundled with Apache Spark distributions by default. The steps we take to configure and run it in this tutorial should be applicable to various distributions.

Spark Tutorial Overview

In this spark tutorial on performance metrics with Spark History Server, we will run through the following steps:

  1. Run a Spark application without History Server
  2. Review Spark UI
  3. Update Spark configuration to enable History Server
  4. Start History Server
  5. Re-run Spark application
  6. Review Performance Metrics in History Server
  7. Boogie
Step 1 Spark App without History

To start, we’re going to run a simple example in a default Spark 2 cluster. The Spark app example is based on a Spark 2 github repo found here https://github.com/tmcgrath/spark-2. But the Spark application really doesn’t matter. It can be anything that we run to show a before and after perspective.

This will give us a “before” picture. Or, in other words, this will show what your life is like without the History server. To run, this Spark app, clone the repo and run `sbt assembly` to build the Spark deployable jar. If you have any questions on how to do this, leave a comment at the bottom of this page. Again, the screencast below might answer questions you might have as well.

The entire `spark-submit` command I run in this example is:

`spark-submit --class com.supergloo.Skeleton --master spark://tmcgrath-rmbp15.local:7077 ./target/scala-2.11/spark-2-assembly-1.0.jar`

but again, the Spark application doesn’t really matter.

STEP 2 SPARK UI Review

After we run the application, let’s review the Spark UI. As we will see, the application is listed under completed applications.

spark tutorial completed applications

If we click this link, we are unable to review any performance metrics of the application. Without access to the perf metrics, we won’t be able to establish a performance monitor baseline. Also, we won’t be able to analyze areas of our code which could be improved. So, we are left with the option of guessing on how we can improve. Guessing is not an optimal place to be. Let’s use the History Server to improve our situation.

Step 3 Update Spark Configuration for History Server

Spark is not configured for the History server by default. We need to make a few changes. For this tutorial, we’re going to make the minimal amount of changes in order to highlight the History server. I’ll highlight areas which should be addressed if deploying History server in production or closer-to-a-production environment.

We’re going to update the conf/spark-defaults.conf in this tutorial. In a default Spark distro, this file is called spark-defaults.conf.template. Just copy the template file to a new file called spark-defaults.conf if you have not done so already.

Next, update 3 configuration variables

  • Set `spark.eventLog.enabled` to true
  • Set `spark.eventLog.dir` to a directory **
  • Set `spark.history.fs.logDirectory` to a directory **

** In this example, I set the directories to a directory on my local machine. You will want to set this to a distributed file system (S3, HDFS, DSEFS, etc.) if you are enabling History server outside your local environment.

STEP 4 Start HISTORY SERVER

Consider this the easiest step in the entire tutorial. All we have to do now is run `start-history-server.sh` from your Spark `sbin` directory. It should start up in just a few seconds and you can verify by opening a web browser to http://localhost:18080/

The most common error is the events directory not being available. If you discover any issues during history server startup, verify the events log directory is available.

STEP 5 Rerun the Spark Application

Ok, this should be another easy one. Let’s just rerun the Spark app from Step 1. There is no need to rebuild or change how we deployed because we updated default configuration in the spark-defaults.conf file previously. So now we’re all set, so let’s just re-run it.

STEP 6 Review Spark APplication Performance metrics in HISTORY SERVER

Alright, the moment of truth…. drum roll, please…

Refresh the http://localhost:18080/ and you will see the completed application. Click around you history-server-running-person-of-the-world you! You now are able to review the Spark application’s performance metrics even though it has completed.

Step 7 Boogie

That’s right. Let’s boogie down. This means, let’s dance and celebrate. Now, don’t celebrate like you just won the lottery… don’t celebrate that much! But a little dance and a little celebration cannot hurt. Yell “whoooo hoooo” if you are unable to do a little dance. If you can’t dance or yell a bit, then I don’t know what to tell you bud.

In any case, as you can now see your Spark History server, you’re now able to review Spark performance metrics of a completed application. And just in case you forgot, you were not able to do this before. But now you can. Slap yourself on the back kid.

Spark Performance with History Server Conclusion

I hope this Spark tutorial on performance monitoring with History Server was helpful. See the screencast below in case you have any questions. If you still have questions, let me know in the comments section below.

Ressourcen
  • For a more comprehensive list of all the Spark History configuration options, see Spark History Server configuration options
  • Speaking of Spark Performance Monitoring and maybe even debugging, you might be interested in Spark Scala with IntelliJ tutorial or Debug Scala Spark in IntelliJ tutorial
  • For more on Apache Spark
Screencast

Can’t get enough of my Spark tutorials? Well, if so, the following is a screencast of me running through most of the steps above


Schau das Video: Ist diese Geschichte wirklich wahr? - Hunt: Showdown (August 2022).