Netezza

Netezza
Tip de companie publica
Lista de schimb NZ
Baza 2000
desfiintat 2011
Motivul desființării Absorbit de IBM
Succesor IBM
Fondatori Jitindra Saxena
Foster Hinshaw
Locație  Statele Unite ale Americii :Marlborough,Massachusetts
Industrie informatică ( ISIC :) 2620 _
Produse Complexe hardware și software pentru prelucrarea datelor
cifra de afaceri 190 milioane USD (2010)
Numar de angajati 469 (2010)
Site-ul web netezza.com
 Fișiere media la Wikimedia Commons

Netezza ( urdu نتیجہ , „natija”  - „ rezultat ”) este o companie americană care dezvoltă sisteme hardware și software de depozit de date - clustere de servere de baze de date relaționale care asigură procesare masiv paralelă . O caracteristică distinctivă a tuturor complexelor Netezza este utilizarea matricelor de porți programabile pe nodurile de procesare a datelor, care asigură compresia și filtrarea datelor și, prin urmare, reduc costurile de stocare și operațiunile I/O atunci când se execută cererile de preluare a datelor [1] .

Compania a fost fondată în 2000, absorbită de IBM în 2010 , complet integrată în corporație din 2011, sisteme hardware și software au fost produse sub brandul IBM PureData for Analytics în perioada 2012-2014.

Istorie

Fondată în 2000 ( în timpul prăbușirii dot-com ) de către antreprenorul de origine indiană Jitindra Saxena și Foster Hinshaw , cu sprijinul capitalistului de risc Paul Feri ( Paul Feri ), care a fondat ulterior compania de investiții Matrix Partners . Înregistrată în august 2000 în Delaware sub numele Intelligent data engines , iar în octombrie a aceluiași an și-a schimbat numele în Netezza. În anii 1990, Saxena a fost un co-fondator al Applix și a condus-o multă vreme (produsul principal al Applix este un sistem multidimensional de gestionare a bazelor de date în memorie TM1 , deținut de IBM Corporation din 2008 ), Hinshaw a fost consultant IT la integratorul de sisteme Keane . Saxena a preluat funcția de președinte al companiei, iar Hinshaw director tehnic. Sediul și diviziile de dezvoltare ale companiei de-a lungul istoriei au fost situate în orașele Massachusetts : Framingham , Marlborough , Cambridge , reprezentanțele au fost situate în 12 țări.

Compania sa concentrat inițial pe lansarea de sisteme hardware și software pentru depozitele de date care implementează procesarea masiv paralelă a cantităților mari de informații. În 2002, au fost introduse sistemele hardware și software Performance Server , permițând procesarea stocărilor cu un volum de 4,5 - 18 TB [2] . Complexele au fost asamblate sub formă de dulapuri de telecomunicații gata de utilizare umplute cu serverul necesar și echipamente de comutare cu software preinstalat. Caracteristica cheie a soluției a fost combinația hardware-ului standard bazat pe server ProLiant cu unități de matrice de porți programabile pe teren, care oferă stocare eficientă și procesare de înaltă performanță a datelor, comprimate și segmentate pe noduri de stocare. Compania a promis că va reduce semnificativ costul procesării stocărilor relaționale mari pentru client datorită stocării eficiente și a oferit complexe la prețuri cuprinse între 622.000 USD și 2,5 milioane USD, în funcție de cantitatea de stocare [2] .

În 2002-2003, compania a livrat clienților primele complexe, dintre care unul este administrația statului Massachusetts [3] . În 2003, Hinshaw a primit premiul „Inovatorul anului” al revistei Infroworld pentru dezvoltarea și implementarea complexelor Performance Server 8000 [3] .

În 2003, compania a câștigat 13,5 milioane USD, în 2004 - 40 milioane USD [4] , în anii următori de existență, creșterea anuală a veniturilor a fost de aproximativ 50% [5] [6] (deși în 2005 Saxena se aștepta la o creștere de 150 % [7] ). Printre clienții din 2004 se numără AT&T Wireless și divizia din Marea Britanie a Orange Corporation [8] , în timp ce Orange este listată ca unul dintre investitorii Netezza [9] .

În 2006, compania a reușit să vândă 200 de complexe, câștigând aproximativ 80 de milioane de dolari într-un an, iar printre clienți au apărut companii și organizații atât de mari precum Amazon.com , Crucea Roșie Americană , AOL [5] , compania a încheiat anul cu o pierdere netă de 14 milioane USD [6] . În iulie 2007, Netezza a efectuat o ofertă publică inițială la Bursa de Valori din New York , cotată cu succes (valoarea acțiunilor a crescut cu 45% în perioada de plasare) [6] , până când desființarea acțiunilor companiei au fost tranzacționate sub simbolul ticker NZ .

La începutul anului 2009, Saxena a părăsit compania, Jim Baum , care a condus anterior compania Endeca din Boston (preluată de Oracle în 2011), a condus Netezza. Începând cu 2010, au fost raportate peste 500 de organizații care utilizează sisteme Netezza [10] .

În septembrie 2010, preluarea companiei de către IBM a fost anunțată pentru 1,7 miliarde de dolari [11] . În cursul anului 2011, s-a realizat integrarea în corporație, începând din acel moment, toate sistemele hardware și software Netezza sunt distribuite prin canalele de distribuție ale software-ului IBM, cuvântul „Netezza” a fost folosit în numele complexelor în primii doi ani. , de la sfârșitul anului 2012 - doar ca nume propriu pentru tehnologia de prelucrare a datelor . Din 2014, lansarea de noi complexe bazate pe tehnologiile Netezza a fost întreruptă, iar de la jumătatea anului 2019, asistența tehnică pentru echipamentele vândute a fost întreruptă [12] . În 2020, sub marca „Netezza” de la IBM, un DBMS bazat pe cloud , compatibil cu sisteme hardware și software întrerupte , a fost furnizat prin abonament din cloud-urile IBM Cloud sau Amazon Web Services [13] .

Poziția pe piață

În anii 1980, sisteme hardware și software specializate pentru prelucrarea distribuită a datelor au fost produse de Britton Lee și Teradata (în 1990 Teradata a absorbit Britton Lee) [14] , și li se acordă prioritate în abordarea unei astfel de implementări a prelucrării mari. cantități de date. Cu toate acestea, apariția complexelor Netezza la începutul anilor 2000 este remarcată ca identificarea pieței pentru astfel de sisteme [15] . În plus, însuși conceptul de sisteme hardware și software specializate pentru depozitele de date ( în engleză  data warehouse appliances ) este asociat cu Netezza CTO Foster Hinshaw [16] .

Începând cu 2004, când compania a lansat suite capabile să gestioneze până la 27 TB de stocare, soluția Netezza a fost comparată atât cu suitele Teradata, cât și cu sistemele nespecializate bazate pe software Oracle și IBM ; la acea vreme, complexele Teradata puteau procesa sute de terabytes iar criticile unui concurent se bazau pe dificultatea de a moderniza sistemul de la Netezza în cazul unei creșteri rapide a volumelor de stocare [17] .

În 2006-2007, Gartner a îndrumat Netezza grupului de „vizionari” ai pieței soluțiilor de stocare a datelor în cadrul „ cadrantului magic ” alcătuit anual pentru acest segment [18] , din 2008, Netezza a fost mutat la liderii de piață cadran. Magic Quadrant din 2010 evidențiază Netezza ca un concurent direct al Oracle Exadata [10] .

Server de performanță

Complexul Performance Server a fost produs în 2002 și a fost completat cu o serie de noduri de control, noduri de procesare bazate pe servere Hewlett-Packard ProLiant , echipate cu unități de calcul gate array programabile în câmp, responsabile de interacțiunea cu nodurile de stocare. Nodurile de procesare au funcționat sub sistemul de operare Red Hat Enterprise Linux și sistemul de gestionare a bazelor de date PostgreSQL [2] . Soluția este implementată într-o arhitectură partajată , așa că designerul depozitului de date a fost obligat să definească chei de sharding pentru a distribui baza de date procesată între noduri relativ uniform . 

Primele complexe au procesat până la 18 TB la un preț de 2,5 milioane de dolari (aproximativ 140.000 de dolari pe terabyte). Modelul mai vechi din 2004 procesa stocări de până la 27 TB și era echipat cu 650 de discuri și 676 de procesoare ; 370 mii USD.Complexul junior în 2004 a procesat 400 GB, conținea 60 de procesoare și a costat 300 mii USD [20] (aproximativ 770 mii USD în termeni de teraocteți).

Twin Fin

Primele complexe TwinFin au folosit noduri de procesare a datelor bazate pe procesoare cu arhitectură Power , care au fost furnizate de unul dintre partenerii OEM IBM [21] și, ca și în Performance Server, au fost echipate cu noduri de procesare specializate bazate pe matrice de porți programabile. În august 2009, nodurile de procesare au fost înlocuite cu servere blade IBM cu două socluri cu procesoare Intel Xeon , au fost instalate matrice de porți programabile pe teren câte una pentru fiecare nucleu Xeon [22] , aceste noduri au fost plasate într-un coș blade IBM BladeCenter standard. Datorită tranziției la arhitectura x86-64 , a fost posibil să se reducă semnificativ costul unui terabyte de date pentru stocare - la o sumă sub 20 000 USD [23] PostgreSQL utilizat în TwinFin este descris ca fiind „modificat puternic” [24] .

În primii ani după preluare, IBM Corporation a continuat să dezvolte complexele. Principalele modificări au vizat introducerea diferitelor tehnologii software de „ big data ”: a fost adăugată posibilitatea procesării MapReduce în baza de date prin integrarea Hadoop , procesarea statistică a fost implementată folosind SPSS și R direct pe nodurile clusterului. În urma rapoartelor despre integrarea pachetului statistic Revolution R în soluție, care a fost utilizată inițial pentru analize practice peste depozitele de date relaționale, complexul a fost caracterizat într-una dintre publicații ca „ Frankenstein pentru date mari” [25] . În 2011, TwinFin a fost redenumit IBM Netezza 1000, au fost produse mai multe configurații ale complexului cu un număr de fragmente (perechi de la nodul de procesare și matrice de porți programabile) de la 3 la 12 per cabinet și capacitate de stocare de la 8 la 32 TB per cabinet , este acceptată combinarea a până la 10 dulapuri. Greutatea unui dulap complet este de aproximativ 900 kg, consumul de energie este de cca. 7,5 kW. Costul unui cabinet complet de la parteneri din SUA a fost de cca. 320.000 USD [26] (aproximativ 10.000 USD pe teraoctet). În scopuri de dezvoltare și testare, au fost furnizate complexe IBM Netezza 100, anterior Skimmer (1 nod de control și 1 fragment pe 2,8 TB). În plus, IBM a adăugat complexul IBM Netezza High Capacity Appliance la linie (două sau patru dulapuri cu 8 sau 16 fragmente pentru 288, respectiv 576 TB).

În octombrie 2012, IBM a rebrandat și din acel moment și până la întreruperea producției de la mijlocul anilor 2010, complexele au fost furnizate sub numele de marcă „PureData for Analytics” ca parte a liniei PureSystems [27] , materiale despre complexele utilizate. subtitlul „bazat pe tehnologia Netezza” [28] , aspectul dulapurilor a fost schimbat semnificativ. Sub indicele N1001, au fost furnizate complexe cu 4, 7 și 14 fragmente per cabinet și, respectiv, 32, 64, 128 TB de capacitate de stocare, continuând logica liniei Netezza 1000, costul unui cabinet complet de la partenerii din Statele Unite ale Americii la începutul anului 2013 era de aproximativ 360 mii USD [29] Conform indicelui N2001, au fost lansate complexe de mare capacitate cu 4–7 fragmente și 96–192 TB per cabinet, în 2014, ca o continuare a acestei linii, N3001 au fost lansate complexe cu 2–7 fragmente și până la 192 TB per cabinet, în comparație cu versiunea anterioară, numărul de nuclee a fost crescut pe fragment (20 de nuclee pe nodul de procesare și 16 nuclee pe matricea porții programabile în câmp, spre deosebire de opt nuclee de pe fiecare dintre componentele fragmentului anterior).

Critica

Netezza a fost acuzată că a folosit ilegal un pachet geospațial IISi (Intelligent Integration Systems) din Massachusetts în timp ce îndeplinea un ordin de la CIA de a crea hardware-ul și software-ul pentru drona MQ -1 Predator . Esența problemei a fost că Netezza, după ce a primit un refuz de la IISi în cerința de a accelera portarea pachetului sub TwinFin, a spart versiunea de testare a pachetului și a integrat-o independent în mediul său hardware și software. S-a remarcat în mod special că CIA era conștientă de hack, iar clientul era conștient de faptul că abaterile în estimările locației în versiunea de testare au ajuns la 13 metri (comparativ cu versiunea stabilă, unde nu existau astfel de abateri), iar acest lucru ar putea duce la pierderi inutile în timpul luptei aplicarea tehnologiei [30] . Cu toate acestea, în noiembrie 2010, cererile au fost soluționate în afara instanței [31] .

Note

  1. Prickett-Morgan, 2010 , Sosul special din echipamentul Netezza este o matrice de poartă programabilă în câmp (FPGA) care se ocupă de compresia și decompresia datelor pe măsură ce merg pe și de pe disc, accelerând astfel debitul, precum și oferind filtrare sofisticată a datelor astfel încât doar porțiunile relevante ale unui set de date uriaș să fie transmise motoarele X64 pentru a rula interogarea SQL.
  2. 1 2 3 Whiting, Rick Startup Netezza promovează produse de depozit de date cu reducere. Compania promite aparate despre care spune că pot aborda aplicațiile business-intelligence la scară de terabyte de 10 până la 20 de ori mai rapid decât sistemele tradiționale, la jumătate din  cost . saptamana informatiei . UBM TechWeb (23 septembrie 2002). Consultat la 11 iulie 2012. Arhivat din original la 12 ianuarie 2013.
  3. 1 2 Rash, Wayne 2003 InfoWorld Inovator: Foster D. Hinshaw.  Netezza CTO a folosit aerodinamica pentru a inventa un dispozitiv de bază de date la scară largă care gestionează datele într -un mod cu totul nou . Inforworld (23 martie 2003). - „Unele dintre cele mai mari organizații, inclusiv Commonwealth-ul Massachusetts, au descoperit că BI (business intelligence) nu era atât de utilă dacă nu putea gestiona toate datele lor.” Preluat la 8 iulie 2012. Arhivat din original la 25 septembrie 2012.
  4. Lyons, 2004 , micuța companie de calculatoare a lui Jitendra Saxena, Netezza, va face toate vânzările de 40 de milioane de dolari în acest an.
  5. 12 Netezza Corporation.  Ofertă publică inițială . Edgar, Formularul S-1 . Comisia pentru Valori Mobiliare și Schimb din Statele Unite (22 martie 2007). Preluat la 8 iulie 2012. Arhivat din original la 25 septembrie 2012.
  6. 1 2 3 Vance, Ashley Netezza aduce mulți bani în IPO  . Registrul (21 iulie 2007). Preluat la 8 iulie 2012. Arhivat din original la 25 septembrie 2012.
  7. Lyons, 2004 , Saxena se așteaptă ca vânzările sale să crească cu 150% în 2005, la 100 de milioane de dolari.
  8. Lyons, 2004 , AT&T Wireless și Orange UK au ales casetele Netezza pentru a analiza înregistrările apelurilor clienților.
  9. Lyons, 2004 , Orange este și investitor în Netezza.
  10. 1 2 Feinberg, Donald; Beyer, Mark A. Magic Quadrant for Data Warehouse Database Management Systems  . Cadranul magic . Gartner (28 ianuarie 2011). — „Achiziția Netezza la sfârșitul anului 2010 oferă IBM un dispozitiv de depozit de date gata de fabricație compatibil cu Linux, care concurează direct cu Exadata de la Oracle. În plus, conversațiile cu clienții Gartner indică faptul că Netezza continuă să concureze bine atât la preț, cât și la performanță, față de Exadata de la Oracle”. Preluat la 11 iulie 2012. Arhivat din original la 25 septembrie 2012.
  11. Nutall, Chris . IBM va cumpăra Netezza pentru 1,7 miliarde de dolari în numerar  (engleză) (HTML), Financial Times  (20 septembrie 2010). Preluat la 8 iulie 2012.
  12. Max Smolaks. RIP Netezza, visul IBM pentru depozitarea de date bazată pe FPGA . Odată o afacere puternică ucisă de cloud computing . Registrul (3 iulie 2019) .
  13. Lindsay Clark. IBM reînvie setul de depozitare de date Netezza în cloud, care va încânta clienții la jumătatea migrării . Registrul (27 mai 2020).
  14. Chernyak, Leonid. Big Data — Teorie și practică nouă  // Sisteme deschise. DBMS . - 2011. - Nr. 10 . — ISSN 1028-7493 .
  15. Ponya, 2010 , În general, linia de produse de bază a Terradata considerată mama tuturor dispozitivelor de depozit de date, deși termenul nu a fost asociat cu oferta de produse. Un interes mai mare pentru dispozitivele de depozit de date a crescut odată cu apariția Netezza la începutul anilor 2000.
  16. Ponya, 2010 , Termenul de dispozitiv de depozit de date a fost inventat de Foster Hinshow.
  17. Lyons, 2004 , Directorii de la Teradata resping Netezza, spunând că cutiile sale sunt greu de actualizat și prea mici pentru a gestiona depozite de date enorme precum cele pe care le-a construit pentru Wal-Mart, FedEx și Dell. Sistemele Teradata pot gestiona sute de terabytes.
  18. Beasty, Colin Teradata se află în fruntea Quadrantului Magic Gartner pentru gestionarea bazelor de date  . CRM de destinație . Revista CRM (26 octombrie 2007). — „Netezza, care a rămas practic neschimbată față de ratingul său anterior; în acest an, compania are doar puțin în urmă cu Sybase în ceea ce privește capacitatea de a executa, dar scăpără dincolo în ceea ce privește integralitatea viziunii sale.” Preluat la 11 iulie 2012. Arhivat din original la 25 septembrie 2012.
  19. Lyons, 2004 , modelul de vârf al Netezza se mândrește cu 650 de hard disk și 676 de microprocesoare. Deține 27 de terabytes de date și costă 10 milioane de dolari.
  20. Lyons, 2004 , Modelul low-end, la 300.000 USD, folosește 60 de microprocesoare și deține 400 de gigaocteți.
  21. Prickett-Morgan, 2011 , Dispozitivele originale Netezza au fost bazate pe arhitectura Power (și nu au venit de la IBM, ci de la unul dintre OEM-urile săi).
  22. Prickett-Morgan, 2010 , șasiul IBM BladeCenter și serverele blade HS22 Xeon cu două socluri și introducerea FPGA-urilor (unul per nucleu Xeon) într-un blade însoțitor.
  23. Monash, Kurt Netezza își schimbă arhitectura hardware și reduce prețurile în consecință  . Monash Research (30 iulie 2009). Preluat: 13 iulie 2012.
  24. Prickett-Morgan, 2010 , …bază de date PostgreSQL puternic personalizată.
  25. Harris, Derrick . IBM creează Big Data Frankenstein cu Netezza-R Fusion  (engleză) , The New York Times  (2011-03-141). Consultat la 19 noiembrie 2011.
  26. Netezza 1000-12  . Gemeni (13 iulie 2012). Preluat la 13 iulie 2012. Arhivat din original la 25 septembrie 2012.
  27. Pricket Morgan, Timothy. IBM preia Oracle cu dispozitivele PureData.  Rebadging depozite Netezza și cutii Smartie . Th Register (10 octombrie 2012). Data accesului: 16 februarie 2013. Arhivat din original pe 14 martie 2013.
  28. Alimentat de tehnologia Netezza
  29. PureData System Analytics N1001-015  . Gemeni (16 februarie 2013). Data accesului: 16 februarie 2013. Arhivat din original pe 14 martie 2013.
  30. Williams, Christopher CIA a folosit „cod ilegal, inexact pentru a viza dronele ucide”. „Vor să omoare oameni cu software care nu funcționează”  (engleză) . Registrul (24 octombrie 2010). Preluat la 11 iulie 2012. Arhivat din original la 25 septembrie 2012.
  31. Williams, Christopher Netezza plătește pentru a închide procesul CIA pentru drona criminală. Rând de direcționare defectuos  stins . Registrul (11 noiembrie 2010). Preluat la 11 iulie 2012. Arhivat din original la 25 septembrie 2012.

Literatură