tom's profiletom: prostorPhotosBlogListsMore Tools Help

Blog


    January 22

    Problemy na serveru

    Nastaly nam nebyvale problemy se zatezi na serveru, resilo se to soubezne s porouchanym SAS radicem, ktery byl jiz vymenen, ale kvuli pruznosti a pripravenosti do priste jsem vypsal “konkurz” na kodery a spravce linux systemu, navstevnost se zveda kazdy dnem, databaze se neuprosne rozrusta.

    Pribyvaji problemy s nastavenim a optimalizaci jednotlivych aplikaci, chtel bych vytvorit team lidi, kteri by vice c imene aktivne spolupracovali a dostali server do opet lepsi kondice a pomohli nam naplno vyuzit HW potencialu serevru.

    Jelikoz nektere veci prekonat nelze, jsme nuceni postupne prechazet na virtualizaci a deleni systemu, to Vas, uzivatelu temer nedotkne, krome par hodinoveho, nocniho vypadku.

    Jiz ted delme announci na dva servery, kde na jednom hardware jedou soucasne 2 announce, mozna by pomohlo reseni zpracovat doted nedodelany mod_torrrent modul pro apache , fungujici jako announce  a scrape soucasne.

    Pokud by jste projevili zajem, spolupracovat jak jako spravci, nebo vyvojari dalsich php projektu, neni nic jednodussiho, nez nas kontaktovat pres email : tom at prostejinej.cz , nebo pm na trackeru.

    Nabizime Vam sanci se ucit v kolektivu schopnych lidi a zaroven se podilet na necem vetsim, nez sezeni u PC a cteni noviky.cz :-D

    September 01

    „Hotovo“ - práce teprve začíná

    Tak, server byl spuštěn sice s pár hodinovým zpožděním, ale jede a jsem spokojený, nedošlo k žádné ztrátě dat a upgrade je opravdu znát.

    To ale neznamená, že tím je teď pro mne hotovo, to nejhorší vlastně teprve přijde, vše se musí "doladit" donastavit a upravit. Nejde použít téměř nic z původního serveru. Zůstala sice Fedora, ale teď 64bit a i hardwarově je vše jinak, používáme např.(v brzké době budeme) XEN jádro. Máme více než jednou tolik RAM, proto nastavení mysql je zcela jiné, výkonnější.

    Doufám, že v brzké době nenastanou žádné nečekané situace, aby byl čas vše uvést pořádně do provozu, otestovat a pokračovat - rozvíjet tracker.


    Jak to všechno bylo :

    Pondělí:

    Vrátil jsem se z výletu , vše OK.

    Úterý:

    Ráno se probudím a server „nejede“. Zjišťoval jsem, co se vlastně přihodilo, na ssh se přihlásit byl docela problém a poté ani tak server moc nekomunikoval. Mrska napadlo kopírovat DB na další disk (trvalo to přes hodinu), já poté zajistil restart natvrdo, server nenajel, takže znovu do serevrovny, sebrat celej stroj, dovezt domů a pokusit se zachránit co se dá.
    Mohli jsme se snažit zálohovat klidně kazždou hodinu, málem nám to i tak bylo prd platný, system ennajel, disky nečitelný i po nabootování z liveCD.
    Naštěstí se po několikátém pokusu povedlo vytáhnout zálohu DB a začít konfigurovat novej server IBM x3400.

    Středa+Čtvrek:
    Bože, já si myslel, že to mám za večer hotové a ráno to vezu. Omyl.
    Fedora nešla do x3400 ani za boha dostat, anaconda-načítání HW a konec, zhasnul monitor, párkrát ještě blikla DVDromka a tma.
    Tak, další pokus - CentOS, bože, že jsem to vůbec tahal :-/ Nestabilní , minimální repository, závisloti totálně na prd.
    Další pokus - OpenSuse - z nouze a zoufalství - děkuji, více nechci.
    Pak ještě Debian a pár věcí, už jsem ani nevnímal, co dělám, jen jsem zkoušel systém za systémem a přitom už současně tahal další. Buď nešlo to, nebo zase ono.
    Rezignoval jsem a říkám, že tam tu Fedoru musím dostat, tak šup, zkusíme starší verzi, šla až Fedora 7, stable, pak jsem si vzpomněl na update na serveru, měl jsem již hotovo a šup, při upgrade stejná chyba jako při instalaci. Ve čtvrtek večer byl na serveru CentOS, i když sem ho tam nechtěl.

    Pátek:

    Hraju si s nastavením, dodělávám instalaci CentOS a najednou šup, system nestabilní (zapráskaný závislosti).

    No, nakonec jsem měl ve 14:00 čistě naformátovaný disky  a serevr měl být venku v 16:00.
    Takže rychlá instalace - bez update - nakopírovat data DB a šup, naložit a odvézt. Přijel jsem do serverovny, zapojil server a nic, nabootoval BIOS, RAID řadiče a tma (jen ten pitomej kurzor blikal jak magor). Hodinu pokusy a stále jen ten pitomej kurzor. Podotýkam, že jen nabootování serveru, bez OS trvá skoro 4 minuty.
    Nezbívá než auto a domů, technik měl ze mě celkem dost a aby toho nebylo málo, těsně před bydlištěm mi kleklo auto. Doma postavím server, první nápad - reset BIOSU a ha, ta mrcha beží.
    Volám technika a zároveň sháním odvoz, docela ze mě nevěřil, ale odvezli jsme jej, zapojili a jel. Teď už jen domů. přihlásit přes SSH, donastavit poslední kraviny, rychle update systému a zbytek už znáte CzT jede a nás čeká to vše ještě dodělat a doufat, že už je smůle konec.

    A takhle jsem to od úterý dělal :

    August 28

    Server je hotovej

    Dnes jsem dodelal zakladni instalaci a nastaveni serveru, zitra dopoledne jej odvezu do serverovny a jeste chvili potrva, nez se vse zprovozni na miste, jinak by to ale melo uz do vecera slapat.
    edit**  v 19 00 jsem na chvili napojil DB na tracker a vse je OK, vse slape, jen mi to neutahne linka, takze rano hned jak to odvezu, muze to ficet.

    August 26

    opet vypadek

    CHYBA: Tracker byl zastaven

    Na databazovem serveru nam spadnul s disky i cely system. Behem nasledujicich dni se budeme snazit dat vse do puvodniho stavu a vypadek navic vyuzijeme k upgrade serveru. Omlouvame se a dekujeme za pochopeni...
    (Kdyby Proche tolik nespamoval, mohli jsme jeste ject :-D)

    po prvnim vypadku, odesly diskove pole, mam to rozhozeny, prehazuju data na novy zelezo, mejte s nami strpeni.
    August 08

    Vypadek

    Dnes v poledne spadl databazovy server, doted jsem se ho pokousel ozivt, bohuzel marne, v nejblizsi dobe by mel byt restartovan a chvili potrva, nez prijdu na to, proc spad.

     

    BTW pravdepodobne bude obnovena zaloha z dnesniho rana ve 4 00.

    August 06

    Rozdělení CzT serverů

    Czt bude rozloženo na servery (virtualni) aby se v případě vysoké zátěže dali jednotlivé části jednoduše a rychle přesouvat.

    1. Tracker
    2. Databáze
    3. Announce
    4. Moje obrázky
    5. CzT Rapid - služba tvoření torrentu z rapid linku.

    Dále pojede samostatně herní server, mrskman si nechá CS1.6 ja se postarám o CoD4 a BF2 server.

    Nový server IBM x3400

    Tak se zadařilo celkem a mám objednané železo na novy server. IBM x3400

    Celkem 8 jader (2 čtyřjádrové procesory), 8GB RAM, I-RAM modul se 4GB na databázi a SSD disk na šifrované zálohy.

    • IBM x3400 Xeon E5410 (2.33GHz), 2x1GB, O/B SAS, 8k procesory dva
    • SEAGATE BARRACUDA ES.2 500GB SAS 7200RPM, 16MB cache 2 kusy
    • 16GB Patriot Extreme Perform. SSD disk 2.5" SATA
    • 8GB kit pro RAM Kingston 2*4GB
    • Gigabite I-RAM v3
    • 4GB DDR400 Kingston CL3 (3-3-3) paměť pro I-RAM modul

    Současné železo by prozatím stačilo, ale brzdí nás ve vývoji, a databáze jen v RAMce ve virtuálním disku, tak to není zrovna moc stabilní řešení.

    x235 se prozatím stáhne úplně a siemens pravděpodobně zůstane na herní server.

    Na siemensi plánujeme obnovit Call of Duty 4 server, CS 1,6 server a urcitě Battlefield 2 server.

    Na hlavním serveru budou prozatím 4 virtualní stroje:

    1. Databáze
    2. Announce
    3. Hlavní www
    4. Webhosting
    + každá další část CzT ponese nový virtuál,aby se dala kdykoliv přesunout.

    Na serevru pojede opět Fedora a když se zadaří, rád bych to měl v Xenu.
    Announce, DB i www samostatně, aby se to dalo v případě nutnosti lehce přesunout. Virtualizace je v současné době asi nejspolehlivější řešení. Jednoduché zálohy, rychlá obnova, nebo přesun, hlavně odpadne dlouhodobé "ladění" a nastavování serveru.