Millä tämä foorumi on tehty???

kiiveri: Ei se kielestä ole kiinni hyytyykö systeemi. JSP on yleensä itse asiassa raskaampi pyörittää kuin PHP tai ColdFusion, mutta aika samoilla viivoilla kaikki nämä modernit webkoodausteknologiat ovat raskaudessaan/keveydessään. Lähes aina suurimman pullonkaulan muodostaa isoissa palveluissa tietokanta ja sen nopeus. Nyt tietokantaa pyörittää kaksi serveriä, molemmissa muistaakseni Dual Xeon 3.2GHz prossut, neljä gigaa muistia ja RHES3 käyttiksenä. Kantojen (Linux-)loadit ovat piikkiaikoina eli Suomen aikaan yhdeksän maissa yleensä siinä 1.7 - 2.5 välillä (dual CPU:lla 2.0 vastaa siis 100% kuormaa) ja web-servereiden kuormat (3kpl P4/2.8GHz -bokseja, kussakin 2GB muistia jos oikein muistan) ovat pääasiallisesti 0.5 hujakoilla.

WWW-sivujen nopeaksi saaminen on lähes aina ennenkaikkea hyvästä SQL-ohjelmoinnista (eli tietokantaohjelmoinnista, kieli on aina SQL, oli tietokantamoottorina sitten MS SQL Server, MySQL, Oracle tai joku muu) ja hyvästä tietokannan suunnittelusta kiinni, ei varsinaisesta esityskielestä (PHP, ColdFusion, ASP, JSP, ..).

Meidänkin "jumit" tuossa loppukeväästä johtuivat juurikin siitä, että tietokanta haukkasi multaa. Eli kun dataa alkaa olemaan kivasti ja kannan pitää yhdistellä sitä luovasti (esim. ihan viestiketjun näyttäminen -- viestejä on tietokannassa noin 2.5 miljoona, joista sitten haetaan vain kyseiseen ketjuun kuuluvat viestit ja pistetään ne aikajärjestykseen ja sitten viestin vieressä näytetään kunkin viestin kirjoittajan nimi -- ja käyttäjiä on lähes 600,000 -- ja ne pitää hakea kullekin viestille. Ja tämä piikkiaikoina 5,000 sivulle sekunnissa..), niin 4 gigaa muistia on aika kevyttä.

 

M_M: Jep, forumeiden rakentaminen itsessään on yksinkertainen homma, taisin alkuperäisen version vääntää itse noin kuukaudessa vuonna 2002 kasaan, takana toki oli jo 4v web-koodin vääntöä ammattimaisesti. Ja tuon jälkeen olen mm. BBC:lle värkännyt parit custom forumit.

Mutta tuollaisen "karvalakkiforumin" teon jälkeen homma meni mielenkiintoiseksi, kun forumit "repesivät" todella isoiksi ja nykyisin forumeissa on aika paljon sellaista optimointia (mm. loggaamattomille käyttäjille näkyvien live, ei arkistoitujen, threadien filecachetusta ja niiden on-demand "flushausta") mitä esim. phpBB:ssä tai vBulletinissa ei ole. Ja ikuinen hauskuus seuraa forumeiden haun koodauksesta, LIKEt eivät ole oikein edes vaihtoehto noin miljoonan viestin rajapyykin tullessa vastaan, vaan pitää alkaa duunailemaan sanahakutauluja, jne.

Syitä oman forumin rakentamiseen ei kovin usein ole, meillä ne ovat olleet aika moninaiset:

-forumeiden käyttäjäkannan täydellinen integrointi koko saitin käyttäjäkantaan ilman "purkkaa"

-jotkut asiat esim. phpBB:n logiikassa tökkivät aikanaan vastaan ja haluttiin tehdä omannäköinen forum, ei kloonia joita tulee jokapaikassa vastaan

-täydellinen vapaus koodin venyttämiseen mihin suuntaan tahansa (toki open sourcen kanssakin tämä onnistuu, mutta esim. os-projektien patchien asentaminen menee aika toivottomaksi jos koodia on isketty muutenkin kuin perus-modeilla)

-ideana oli rakentaa yksi forumengine, joka osaa samoissa tauluissa ja yhdellä asennetulla codebasella toimia rajattomana määränä forumeita (eli samat templatet, samassa directoryssa luovat sekä forums.afterdawn.com, keskustelu.afterdawn.com, dvdxcopy.afterdawn.com että forums.blasteroids.com -sivut, systeemi vain haistaa domainin ja heittää oikeat lokalisointiasetukset kehiin, mutta esim. viestinumerot ovat ristiin juoksevat, jne)

-koska oman koodaus on vaan toisinaan niin pirun kivaa ;-)

 

Toki, itse asiassa käytännössä kaikki queryt sivuilla on cachetettu www-palvelinten välimuistiin, mutta sen lisäksi forumeissa käytetään rankalla kädellä filecachea tilanteissa, kuten juurikin viestiketjuissa, joissa on loogisempaa luoda osasta sivua staattinen html-pala ja pulauttaa se sopivaan väliin (/cached/thread_view/ -hakemistossa nytkin noin 75,000 tiedostoa) koska muistin käyttö cachena on rajallinen resurssi, joka pitää ennemminkin varata kohtiin, joissa päivitystahti on nopeampi ja joissa esim. queryn tulosta käytetään useammilla sivuilla (ColdFusionin yksi suuri etu on se, että CF-palvelin tekee palvelintasolla queryjen cachetuksen, joten cacheen vedetyt queryt ovat kaikkien templatejen saatavilla) -- näistä nyt karkeimpana esimerkkinä vaikkapa fin.afterdawn.com:n sivupalkki, jonka sisältö on palvelimen muistissa.

Ja olet oikeassa skaalautuvuudesta, mutta kuten sanottu, forumit ovat siitä erikoisia eläimiä, että skaalautuvuus pitää lähes aina hakea kannan puolelta, web-puoli ei töki oikeastaan koskaan, vaan ongelmia aiheuttavat juurikin mm. forumeille tehdyt laajat haut (phpBB:ssä Advanced Search ja heitä esim *them* -hakutermiksi . Tuo ratkaistiin purkalla, eli poistettiin LIKE -pohjaiset haut (eli phrase searchit joita ei voi tehdä muuten kuin LIKE:llä) ainakin väliaikaisesti ja sallitaan ainoastaan sanapohjaiset haut. Esimerkkinä maailman suurin phpBB-forum, Gaia Online -- siellä ei ole ollut hakua käytössä enää vuoden 2004 jälkeen, viestejä on noin miljardi.

Ja tokihan myös forumeiden hakukoneella tehdyt hakutulokset cachetetaan, ihmisillä on mm. hauska taipumus painaa sitä "search"-nappia useamman kerran..

Ohjelmointi vs rauta on ikävää, siksi pidän arvossa ihmisiä jotka pitävät kiinni ammattiylpeydestään ja saavat ne pienet kiksit siitä, että sivun suoritusajasta saadaan 1 millisekunti pois eikä ajatella, että sillä ei ole mitään merkitystä.

Avg Time Count Template
97 ms 97 ms 1 /www/afterdawn/forums/message_reply.cfm

Piikkiaika, Yhdysvalloissa iltapäivä