標(biāo)簽?zāi)夸洠?span>數(shù)據(jù)庫

2018
10-13

主流Java數(shù)據(jù)庫連接池分析(C3P0,DBCP,TomcatPool,BoneCP,Druid)

主流數(shù)據(jù)庫連接池常用的主流開源數(shù)據(jù)庫連接池有C3P0、DBCP、TomcatJdbcPool、BoneCP、Druid等C3p0:開源的JDBC連接池，實(shí)現(xiàn)了數(shù)據(jù)源和JNDI綁定，支持JDBC3規(guī)范和JDBC2的標(biāo)準(zhǔn)擴(kuò)展。目前使用它的開源項(xiàng)目有Hibernate、Spring等。單線程，性能較差，適用于小型系統(tǒng)，代碼600KB左右。DBCP(DatabaseConnectionPool):由Apache開發(fā)的一個(gè)Java數(shù)據(jù)庫連接池項(xiàng)目，Jakartacommons-pool對(duì)象池機(jī)制，Tomcat使用的連... 繼續(xù)閱讀 >

2018
06-20

時(shí)序數(shù)據(jù)庫技術(shù)體系 – Druid 多維查詢之Bitmap索引

時(shí)序數(shù)據(jù)庫從抽象語義上來說總體可以概括為兩個(gè)方面的基本需求，一個(gè)方面是存儲(chǔ)層面的基本需求：包括LSM寫入模型保證寫入性能、數(shù)據(jù)分級(jí)存儲(chǔ)（最近2小時(shí)的數(shù)據(jù)存儲(chǔ)在內(nèi)存中，最近一天的數(shù)據(jù)存儲(chǔ)在SSD中，一天以后的數(shù)據(jù)存儲(chǔ)在HDD中）保證查詢性能以及存儲(chǔ)成本、數(shù)據(jù)按時(shí)間分區(qū)保證時(shí)間線查詢性能。另一方面是查詢層面的基本需求：包括基本的按時(shí)間線進(jìn)行多個(gè)維度的原始數(shù)據(jù)查詢、按時(shí)間線在多個(gè)維度進(jìn)行聚合后的數(shù)據(jù)統(tǒng)計(jì)查詢需... 繼續(xù)閱讀 >

2018
03-23

用Python構(gòu)建你自己的RSS提示系統(tǒng)

人生苦短，我用Python，Python是非常棒的快速構(gòu)建應(yīng)用程序的編程語言。在這篇文章中我們將學(xué)習(xí)如何使用Python去構(gòu)建一個(gè)RSS提示系統(tǒng)，目標(biāo)是使用Fedora快樂地學(xué)習(xí)Python。如果你正在尋找一個(gè)完整的RSS提示應(yīng)用程序，在Fedora中已經(jīng)準(zhǔn)備好了幾個(gè)包。Fedora和Python——入門知識(shí)Python3.6在Fedora中是默認(rèn)安裝的，它包含了Python的很多標(biāo)準(zhǔn)庫。標(biāo)準(zhǔn)庫提供了一些可以讓我們的任務(wù)更加簡單完成... 繼續(xù)閱讀 >

2018
01-02

分布式事務(wù)的總結(jié)與思考

思來想去，個(gè)人覺得要理解「分布式事務(wù)」，必須先知道什么是“事務(wù)（Transaction）”。當(dāng)然，這里提到的“事務(wù)”是在事務(wù)型數(shù)據(jù)庫（TransactionalDatabase）知識(shí)領(lǐng)域內(nèi)的。一個(gè)事務(wù)包含了若干個(gè)數(shù)據(jù)庫操作，這些操作通常都會(huì)對(duì)數(shù)據(jù)庫產(chǎn)生變化。值得一提的是，多個(gè)事務(wù)之間是互不影響，獨(dú)立運(yùn)行的，事務(wù)里的各個(gè)操作最終都得以持久化。事務(wù)一個(gè)很重要的特性是："all-or-nothing"。通俗來講，事務(wù)是對(duì)數(shù)據(jù)的... 繼續(xù)閱讀 >

2017
12-25

新一代數(shù)據(jù)庫技術(shù)在雙11中的黑科技

摘要：12月13-14日，由云棲社區(qū)與阿里巴巴技術(shù)協(xié)會(huì)共同主辦的《2017阿里巴巴雙11技術(shù)十二講》順利結(jié)束，集中為大家分享了2017雙11背后的黑科技。本文是《新一代數(shù)據(jù)庫技術(shù)在雙11中的應(yīng)用》演講整理，本文主要從數(shù)據(jù)庫上云和彈性調(diào)度開始談起，重點(diǎn)分享了新一代數(shù)據(jù)庫以及其在雙11中的應(yīng)用，包括X-DB、X-KV和ESDB等。12月13-14日，由云棲社區(qū)與阿里巴巴技術(shù)協(xié)會(huì)共同主辦的《2017阿里巴巴雙11技術(shù)十二講》順利結(jié)束，集中為大... 繼續(xù)閱讀 >

2017
11-25

MySQL · 最佳實(shí)踐 · SQL Server三種常見備份 已認(rèn)證的機(jī)構(gòu)

摘要本期月報(bào)是SQLServer數(shù)據(jù)庫備份技術(shù)系列文章的開篇，介紹三種常見的SQLServer備份方法的工作方式、使用T-SQL語句和使用SSMSIDE創(chuàng)建備份集三個(gè)層面，介紹SQLServer的三種常見備份的工作原理和使用方法。三種常見的備份包括：?數(shù)據(jù)庫完全備份（FullBackup）?數(shù)據(jù)庫日志備份（TransactionLogBackup）?數(shù)據(jù)庫差異備份（DifferentialBackup）備份的重要性在開始分享之前，我們首先來看看數(shù)據(jù)... 繼續(xù)閱讀 >

2017
11-20

現(xiàn)代IM系統(tǒng)中消息推送和存儲(chǔ)架構(gòu)的實(shí)現(xiàn)-博客-云棲社區(qū)-阿里云

前言IM全稱是『InstantMessaging』，中文名是即時(shí)通訊。在這個(gè)高度信息化的移動(dòng)互聯(lián)網(wǎng)時(shí)代，生活中IM類產(chǎn)品已經(jīng)成為必備品，比較有名的如釘釘、微信、QQ等以IM為核心功能的產(chǎn)品。當(dāng)然目前微信已經(jīng)成長為一個(gè)生態(tài)型產(chǎn)品，但其核心功能還是IM。還有一些非以IM系統(tǒng)為核心的應(yīng)用，最典型的如一些在線游戲、社交應(yīng)用，IM也是其重要的功能模塊。可以說，帶有社交屬性的應(yīng)用，IM功能一定是必不可少的。IM系統(tǒng)在互聯(lián)網(wǎng)初期即存... 繼續(xù)閱讀 >

2017
10-09

【譯】Go 中如何進(jìn)行單元測(cè)試

在寫《Go語言標(biāo)準(zhǔn)庫》的第九章——測(cè)試時(shí)，看到了此文，講解挺細(xì)致，于是翻譯為中文，作為學(xué)習(xí)《Go語言標(biāo)準(zhǔn)庫》的第九章的補(bǔ)充材料。如果你花過一些時(shí)間學(xué)習(xí)如何編程，你很可能見過許多地方提過測(cè)試。似乎每個(gè)人都在談?wù)摐y(cè)試，似乎都同意你應(yīng)該進(jìn)行測(cè)試，但這到底需要什么呢？在這篇文章中，我將嘗試回答這個(gè)問題，首先解釋什么是測(cè)試，然后我會(huì)用Go去深入實(shí)際編寫測(cè)試。在編寫測(cè)試時(shí)，我將通過編寫自定義mai... 繼續(xù)閱讀 >

2017
09-16

如何打造一個(gè)日均PV千萬級(jí)別的大型系統(tǒng)？

作者介紹周金橋，具有豐富的系統(tǒng)規(guī)劃、設(shè)計(jì)、開發(fā)、運(yùn)維及團(tuán)隊(duì)組織管理工作經(jīng)驗(yàn)，熟悉.Net、J2EE技術(shù)架構(gòu)及應(yīng)用。微軟2008-2012五屆最有價(jià)值專家(MVP)，2009年單獨(dú)著有《ASP.NET夜話》一書，2010年與人合著《程序員的成長之路》。至今活躍在多個(gè)技術(shù)社區(qū)。本文系作者原創(chuàng)投稿，未經(jīng) DBAplus社群 允許，不得擅自轉(zhuǎn)載和使用。本文我選定的方向是如何開發(fā)一個(gè)大型系統(tǒng)，在這里我對(duì)大型系統(tǒng)的定義為日... 繼續(xù)閱讀 >

2017
08-05

從技巧、案例和工具入手，詳解性能優(yōu)化怎么做

作者介紹顏圣杰，.NET平臺(tái)軟件工程師，對(duì)DDD領(lǐng)域驅(qū)動(dòng)設(shè)計(jì)感興趣，目前在研究ABP框架，熱愛寫作與分享。最近一段時(shí)間系統(tǒng)新版本要發(fā)布，在beta客戶測(cè)試期間，暴露了很多問題，除了一些業(yè)務(wù)和異常問題外，其它都集中在性能上。有幸接觸到這些性能調(diào)優(yōu)的機(jī)會(huì)，這里跟大家歸納交流一下。性能優(yōu)化是一個(gè)老生常談的問題了，典型的性能問題如頁面響應(yīng)慢、接口超時(shí)，服務(wù)器負(fù)載高、并發(fā)數(shù)低，數(shù)據(jù)庫頻繁死鎖等。而造成性能... 繼續(xù)閱讀 >

2017
08-01

10個(gè)提升MySQL性能的小技巧

從工作量分析到索引的三條規(guī)則，這些專家見解肯定會(huì)讓您的MySQL服務(wù)器尖叫。在所有的關(guān)系數(shù)據(jù)庫中，MySQL已經(jīng)被證明了完全是一頭野獸，只要通知停止運(yùn)行就絕對(duì)不會(huì)讓你多等一秒鐘，使你的應(yīng)用置于困境之中，你的工作也承受極大的風(fēng)險(xiǎn)。不過事實(shí)是，普通的錯(cuò)誤都在MySQL性能錯(cuò)誤的射程之內(nèi)。所以為了使你的MySQL服務(wù)器能夠高速運(yùn)轉(zhuǎn)，提供穩(wěn)定且持續(xù)的服務(wù)，消除這些錯(cuò)誤是非常有必要的，但是這可能常常會(huì)被你的繁忙... 繼續(xù)閱讀 >

2017
05-31

Android截屏與WebView長圖分享經(jīng)驗(yàn)總結(jié)

最近在做新業(yè)務(wù)需求的同時(shí)，我們?cè)贏ndroid上遇到了一些之前沒有碰到過的問題，截屏分享、WebView生成長圖以及長圖在各個(gè)分享渠道分享時(shí)圖片模糊甚至分享失敗等問題，在這過程中踩了很多坑，到目前為止絕大部分的問題都還算是有了比較滿意的解決方案。以下就從三個(gè)方面來總結(jié)一下過程中遇到的挑戰(zhàn)和最后的解決方案。一、概述最近在做新業(yè)務(wù)需求的同時(shí)，我們?cè)贏ndroid上遇到了一些之前沒有碰到過的問題，截屏分享、... 繼續(xù)閱讀 >

2017
05-06

Android工作經(jīng)驗(yàn)之開發(fā)技術(shù)分享

1.全部Activity可繼承自BaseActivity，便于統(tǒng)一風(fēng)格與處理公共事件，構(gòu)建對(duì)話框統(tǒng)一構(gòu)建器的建立，萬一需要整體變動(dòng)，一處修改到處有效。2.數(shù)據(jù)庫表段字段常量和SQL邏輯分離，更清晰，建議使用Lite系列框架LiteOrm庫，超級(jí)清晰且重心可以放在業(yè)務(wù)上不用關(guān)心數(shù)據(jù)庫細(xì)節(jié)。3.全局變量放全局類中，模塊私有放自己的管理類中，讓常量清晰且集中.4.不要相信龐大的管理類的東西會(huì)帶來什么好處，可能是一場(chǎng)災(zāi)難，而要... 繼續(xù)閱讀 >

2016
12-21

全文搜索：分詞不在需要，按句子索引即可

摘要：一般來說的全文搜索服務(wù)，大體是基于字和關(guān)鍵詞的，基于語句的全文搜索服務(wù)是一個(gè)有意思的課題。以文字為最小節(jié)點(diǎn)，以語句為分枝，建立語義樹，提供基于語義樹的全文檢索服務(wù)。通過對(duì)語句進(jìn)行語義特征編碼，并結(jié)合數(shù)據(jù)庫，來實(shí)現(xiàn)基于語義樹的全文索引和搜索服務(wù)。1引言搜索引擎是信息時(shí)代的基礎(chǔ)服務(wù)之一，搜索引擎服務(wù)的核心為全文檢索。常用的全文檢索，一般以關(guān)鍵詞的檢索為主，對(duì)于不同的語言需要不同的... 繼續(xù)閱讀 >

2016
11-23

如何備份導(dǎo)出 iOS 微信聊天數(shù)據(jù)庫

網(wǎng)絡(luò)上已經(jīng)有一些關(guān)于探討如何導(dǎo)出IOS版微信聊天記錄的導(dǎo)出，比如WeBack和iTools，但這兩類工具主導(dǎo)針對(duì)的都是小白用戶，并沒有給出如何獲取完整數(shù)據(jù)庫的方案，盡管實(shí)際原理相差無幾，但想要程序更好地進(jìn)行操作數(shù)據(jù)，還是所有差別，特此記錄。目前最新的IOS版本為10.1.1，據(jù)觀察該版本的備份文件存儲(chǔ)格式與IOS9略有不同，因此部分沒有及時(shí)更新的導(dǎo)出工具暫時(shí)無法使用。創(chuàng)建iPhone備份想要獲取到應(yīng)用的... 繼續(xù)閱讀 >

2016
11-21

大眾點(diǎn)評(píng)訂單系統(tǒng)分庫分表實(shí)踐

背景原大眾點(diǎn)評(píng)的訂單單表早就已經(jīng)突破兩百G，由于查詢維度較多，即使加了兩個(gè)從庫，優(yōu)化索引，仍然存在很多查詢不理想的情況。去年大量搶購活動(dòng)的開展，使數(shù)據(jù)庫達(dá)到瓶頸，應(yīng)用只能通過限速、異步隊(duì)列等對(duì)其進(jìn)行保護(hù)；業(yè)務(wù)需求層出不窮，原有的訂單模型很難滿足業(yè)務(wù)需求，但是基于原訂單表的DDL又非常吃力，無法達(dá)到業(yè)務(wù)要求。隨著這些問題越來越突出，訂單數(shù)據(jù)庫的切分就愈發(fā)急迫了。這次切分，我們的目標(biāo)是未來十年內(nèi)不需要... 繼續(xù)閱讀 >